====== DAQ Control (July 2020) ====== This new DAQ control is purely based on python (version 3). The C++ run control (FDAQ/FSLOW) is dropped and all application are directly controlled by python Il est interfacé avec la base mongodb dans laquelle est stocké les configurations de processus et les informations sur chaque prise de donnée (run par setup avec commentaires) Pour plus d'informations sur la base il faut se refferer à la page [[mongoroc_doc|Documentation Mongo DB]] Le script mgjob permet de téléverser ou de télécharger une configuration ainsi que visualiser les runs d'un setup donné. Afin d'utiliser cet environnement il est nécessaire de définir 3 variables d'environnement: - MGDBLOGIN=monId/monPasswd@mamachinedeDB:27017@MaBase , cette variable est également définie dans le fichier /etc/ljc.conf sur chaque machine - DAQMONGO=maconfig:maversion , c'est la configuration de processus qui sera utilisée - DAQSETUP=Nom_de_lexperience , il sera utilisé pour avoir une série de numéros de runs unique par expérience (début à 1000) Le contrôle de la prise de donnée se fait en plusieurs étapes. Il faut créer un fichier de description des processus et le téléverser dans la base, gérer les processus d'acquisition (création,destruction,paramètres) et enfin gérer l'exécution séquentielle de la prise de donnée(Initialisiation, configuration, acquisition,reset) ==== Le fichier de description ==== Nous allons prendre comme exemple une acquisition lisant des DIFs USB via un raspberry, synchronisée par une SDCC. Trois processus doivent être déclarés: - le contrôle de la SDCC: CCCSERVER - le contrôle des DIFs: DIFMANAGER - le contrôle de l'écriture : BUILDER Les 3 paragraphes suivants décrivent les paramètres nécessaires par processus === SDCC === { "ARGS": [], "ENV": [ "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin", "LD_LIBRARY_PATH=/usr/lib:/usr/local/lib:/opt/dhcal/lib:$LD_LIBRARY_PATH", "WEBPORT=41000" ], "NAME": "CCCSERVER", "PARAMETER": { "device": "DCCCCC01" <=== FTDI name }, "PROGRAM": "/opt/dhcal/bin/lydaq_daemon_Sdcc" } === DIFManager === { "ARGS": [], "ENV": [ "PATH=/opt/dhcal/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin", "LD_LIBRARY_PATH=/usr/lib:/usr/local/lib:/opt/dhcal/lib:$LD_LIBRARY_PATH", "PYTHONPATH=/opt/dhcal/script/:$PYTHONPATH", "CONFDB_WEB=cmsLyon/RPC_2008@ilcconfdb.ipnl.in2p3.fr", "WEBPORT=40000", "INSTANCE=0" ], "NAME": "DIFMANAGER", "PARAMETER": { "detectorId": 100, <== Event builder detector id "dif": { "db": { <== DB access description "mode": "mongo", "state": "DIFTEST_DOME", <== ASICs DB state "version": 3 <== ASICs DB version } }, "publish": "tcp://lyosdhcal9:5556" <== data publication port (obsolete with ZDAQ Event builder) }, "PROGRAM": "/opt/dhcal/bin/lydaq_daemon_DIF" } === Builder === { "ARGS": [], "ENV": [ "LD_LIBRARY_PATH=/usr/lib:/usr/local/lib:/opt/zdaq/lib:/opt/zdaq/example/lib: $LD_LIBRARY_PATH", "WEBPORT=46000", "INSTANCE=0" ], "NAME": "BUILDER", "PARAMETER": { "collectingPort": 5556, <== Port sur lequel le DIFMANAGER envoie les données "directory": "/data/local/TELESCOPE", <== Repertoire d'écriture "dummy": 0, <== 1 si les données ne sont pas écrites "processor": [ "binarywriter" <== Liste des pluggins d'écriture et d'analyse, binarywriter est fourni par ZDAQ ], "stream": [ "tcp://*:5556" <== Obsolete ] }, "PROGRAM": "/opt/dhcal/bin/zdaq_daemon_builder" } === Structure du fichier === Le fichier de configuration est un dictionnaire JSON avec 2 étiquettes * HOSTS : Un dictionnaire des machines de la configuration * NAME : Le nom de la configuration (typiquement nom_version) Chaque machine est étiquetée par son nom et contient une liste de description de processus, comme dans l'exemple suivant { "HOSTS": { "lyoilc17": [ { "ARGS": [], "ENV": [ "LD_LIBRARY_PATH=/usr/lib:/usr/local/lib:/opt/zdaq/lib:/opt/zdaq/example/lib: $LD_LIBRARY_PATH", "WEBPORT=46000", "INSTANCE=0" ], "NAME": "BUILDER", "PARAMETER": { "collectingPort": 5556, "directory": "/data/local/TELESCOPE", "dsnumber": 2, "dummy": 0, "processor": [ "binarywriter" ], "stream": [ "tcp://*:5556" ] }, "PROGRAM": "/opt/dhcal/bin/zdaq_daemon_builder" } ], "lyoilcrpi17": [ { "ARGS": [], "ENV": [ "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin", "DIM_DNS_NODE=lyosdhcal10", "LD_LIBRARY_PATH=/usr/lib:/usr/local/lib:/opt/dhcal/levbdim/lib:/opt/dhcal/lib: /opt/dhcal/DQM4HEP/lib:/opt/dhcal/dim/linux:/opt/dhcal/DQM4HEP/lib:/opt/dhcal/root/lib: /opt/dhcal/lcio/v02-00/lib/:$LD_LIBRARY_PATH", "WEBPORT=42000" ], "NAME": "CCCSERVER", "PARAMETER": { "device": "MDCC01", "spilloff": 1000000, "spillon": 20000, "spillregister": 64 }, "PROGRAM": "/opt/dhcal/bin/lydaq_daemon_Sdcc" }, { "ARGS": [], "ENV": [ "PATH=/opt/dhcal/bin:/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin", "LD_LIBRARY_PATH=/usr/lib:/usr/local/lib:/opt/dhcal/lib:$LD_LIBRARY_PATH", "PYTHONPATH=/opt/dhcal/script/:$PYTHONPATH", "CONFDB_WEB=cmsLyon/RPC_2008@ilcconfdb.ipnl.in2p3.fr", "WEBPORT=40000", "INSTANCE=0" ], "NAME": "DIFMANAGER", "PARAMETER": { "detectorId": 100, "dif": { "db": { "mode": "mongo", "state": "TELESCOPE_DOME", "version": 24 } }, "publish": "tcp://lyoilc17:5556" }, "PROGRAM": "/opt/dhcal/bin/lydaq_daemon_DIF" }, { "ARGS": [], "ENV": [ "PATH=/usr/local/sbin:/usr/local/bin:/usr/sbin:/usr/bin:/sbin:/bin", "LD_LIBRARY_PATH=/usr/lib:/usr/local/lib:/opt/dhcal/lib:$LD_LIBRARY_PATH", "WEBPORT=41000" ], "NAME": "GPIOSERVER", "PARAMETER": { "device": "1" }, "PROGRAM": "/opt/dhcal/bin/lydaq_daemon_GPIO" } ] }, "NAME": "diftest_dome_4" } Dans ce cas le PC lyoilc17 collecte les données et les écrit sur disque, le raspberry PI lyoilcrpi17 lit les DIFs, contrôle la synchronisation et contrôle des alimenations avec le processu GPIOSERVER ==== Le contrôle des processus ==== Pour controller les processus un programme (daemon) doit être lancé sur chaque machine participant à l'acquisition: sudo /opt/dhcal/bin/ljcd status Si le programme n'est pas //running// il faut le lancer avec: sudo /opt/dhcal/bin/ljcd start On vérifie son état avec un accès à http://nomdemachine:9999 Ensuite sur la machine sur laquelle on va controller l'acquisition on utilise le script **difdaq** usage: difdaq [-h] [--jc-create | --jc-kill | --jc-destroy | --jc-start | --jc-restart | --jc-status | --jc-info | --jc-appcreate | --daq-initialise | --daq-configure | --daq-startrun | --daq-stoprun | --daq-destroy | --daq-status | --daq-difstatus | --daq-evbstatus | --daq-downloaddb | --dif-ctrlreg] [--config CONFIG] [--dbstate DBSTATE] [--dbversion DBVERSION] [--clock CLOCK] [--directory DIRECTORY] [--vth VTH] [--gain GAIN] [--tdc TDC] [--lines LINES] [--host HOST] [--name NAME] [--jobname JOBNAME] [--jobpid JOBPID] [--value VALUE] [--address ADDRESS] [-v] [--comment COMMENT] [--ctrlreg CTRLREG] [-M METHOD] [-A APPLICATION] [-P PARAMETER] optional arguments: -h, --help show this help message and exit --jc-create Loads configuration in all jobcontrol process --jc-kill kill all running processes --jc-destroy delete all jobcontrol configuration --jc-start start all controled processes described in $DAQCONFIG jsonfile variable --jc-restart restart one job with --jobname=name --jobpid=pid --host=hostname --jc-status show the status all controled processes or of the process specified in --name=PROC --jc-info show the status all controled processesof the host specified in --host=Host --jc-appcreate Create all ZDAQ app on all hosts --daq-initialise Initialise DAQ, data source discovery and Builder final configuration --daq-configure Configure FDAQ, front end ASICs configuration --daq-startrun start the run --daq-stoprun stop the run --daq-destroy destroy the readout, back to the CREATED state --daq-status display DAQ status of all processes --daq-difstatus display DAQ status of all FEBCMS TDC --daq-evbstatus display event builder status --daq-downloaddb download the dbstate specified in --dbstate=state --version=num --dif-ctrlreg Send CTRLREG to DIFMANAGER --ctrlreg=ctrl --config CONFIG json config file --dbstate DBSTATE set the dbstate --dbversion DBVERSION DB state version --clock CLOCK set the number of 20 ns clock --directory DIRECTORY shm publisher directory --vth VTH set the vth for chips --gain GAIN set the gain for chips --tdc TDC set the tdc instance --lines LINES set the number of lines to be dump --host HOST host for log --name NAME application name --jobname JOBNAME job name --jobpid JOBPID job pid --value VALUE value to pass --address ADDRESS address to pass -v, --verbose Raw Json output --comment COMMENT Comment for start run --ctrlreg CTRLREG Hexadecimal string ctrlreg -M METHOD, --Method METHOD Command name -A APPLICATION, --Application APPLICATION Application name -P PARAMETER, --Parameter PARAMETER parameter set === Gestion des processus === - On charge la configuration dans les daemon: //difdaq --jc-create// - On demarre les processus : //difdaq --jc-start// - On peut tuer tous les process : //difdaq --jc-kill// - Et eliminer la configuration des daemon: //difdaq --jc-destroy// - On visualise les process : //difdaq --jc-info// (-v si on veut voir tous les parametres) - On charge les parametres de toutes les applications: //difdaq --jc-appcreate// Avec //difdaq --jc-info// on a le PID de chaque processus créé, on peut accéder a ses log sur la machine correspondante dans **/tmp/fsmjobPID//#pid//.log** ==== Controle de l'acquisition === Je donne un exemple avec des DIFs version LAPP et une SDCC - Initialiser les aplications://difdaq --daq-init// - Verifier le statut: //difdaq --daq-status// , toutes les DIFs doivent être INITIALISED, si ce n'est pas le cas il y a un problème de clock sur le FPGA de la DIF (HDMI ou cable plat) - Charger le controle d'acquistion: // difdaq --dif-ctrlreg --ctrlreg=0x815A1B00// - Changer le state de base de données pour les ASICs://difdaq --daq-download --dbstate TELESCOPE_DOME --dbversion=25// - Configurer les ASICs://difdaq --daq-configure//, un appel a //difdaq --daq-status// doit donner toutes les DIF CONFIGURED et SLC OK, si ce n'est pas le cas il y a soit un problème de connecteur (DIF-ASU,ASU-ASU) soit un ASIC defectueux - Demarrer un run://difdaq --daq-start --comment="Mon commentaire"// ,Il faut ensuite verifier que les DIFs prennent des données et que l'Event Builder les écrit avec //difdaq --daq-status// - Arreter un run ://difdaq --daq-stop// - Avant de debrancher/rebrancher une DIF: //difdaq --daq-destroy// et on recommence en 1 Pour rappel la liste des runs s'obtient avec //mgjob --runs// Je crée souvent un fichier .daqsetup avec des alias vers ces commandes et la definition des variables dénvironnement: source .daqsetup en se connectant doit suffire a les definir.