Enregistrement des suivis Eros 1 CCD
22 Juillet 2021
Les suivis Eros 1 CCD sont désormais recopiés dans Irods et enregistrés dans la base de données.
J'ai sauvé les 1602 suivis, y compris un fichier renommé BAD, mais bien sûr seuls les 1601 fichiers corrects ont été enregistrés.
Sur ces 1601 suivis, 1575 sont considérés comme valides et 26 présentent des erreurs, parfois récupérables, pour certaines assez sérieuses. Le fichier BAD n'est vraiment pas exploitable.
Le rapport qui suit présente la situation des suivis en erreur.
Les colonnes sont assez compréhensibles:
- Start et End représentent les dates de début et de fin apparaissant dans le nom du suivi.
- Naming correspond à la convention de nommage de l'élément, afin de faire rapidement la différence entre les données Eros 1 CCD et Eros 2.
- Une colonne Version est nécessaire pour supporter le numéro de version des suivis, ce qui concerne essentiellement un cas du SMC.
- Images donne le nombre d'images analysées, et donc le nombre de mesures réalisées sur chacune des étoiles détectées. Il vient de l'attribut nbMesures de l'entête du suivi.
- Stars correspond au nombre d'étoiles indiqué dans l'entête du suivi.
- Assoc représente le nombre d'étoiles associées. Une étoile est considérée comme associée si elle fait référence à une étoile du suivi de couleur complémentaire qui elle-même fait référence à cette étoile.
Les erreurs présentées viennent de la vérification de l'entête du suivi et de la table de description des images analysées (Time Info). L'entête contient des informations sur la taille du suivi lui-même, sur le nombre d'étoiles et d'images enregistrées ainsi qu'un marqueur de corruption. Ces informations sont utilisées pour une vérification ‟rapide” du suivi. Une vérification plus poussée consiste à décoder les descripteurs des images analysées afin de vérifier s'il est possible de reconstituer le nom de l'image et si cette image est enregistrée dans la base de données.
Le fait que l'image ne soit pas enregistrée dans la base de données n'indique pas une erreur du suivi mais permet de construire une liste des images perdues.
A l'inverse, l'impossibilité de décoder les descripteurs d'images est plus préoccupante. En effet, le mécanisme de sauvegarde des données dans le suivi entrelace les descripteurs d'images et les mesures réalisées. Si les descripteurs d'images sont corrompus, on peut avoir de sérieux doutes sur les mesures.
Différentes caractéristiques du nom de l'image analysée sont conservées dans le descripteur sous la forme d'un entier nommé numPhoto. Le codage utilise un mécanisme de masques et de décalages pour réduire un nom d'une vingtaine de caractères à un entier de 4 octets. Il arrive que son décodage conduise à des valeurs aberrantes. Dans une telle situation, un second attribut, donnant la date d'observation, est utilisé. Si la date est nulle ou inutilisable, le descripteur est déclaré corrompu, le suivi également. Si la date d'observation est valide, le descripteur est déclaré en erreur mais le suivi est considéré comme valide. La raison de ce choix est que les seuls cas (ou presque) où une erreur de décodage des numPhotos est récupérée par la date d'observation correspond à des images réalisées à la fin du mois de Janvier 1992, une année bissextile. Le jour décodé correspond au 32 Janvier. A l'inverse, tous les cas de corruption rencontrés correspondent aux derniers Time Info du fichier, ce qui est autrement plus préoccupant.
Le cas du suivi s4f244g05R.suivi00 est plus curieux: le code photo est à 0 et la date est incohérente. Mais comme il s'agit du premier descripteur et que les suivants sont corrects, l'intelligence très artificielle du programme de vérification a fait preuve de clémence…
Les erreurs présentées dans le rapport sont les suivantes:
- ERRORS : des codes photos dans les Time Infos sont en erreur mais il est possible de retrouver l'image à partir de la date d'observation.
- CORRUPTED : les codes photos ne peuvent pas être décodés et les dates d'observation sont nulles ou inutilisables.
- NOIMAGE : l'entête du fichier fait état de 0 mesure, mais sa taille correspond à un fichier contenant des analyses. La lecture forcée de manière à contourner cette vérification montre que les Time Infos sont valides et que les images existent dans la base de données. Le nombre d'images enregistré dans la base de données est cependant "0", puisque c'est celui qui apparait dans l'entête du suivi.
$ ReportSuivis -eros1 err!=null
Nom Objet Ccd Flt Start End Version Naming Stars Assoc Images Erreur
------------------ ----- --- --- ----------- ----------- ------- --------- ----- ----- ------ ---------
s4f244g05R.suivi00 s 0 R 24-Jun-1994 05-Jul-1994 EROS1_CCD 10354 9431 142 ERRORS
s4g064g16B.suivi02 s 2 B 06-Jul-1994 16-Jul-1994 EROS1_CCD 12088 10101 128 CORRUPTED
s4i084i18B.suivi07 s 7 B 08-Sep-1994 18-Sep-1994 EROS1_CCD 10024 7925 198 CORRUPTED
x2a202b03B.suivi00 x 0 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9176 7413 150 ERRORS
x2a202b03B.suivi01 x 1 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9617 8171 150 ERRORS
x2a202b03B.suivi02 x 2 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9485 7599 149 ERRORS
x2a202b03B.suivi03 x 3 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9440 7830 148 ERRORS
x2a202b03B.suivi04 x 4 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9595 7891 148 ERRORS
x2a202b03B.suivi07 x 7 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9596 7854 148 ERRORS
x2a202b03B.suivi08 x 8 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9548 7988 148 ERRORS
x2a202b03B.suivi09 x 9 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9566 7896 147 ERRORS
x2a202b03B.suivi10 x 10 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9480 7888 148 ERRORS
x2a202b03B.suivi11 x 11 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9508 7837 148 ERRORS
x2a202b03B.suivi12 x 12 B 20-Jan-1992 03-Feb-1992 EROS1_CCD 9478 7922 147 ERRORS
x2a202b03R.suivi00 x 0 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 10932 7413 163 ERRORS
x2a202b03R.suivi01 x 1 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9954 8171 163 ERRORS
x2a202b03R.suivi02 x 2 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9006 7599 163 ERRORS
x2a202b03R.suivi03 x 3 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9677 7830 163 ERRORS
x2a202b03R.suivi04 x 4 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9643 7891 163 ERRORS
x2a202b03R.suivi07 x 7 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9603 7854 162 ERRORS
x2a202b03R.suivi08 x 8 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9668 7988 162 ERRORS
x2a202b03R.suivi09 x 9 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9564 7896 161 ERRORS
x2a202b03R.suivi10 x 10 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9752 7888 160 ERRORS
x2a202b03R.suivi11 x 11 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9473 7837 160 ERRORS
x2a202b03R.suivi12 x 12 R 20-Jan-1992 03-Feb-1992 EROS1_CCD 9575 7922 152 ERRORS
x2l233a01B.suivi01 x 1 B 23-Dec-1992 01-Jan-1993 EROS1_CCD 10567 8739 0 NOIMAGE