Nomenclature des fichiers Eros 1 CCD

Le syntaxe des fichiers Eros 1 CCD est particulièrement complexe. Les deux plus grandes difficultés sont liées aux noms des images, pour lesquelles il existe plusieurs conventions et, à l'inverse, aux noms des images composées utilisées pour la détection des étoiles, les références, c'est-à-dire les catalogues binaires d'étoiles, et certains types de suivi, qui portent, tous, les mêmes noms indépendament des années d'observation.

Les images

Le nommage des images Eros 1 CCD est assez déroutante. Les deux principales difficultés résident dans l'utilisation de l'extension du fichier pour coder des informations liées aux paramètres des images, comme le numéro du CCD ou le code de traitement, et des variations dans la syntaxe difficile à comprendre.

Comme il ne semble pas y avoir beaucoup de documents sur les conventions adoptées, il a fallu tenter de regrouper les différentes images découvertes dans les archives par type de nommage et essayer d'intuiter les conventions utilisées à partir des entêtes FITS de ces images.

Images 'régulières'

L'essentiel des images trouvées, plus de 330 000 sur les 340 000 images retrouvées, semblent toutefois correspondre à une même convention, considérée comme celle des images "régulières".

Par exemple, l'image xb2d051d.fitsr00. Son entête contient les clés :

Clé Valeur
NUMCCD 0
DATE-OBS 05/04/92
TYPIMG IMAGE REDUITE
FILTREC BLEU
FILENAME xb2d051d.fitsr00
OBJECT LMC
DEFLAT kb2d05.fits00

On peut donc penser que les différents éléments du nom se décodent ainsi :

  • x : le code de l'objet céleste, ou "programme scientifique", ici le LMC;
  • b : le filtre, ici "b" pour bleu;

  • 2d05 : la date en format année: 2, mois: d, et jour: 05;

    -- les années partent de 1990, donc "2" correspond à 1992;
    -- les mois partent de "a" pour Janvier, donc ici "d" = Avril;
    -- les jours sont codés sur 2 digits;

  • 1d : il pourrait s'agir du numéro de prise de vue, en hexa décimal;

  • .fits : le type de fichier, ici une image FITS;
  • r : indique une image réduite;
  • 00 : le numéro du CCD;

Images 'brutes'

Il existe une autre forme, assez proche de la précédente, mais sans l'indicateur de réduction r dans l'extension. C'est par exemple le cas de l'image xb2k1919.fits15.

L'entête FITS indique :

Clé Valeur
NUMCCD 15
DATE-OBS 19/11/92
TYPIMG IMAGE
FILTREC BLEU
FILENAME xb2k1919.fits
DEFLAT NO
OBJECT LMC - Champ No 1

La clé DEFLAT = noconduirait à penser que l'image n'a pas été réduite et donc qu'il s'agirait d'une image brute.

Images 'composées'

Une troisième variante existe : xb2i02.fitsr01. Cette fois-ci, on a l'indication de réduction, r, dans l'extension, mais pas de numéro de prise de vue.

L'entête FITS indique :

Clé Valeur
NUMCCD 1
DATE-OBS 03/09/92
TYPIMG IMAGE COMPOSITEE
FILTREC BLEU
FILENAME xb2i02.fitsr01
DEFLAT kb2i02.fits01
OBJECT LMC - Champ No 1
HISTORY /users/melchior/prod96/exec/job97b -a -num 01 -d /users/melchior/prod9
HISTORY 6/datacard/pix2bleu01.datacard -C /agape3/EROS9293/ImaCompos/bleu01/xb
HISTORY 2i02 /agape1/REFERENCE/xb2i2235 xb2i0231 xb2i0233 xb2i0235 xb2i0239 xb
HISTORY 2i023b xb2i023d xb2i023f xb2i0241 xb2i0243 xb2i0245 xb2i0247 xb2i0249
HISTORY xb2i024b xb2i024d

On serait donc en présence d'une image composée à partir de plusieurs images réduites prises la même nuit. Il serait donc logique que le code de prise de vue n'ait pas vraiment de sens et qu'il soit absent. Mais comme c'est une image composée à partir d'images réduites, il s'agirait donc aussi d'une image réduite, d'où la présence du code r.

Autres images 'composées'

Cette hypothèse raisonnable est toutefois battue en brèche par l'image kb4j04zz.fitsr00. Celle-ci a toutes les caractéristiques d'une image régulière si ce n'est que le numéro de prise de vue, zz, est aberrant !

L'entête FITS indique :

Clé Valeur
NUMCCD 0
DATE-OBS 04/10/94
TYPIMG FLATCOUPOLE
FILTREC BLEU
DEFLAT NO
OBJECT LMC - Champ No 1
SUMIMA 13

L'indication de type donne à penser qu'il s'agit d'un 'flat coupole' non déflaté, ce qui est logique, mais l'indication SUMIMA laisse penser qu'il s'agit d'une image composée à partir d'autres images…

Images 'offset'

Mais les curiosités ne s'arrêtent pas là ! Quid par exemple des images oo5b15zz.fitsr15 et oo2k19zz.fits15 ?

L'entête de oo5b15zz.fitsr15 :

Clé Valeur
TM-EXPOS 0
TYPIMG OFFSET
FILTREC ROUGE
DEFLAT NO
OBJECT LMC - Champ No 1
DATE 15/02/95
SUMIMA 13 / nombre d images filtrees stat

et celui de oo2k19zz.fits15 :

Clé Valeur
TM-EXPOS 0
TYPIMG OFFSET-ADDED
FILTREC ROUGE
DEFLAT NO
OBJECT LMC - Champ No 1
SUMIMA 3 / nombre d images sommees

Ici, le temps d'exposition est nul (0). S'agirait-il d'images réalisées l'obturateur fermé ? Ce qui expliquerait que la notion de filtre, indiqué ici o" n'aurait pas de sens.

Par ailleurs, le numéro d'observation zz laisserait penser qu'il s'agit d'images composées à partir de plusieurs images, ce que semble confirmer la clé SUMIMA.

Mais alors, pourquoi la présence de l'indicateur de réduction, r, dans un cas et pas dans l'autre ? S'agirait-il dans le premier cas d'une image composée à partir de plusieurs images réduites et à partir d'images brutes dans le second cas ?

Bref, le mystère reste entier… !

Images 'flats'

Les flats, référencés dans les images, par exemple kb2d05.fits00, semble reprendre les mêmes éléments de syntaxe que ceux déjà identifiés, mais les images semblent avoir disparues. Il n'en reste pas de trace à Lyon.

Les suivis

Les noms des suivis sont relativement plus simples à comprendre que les noms des images, même s'ils présentent le même usage surprenant des extensions.

Par exemple, le nom du suivi x2c152d11R.suivi00 est constitué:

  • du code de l'objet : "x" pour LMC
  • de deux dates de 4 caractères : 2c15 et 2d11, pour le 15 Mars 1992 et le 11 Avril 1992
  • le code "R" pour indiquer la couleur/le filtre rouge
  • l'extension ".suivi"
  • le numéro du CCD "00

Les deux dates apparaissant dans le nom du suivi indiquent les dates d'observation de la première et de la dernière des images analysées, comme le confirme DumpSuivi.

Les images composées

Il existe un lot d'images nommées sum[RB].fitsr et sum[RB]m.fitsr apparaissant dans des archives nommées Composite et Analyses, ce qui laisserait penser qu'il s'agit d'images composées utilisées pour la détection des étoiles.

Dans l'archive nommée ALL_Composites+Astrometrie par exemple, on trouve des images :

  • LMC9192/Composites/sumB.fitsr01
  • LMC9192/Composites/sumR.fitsr01
  • LMC9192/Composites+Astrometrie/sumBm.fitsr01
  • LMC9192/Composites+Astrometrie/sumRm.fitsr01

et des séries similaires pour les différentes campagnes: LMC9293, LMC9394, SMC9495.

L'entête FITS de LMC9192/Composites/sumB.fitsr01:

Clé Valeur
NUMCCD 1
DATE-OBS 01/01/91
TYPIMG IMAGE COMPOS
FILTREC BLEU
FILENAME sumB.fitsr01
OBJECT LMC
DATE 01/01/92
DEFLAT kb2a01.fits01 / Reduction status
SUMIMA 52

Il n'y a malheureusement aucune référence aux images utilisées pour la construction de cette image.

Et pour LMC9192/Composites+Astrometrie/sumBm.fitsr01:

Clé Valeur
NUMCCD 1
DATE-OBS 1991-01-01
TYPIMG IMAGE COMPOS
FILTREC BLEU
FILENAME sumB.fitsr01
OBJECT LMC
DATE 01/01/92
DEFLAT kb2a01.fits01
SUMIMA 52
HISTORY Created by the Astrometry.net suite.
HISTORY This WCS header was created by the program "blind".
DATE '2013-03-04T10:32:28' / Date this file was created.

Le second entête est typique d'une image calée astronomiquement par des outils de l'astrophysique, comme les WCS tools. Le début de l'entête reprend les clés de l'image d'origine. Les extensions sont ajoutées après.

Il est bien sûr possible de recopier ces images dans Irods, mais il est impossible de les enregistrer dans la base de données du fait du principe de non-duplication des noms des éléments. Et alors, à quoi bon conserver des données si on ne sait pas les retrouver...?

Le choix fait a été d'adapter les noms de ces images afin de les rendre unique en s'inspirant des éléments syntaxiques identifiés et de ce qui a été fait dans Eros 2 pour les images composées et les images calées. Cette modification des noms permet l'indexation des images dans la base de données, mais améliore aussi leur interprétation.

L'idée est donc de reprendre la syntaxe des images composées simples, à savoir 

<objet:1c> <filtre:1c> <date:4c> .fits <traitement:1c> <ccd:2d>

La date choisie est la date de la fin de campagne d'observation.

Pour ce qui est des codes de traitement, on peut reprendre les conventions Eros 2:

  • c: image composée
  • w: image composée calée astronomiquement

Ainsi, les deux images prises en exemple deviendraient :

Nouveau nom Nom original
xb2d30.fitsc01 LMC9192/Composites/sumB.fitsr01
xb2d30.fitsw01 LMC9192/Composites+Astrometrie/sumBm.fitsr01

C'est sous cette forme que ces images ont été recopiées dans Irods, dans l'arborescence /eros/data/eros1-ccd/composites et enregistrées dans la base de données:

% ReportImages xb2d30.fitsc01
Nom            Objet Champ Camera Ccd SsImg Flt Traitmt Nuit        Ordre Date Erreur Naming    Origine
-------------- ----- ----- ------ --- ----- --- ------- ----------- ----- ---- ------ --------- --------------
xb2d30.fitsc01 x                0   1 t     b   c       30-Apr-1992     0             EROS1_CCD LA SILLA - GPO

% ReportImages xb2d30.fitsw01
Nom            Objet Champ Camera Ccd SsImg Flt Traitmt Nuit        Ordre Date Erreur Naming    Origine
-------------- ----- ----- ------ --- ----- --- ------- ----------- ----- ---- ------ --------- --------------
xb2d30.fitsw01 x                0   1 t     b   w       30-Apr-1992     0             EROS1_CCD LA SILLA - GPO

Les entêtes ont aussi été enregistrés dans la base de données, ce qui permet de les accéder directement par FitsHeader.

% FitsHeader xb2d30.fitsc01
SIMPLE  =                    T
BITPIX  =                   16
NAXIS   =                    2
NAXIS1  =                  953
NAXIS2  =                 1421
NUMCCD  =                    1
DATAMIN =                    0
DATAMAX =                65535
CCDACT  = '01234789ABC'
. . .
SUMIMA  =                   52
END


% FitsHeader xb2d30.fitsw01
SIMPLE  =                    T / conforms to FITS standard
BITPIX  =                   16 / array data type
NAXIS   =                    2 / number of array dimensions
. . .
COMMENT --
COMMENT
COMMENT --End of Astrometry.net WCS--
COMMENT
END

Bien sûr, les archives sont conservées dans Irods, ainsi donc que les images originales.

Les références

L'archive LMC9293_SuivisRef contient un ensemble de fichiers nommés sumRmoy.ref??, sumRnom.ref??, sumRmoy.suivi?? et sumRnom.suivi?? - avec ?? représentant un numéro de CCD.

L'extension .ref fait penser aux fichiers de références Eros 2, qui sont des catalogues binaires des étoiles détectées grâce aux images composées.

Encore une fois, toutes les références portent les mêmes noms quelque soit la campagne d'observation.

Certe, il est actuellement impossible de lire les références, mais ce n'est pas une raison pour ne pas les conserver. Donc une nouvelle fois, la question est celle de leur enregistrement dans la base de données, et donc les modifier afin de leur affecter un nom unique.

Le choix logique était d'utiliser une convention similaire à celle des images, mais dans Eros 2, les références sont plus proches des suivis que des images. C'est donc une syntaxe similaire à celle des suivis Eros 1 CCD qui a été retenue.

La question des suffixes nom et moy est loin d'être résolue. moy pourrait suggérer une notion de moyenne. Mais quid de nom? Le choix fait a donc été de conserver ces deux suffixes dans le nom, après le code de couleur.

La syntaxe adoptée est donc la suivante, sur le modèle des suivis :

<objet:1c> <année-début:2d> <année-fin:2d> <filtre:1C> <type:3c> .ref <ccd:2d>

soit :

Nouveau nom Nom original
x9293Bmoy.ref01 LMC9293/SuivisRef/sumBmoy.ref01
x9293Bnom.ref01 LMC9293/SuivisRef/sumBnom.ref01
x9293Rmoy.ref01 LMC9293/SuivisRef/sumRmoy.ref01
x9293Rnom.ref01 LMC9293/SuivisRef/sumRnom.ref01

Ces références sont conservées dans l'arborescence Irods: /eros/data/eros1-ccd/references.

Malheureusement, seules les références de 92-93 ont été retrouvées...

Les suivis spéciaux

Dans cette même archive LMC9293_SuivisRef il existe des fichiers sumRmoy.suivi?? et sumRnom.suivi??, ?? représentant le CCD.

Ces suivis sont étranges car ils ne contiennent aucune mesure mais uniquement les tables des étoiles (StarInfo).

On peut penser qu'il pourrait s'agir des prémices des productions, c'est-à-dire une simple initialisation à partir des fichiers de référence.

Il semble cependant intéressant de les conserver dans Irods en adaptant leur nom afin de pouvoir les indexer dans la base de données. Ici, le choix est plus facile puisqu'une convention existe déjà. La seule précaution à prendre est d'étendre cette convention de manière à conserver les suffixes moy et nom.

Soit donc:

<objet:1c> <date-début:4c> <date-fin:4c> <filtre:1C> <type:3c> .suivi <ccd:2d>

d'où :

Nouveau nom Nom original
x2l013c31Bmoy.suivi01 LMC9293/SuivisRef/sumBmoy.suivi01
x2l013c31Bnom.suivi01 LMC9293/SuivisRef/sumBnom.suivi01
x2l013c31Rmoy.suivi01 LMC9293/SuivisRef/sumRmoy.suivi01
x2l013c31Rnom.suivi01 LMC9293/SuivisRef/sumRnom.suivi01

Ces suivis ont été recopiés dans Irods, mais dans la même arborescence que les références, afin de ne pas entrainer de confusion avec les "vrais" suivis.

Ces suivis "spéciaux" sont toutefois indexés dans la base de données:

% ReportSuivis x2l013c31Bmoy.suivi01
Nom                   Objet Ccd Flt Start       End         Version Naming    Stars Assoc Images Erreur
--------------------- ----- --- --- ----------- ----------- ------- --------- ----- ----- ------ -------
x2l013c31Bmoy.suivi01 x       1 B   01-Dec-1992 31-Mar-1993         EROS1_CCD 10567  8739      0 NOIMAGE

% ReportSuivis x2l013c31Bnom.suivi01
Nom                   Objet Ccd Flt Start       End         Version Naming    Stars Assoc Images Erreur
--------------------- ----- --- --- ----------- ----------- ------- --------- ----- ----- ------ -------
x2l013c31Bnom.suivi01 x       1 B   01-Dec-1992 31-Mar-1993         EROS1_CCD 10567     0      0 NOIMAGE

On voit sur ces rapports que le nombre d'images traitées est de 0 dans les deux cas. Il ne s'agit donc vraisemblablement que des versions initiales des suivis.

La deuxième constation concerne le nombre d'étoiles détectées et le nombre d'étoiles associées. Le fichier nom ne fait pas état d'étoiles associées alors que le fichier moy en compte. Une piste... ?

Les courbes de lumière

(à préciser)

Les catalogues

(à préciser)

Eléments de syntaxe

Sur la base des études présentées, il semble possible d'identifier les grandes lignes des différentes syntaxes des noms des éléments Eros 1 CCD.

Noms des images

Nom: <objet:1c> <filtre:1c> <année:1d> <mois:1c> <jour:2d> [<ordre:2x>]
Extension: "fits" [<traitement:1c>] <ccd:2d>

Soit :

  • code objet, ou code programme: 1 caractère
  • code couleur: 1 caractère : "b", "r", "o" - le code "o" semble correspondre à des images techniques réalisées sans temps de pose
  • code année: 1 chiffre, compté à partir de 1990
  • code mois: 1 lettre, compté de "a" pour Janvier à "l" pour Décembre
  • jour du mois: 2 chiffres
  • numéro d'observation hexadécimal, ou "zz", pour les images composées, ou rien, également pour des images composées
  • extension débutant par ".fits"
  • code de réduction: 1 lettre : "r" pour les réductions, rien pour les images brutes, "c" pour les images composées utilisées pour construire les références, "w" pour les images composées calées astronomiquement
  • numéro du CCD: 2 chiffres, de 00 à 15

Noms des suivis réguliers

Nom: <objet:1c> <date-début:4c> <date-fin:4c> <filtre:1C>
Extension: ".suivi" <ccd:2d>

Avec:

  • du code de l'objet, ou code programme: 1 caractère
  • date de la première image: 4 caractères (voir images)
  • date de la dernière image: 4 caractères (voir images)
  • code de couleur: 1 caractère majuscule: "B" ou "R"
  • extension débutant par ".suivi"
  • numéro du CCD: 2 chiffres, de 00 à 15

Noms des suivis spéciaux

Nom: <objet:1c> <date-début:4c> <date-fin:4c> <filtre:1C> <type:3c>
Extension: ".suivi" <ccd:2d>

Avec:

  • du code de l'objet, ou code programme: 1 caractère
  • date de début de la campagne: 4 caractères (voir images)
  • date de fin de la campagne: 4 caractères (voir images)
  • code de couleur: 1 caractère majuscule: "B" ou "R"
  • code de type: 3 caractères: "moy" ou "nom"
  • extension débutant par ".suivi"
  • numéro du CCD: 2 chiffres, de 00 à 15

Noms des références

Nom: <objet:1c> <année-début:2d> <année-fin:2d> <filtre:1C> <type:3c>
Extension: ".ref" <ccd:2d>

Avec:

  • du code de l'objet, ou code programme: 1 caractère
  • année de début de la campagne: 2 chiffres
  • année de fin de la campagne: 2 chiffres
  • code de couleur: 1 caractère majuscule: "B" ou "R"
  • code de type: 3 caractères: "moy" ou "nom"
  • extension débutant par ".ref"
  • numéro du CCD: 2 chiffres, de 00 à 15