Situation des migrations

20 Juin 2018

Les différents points abordés.

• Migration des images
• Migration des références
• Migration des suivis
• Migration des catalogues
• Migration des courbes de lumière

Pour le détail des migrations, voir le post du 28 Mai 2018: Point migration, qui donne les chiffres détaillés des opérations.

Pour la description des programmes scientifiques Eros, voir le post du 4 Mars 2018: Programmes scientifiques Eros II.

Voir le post du 28 Mai 2018: Migration des catalogues et courbes de lumière pour l'organisation des catalogues et courbes de lumière ASCII.

Migration des images

Attention: il ne s'agit là que des images présentes à Lyon, c'est-à-dire les images réduites. Les images brutes ne sont pas disponibles au CC...

• En grande partie terminée:
  • 90% de toutes les images
  • 99.7% des programmes "majeurs" (bs, cg, gn, gs, lm, sm, tm)
    • Il manque des images dans les programmes majeurs (cg, lm)
  • Une partie des calibrations est migrée
    • Blocage au niveau des noms des archives qui ne suivent pas la logique générale
    • Traitement spécifique nécessaire
  • Il reste des programmes exotiques à migrer
    • Mêmes difficultés
• Les entêtes FITS des images ont été extraits et conservés dans des répertoires distincts d'iRods
  • Deux formats sont proposés : une simple copie de l'entête en format image de carte Fortran, ou suite de lignes au standard UNIX dont les espaces vides situés en fin de lignes ont été supprimés.
    • Le premier format peut être intéressant pour être utilisé avec des librairies usuelles FITS.
    • Le second format est utile pour une exploration avec les outils usuels: éditeurs, commandes du shell, ...
• Les entêtes FITS sont également en ligne sur le disque SPS mais regroupés en format TAR
  • Le NOMBRE de fichiers sur le disque SPS est contraint par un quota. Il n'était pas possible de mettre en ligne directement les entêtes FITS.

Notion de production

Les traitements étaient réalisés par lots ayant des paramètres similaires constituant une production.

Plusieurs productions ont été effectuées, mais avec des programmes, des techniques et/ou des versions différentes. Les noms des productions sont basés sur le code du traitement réalisé – P pour Peida – et la version de la production. P5 représente donc la 5ieme production réalisée avec Peida.

Il y a 2 productions majeures: P1 et P5, à peu près équivalente en volume et fichiers.

Les courbes de lumière ASCII semblent être issues de P5…

Migration des références

Rappel: les références sont des fichiers binaires contenant la liste des étoiles suivies par l'expérience et utilisées pour piloter la création des fichiers de suivis.

• En grande partie réalisée pour la production P5: 99.8%

Migration des suivis

Rappel: les suivis, ou fichiers de suivis, sont des fichiers binaires contenant les paramètres des différentes étoiles suivies par l'expérience nuit après nuit.

• En grande partie réalisée pour la production P5 : 99.7%
  • Il manque quelques fichiers dans CG et LM
    • Peut-on exploiter un suivi s'il manque des blocs ?

Migration des catalogues

Rappel: les catalogues sont des fichiers ASCII contenant les listes des étoiles suivies par l'expérience et différents paramètres généraux: position en alpha delta, magnitudes dans les deux couleurs, erreurs sur les magnitudes, position en pixel, variabilité.

Le nom d'un catalogue est constitué du code du programme scientifique, du champ, du CCD et du sous CCD. L'extension du fichier est ".cat". bs3000k.cat représente donc le catalogue du quart de CCD k du CCD 0 du champ 300 du programme bs.

Les catalogues sont résumés dans des fichiers ".field" contenant les alpha/delta minimum et maximum trouvés dans le catalogue. Des fichiers ".field" sont proposés pour chaque champ de chaque programme analysé (les 7 majeurs) et contiennent donc les alphas/deltas min et max de chacun des quarts de CCD du champ. Exemple : bs300.field.

Ces fichiers sont eux-mêmes résumés au niveau du programme donnant donc les alphas/deltas min et max de chacun des champs du programme. Exemple: bs.field.

• Terminée
  • Les catalogues sont disponibles dans iRods et dans SPS dans une hiérarchie de répertoire programme, champ, ccd, quart.
  • Les fichiers "field" sont également sauvés dans iRods et SPS (programmes et champs)
• Le contenu des fichiers "fields" et les catalogues sont enregistrés dans la base de données.
  • Les alphas/deltas min et max des fichiers "fields" sont enregistrées au niveau de la description des champs et d'une nouvelle structure mise en place spécifiquement pour représenter les sous CCDs.
  • Les catalogues sont conservés sous la forme de blobs (Binary Large Object).
    • Ceci permet la mise en place d'un outil de recherche des étoiles à partir d'alpha/delta.

Migration des courbes de lumière

Rappel: les courbes de lumière sont des fichiers ASCII contenant les mesures nuit après nuit des magnitudes rouges et bleues et les erreurs sur ces magnitudes.

• A faire.