ErosDb III
ErosDb est l'environnement de gestion et d'accès aux données de l'expérience Eros (Expérience de Recherche des Objets Sombres). Il est organisé autour de 3 ensembles logiciels: des outils pour chercher et accéder aux données; une base de données Oracle installée au Centre de calcul; et les fichiers, conservés dans le système de stockage distribué Irods du Centre.
Initialement destiné exclusivement à Eros 2, ErosDb a été étendu aux expériences Eros 1 Plaques et Eros 1 CCD, précurseurs d'Eros 2.
Ces pages décrivent les éléments du projet ainsi que l'organisation des fichiers et la structure des données des 3 expériences.
Tour d'horizon
La description du projet ErosDb s'articulent autour de la présentation des outils et de la base de données, et de celle des trois expériences
ErosDb
- Présentation de l'environnement ErosDb
- Configuration des accès à Irods et à la base de données
- Les outils d'intérêt général de recherche et de transfert
- Outils liés à l'utilisation des suivis
- Outils plus spécifiquement dédiés à Eros1 Plaques
- Outils de gestion des productions
- Différentes facilités d'usage général
Eros 2
- Présentation de l'expérience Eros 2
- Description des différents programmes scientifiques
- Syntaxe des noms des éléments et des fichiers
- Organisation des fichiers Eros 2 dans Irods
- Format des données Eros 2
- Format interne des fichiers de suivi
- La question des "formats ouverts"
Eros 1 CCD
- Présentation de l'expérience Eros 1 CCD
- Organisation des fichiers Eros 1 CCD dans Irods
- Format des données Eros 1 CCD
Eros 1 Plaques
- Présentation de l'expérience Eros 1 Plaques
- Organisation des fichiers Eros 1 Plaques dans Irods
- Format des données Eros 1 Plaques
Eros Anastasis
Développé à partir de 1995 pour aider les physiciens à gérer les images en provenance de l'observatoire du Chili et à piloter leur analyse en batch, sur la ferme de stations UNIX du Centre de calcul, ErosDb s'appuyait déjà sur une base de données relationnelles développée pour les besoins de l'expérience, supportée par le gestionnaire Oracle installé au Centre. Cette base de données a perduré et est toujour utilisée aujourd'hui.
Originalement organisé sous la forme d'un noyau C et d'un interpréteur TCL, ErosDb permettait aux physiciens responsables de la gestion des données de développer rapidement leurs propres outils pour traiter les différentes situations.
Lorsque 20 ans plus tard, un petit groupe de physiciens du LAL et de Saclay estima que les quelques 2 millions d'images accumulées par l'expérience durant les 7 années de son activité pouvaient avoir encore un intérêt, deux questions se sont posées: comment accéder simplement à ces données, et avec quels outils ?
La base de données, conservée par les équipes du Centre de calcul, et les fichiers étaient toujours là, prêt à être réveillés de ce long sommeil.
Mais l'ancien ErosDb n'avait plus guère d'intérêt. Le souci était d'organiser un transfert efficace des fichiers archivés dans le robot de cartouches HPSS sous la forme d'archives Tar vers Irods.
ErosDb fut donc entièrement refondu autour de Java, d'une représentation objets des éléments de la base de données et de l'intégration à Java des accès à Irods. ErosDb II était né.
La migration des fichiers de l'expérience achevée, la préoccupation devenait de documenter la structure des données et d'en ouvrir l'accès à la communauté. Le gros souci résidait dans les fichiers binaires créés durant l'analyse des images, les fichiers de suivi, difficiles d'accès et nécessitant l'utilisation de librairies C.
Une troisième phase fut donc mise en chantier pour relever ces défis. Et ce fut ErosDb III.
La bonne migration des données Eros 2 vers Irods encouragea les physiciens à demander la migration des données des expériences Eros 1 CCD et Plaques, précurseurs d'Eros 2. Ces migrations sont en parties achevées.
Deux points noirs subsistent: la disparition des images numérisées d'Eros 1 Plaques, et l'absence des images brutes Eros 2.
Comme son nom l'indique Eros 1 Plaques utilisait des plaques photographiques, réalisées au télescope de Schmidt de l'observatoire de l'ESO au Chili, plaques ensuite numérisées par la MAMA de l'Observatoire de Paris. Ces images numérisées ont disparu. Fort heureusement, les plaques elles-mêmes ont survécu. Elles sont désormais conservés à l'Observatoire de Meudon et vont être de nouveau numérisées dans le cadre du projet Naroo. Les premières images sont attendues pour Noël 2021.
Les images brutes d'Eros 2, issues directement des CCD de la caméra, ont été expédiées à Saclay alors que les images calibrées allaient au Centre de calcul de Lyon pour y être analysées. Malheureusement, ces images brutes, véritable mémoire de l'expérience, n'ont jamais été transférées à Lyon.
Big Brother
Lors des observations Eros 2, les logs des champs observés et les annotations des observateurs sur les succès ou les incidents rencontrés étaient envoyés par courrier électronique aux principaux responsables de l'expérience. Ces messages ont été sauvés et conservé, ce qui a permis de les mettre en forme pour une présentation web via le site BigBrother.