Migration des catalogues et courbes de lumière

28 Mai 2018

Je commence à mieux comprendre l'organisation des archives Tar regroupant les courbes de lumière.

Nous sommes en présence de deux ensembles d'archives:

• des archives Tar pour les principaux programmes scientifique et champs de l'expérience – cad les programmes scientifiques analysés sous la forme de fichiers de suivis;
• une archive cat_fields.tar contenant les catalogues des étoiles suivis et la description des différents champs.

La structure de ces deux ensembles d'archives est assez complexe. Je pense que la principale difficulté lors de leur construction était d'avoir des fichiers Tar ni trop gros ni trop petits. La problématique aujourd'hui est différente et le but à atteindre est d'avoir l'accès le plus simple possible aux différentes courbes de lumière.

Curieusement, il y a 209 archives représentant des champs alors que 278 champs sont référencés dans la base de données.

LA solution la plus simple serait d'avoir les courbes de lumière "à plat" dans iRods. J'ai demandé au CC - j'attends une réponse.

Sinon, on peut envisager de regrouper les courbes de lumière par programme, champ, et quart de CCD, comme c'est le cas actuellement, mais sans compression. La perte de place est d'un facteur 4 – on passe donc de 550 GB à 2 TB – soit 1.5 TB de plus.

Mais l'accès est plus simple et surtout beaucoup plus direct – lorsqu'iRods supportera correctement l'indexation directe des fichiers.

A condition qu'iRods supporte l'indexation de 90 millions d'entrées dans 10 milles archives Tar.

La troisième solution est d'avoir des archives Tar qu'il faudra extraire à chaque fois d'iRods pour accéder aux courbes de lumière.

Dans ce cas, la granularité du quart de CCD est peut-être insuffisante. Il faudrait peut-être des archives plus petites, avec moins d'étoiles. En tout cas, la compression redevient un point à évaluer en termes de performance globale des traitements.

Bref, nous sommes à l'étiage... en attente du CC.

Mais je propose de commencer à entrer les coordonnés Ra/Dec min et max des différents champs et quarts de CCD dans la base de données et d'installer les fichiers "field" (contentant les Ra/Dec) et "cat" (contenant les références des étoiles) dans iRods, dans SPS, et dans la base de données.

Cela permettra la mise en place d'un outil Stars Finder donnant au moins le quart de CCD et les ids de ou des étoiles pour un Ra/Dec donné...

Soit la structure:

data/eros2/
    lightcurves/
        bs/
            bs.field
            bs300/
                bs300.field
                bs3000k.cat
                (...)