Migration des images

10 Janvier 2019

Les efforts visant à étendre l'accès à iRods dans ErosDb ont pris plus de temps que prévus mais sont finalement achevés. Il est donc temps de terminer la migration des images.

Ceci concerne :

• les quelques archives dans des formats non standard – par rapport aux procédures de migration;
• l'essentiel des images utilisées pour la réduction des images: coupoles et ciels;
• les images des programmes dit Monte Carlo;
• le programme Naines rouges;
• les images calibrées astronomiquement.

Programmes majeurs

Deux archives SMC n'ont pas été migrées lors de la campagne de transfert en batch, leur structure ne correspondant pas à ce qu'attendait la procédure.

Ces archives ont été transférées par une procédure plus rudimentaire, pouvant être lancée en interactif.

Toutes les archives des 7 majeurs ont donc été traitées.

Programmes mineurs

Plusieurs archives correspondant à des programmes mineurs n'ont pas été traitées par la procédure batch, pour la même raison que pour les deux archives SMC.

Ces archives ont été transférées par la procédure simplifiée.

Toutes les archives accessibles des programmes mineurs ont donc été traitées.

Programmes techniques

Il existe trois programmes techniques: CA, pour Calibration Fields; KO, pour Flats Coupoles; et OB, pour Obscurité.

Les images "coupoles" ont été transférées par la procédure standard.

Pour les deux autres programmes, la situation était la même que les deux archives SMC et les archives des programmes mineurs: ces archives échappaient à la procédure de transfert de masse.

Leur transfert est désormais achevé.

Programmes Monte Carlos

Cinq programmes sont déclarés « Monté Carlo » dans leur description: DG et EG, faisant référence au programme CG, Centre Galactique; UM, faisant référence à LMC, de type Mouvements propres; XM, Monté Carlos LMC; et YM, Monté Carlos SMC.

Après vérification, les images associées à ces programmes semblent être des copies d'images réelles, sans doute retravaillées. Les images de ces programmes sont donc laissées de côté. En tout état de cause, il s'agit d'à peine 100 000 images, soit environ 4% des images référencées. Les archives elles-mêmes sont recopiées vers une zone dédiée aux transferts abandonnés.

Naines Rouges

TOUTES les images Naines Rouges semblent avoir disparues – il y en avait près de 60 000. Ces images ont existé, puisqu'on retrouve la trace de fichiers sur cartouches 3490 et dans des répertoires HPSS – avant le regroupement en archives. Mais il n'existe pas d'archives regroupant ces images.

Images calibrées

Elles feront l'objet d'un post séparé.

Résumé

Programmes majeurs

• il manque environ 3 000 images sur 1 800 000, soit 0.2 %
• le programme le plus affecté est CG : 2 000 / 670 000 0.3 %

Programmes mineurs hors NR

• il manque 114 images sur ~ 15 500, soit 0.7 %

Programme Naines Rouges

• toutes les images ont disparu, soit ~ 59 800 images

Programmes techniques

• il manque 2 des 44 00 images, soit 0.0 %

Programmes Monté Carlos

• aucune des 80 000 images n'a été transférée.

Soit au total, en faisant abstraction des Naines rouges et des programmes Monté Carlos:

• 1 874 431 images référencées dans la base de données
• 1 871 349 fichiers transférés dans iRods
• 3 082 fichiers manquants, soit 0.2 %