Images calées
11 Décembre 2021
Les images calées astronomiquement par Jean-Baptiste sont en cours de transfert vers le Centre de calcul et 2/3 sont déjà recopiées dans Irods, référencées dans la base de données et leurs entêtes sont enregistrées dans la base de données.
Cette sauvegarde des images calées par Jean-Baptiste a entraîné une réorganisation des espaces Irods pour Eros 2:
- les images calées sont conservées dans: /eros/data/eros2/fits-astro
- les entêtes des images calées sont dans: /eros/data/eros2/headers-astro
- les images d'origine dans: /eros/data/eros2/fits
- les entêtes d'origine dans: /eros/data/eros2/headers-origin
Les performances sont plutôt bonnes, puisqu'on a pu sauver jusqu'à 120.000 images dans une journée, soit un peu plus d'une image par seconde, ou encore environ 10-12 Mo/s en flux soutenu.
Évidemment, nous ne sommes pas seuls à utiliser Irods, et donc l'efficacité fluctue en fonction de la concurrence. Par ailleurs, pour éviter les mauvaises surprises, je demande le calcul des clés MD5 des fichiers avant leur sauvegarde puis la comparaison avec les fichiers une fois sauvés, ce qui augmente les IOs, et donc réduit les performances.
En outre, dans les premiers temps, j'attendais que toutes les images d'un programme soient disponibles avant de lancer les sauvegardes. Ce qui n'a pas beaucoup d'intérêt. Il est plus efficace de sauver chaque jour les images arrivées la veille.
Les 5 jours perdus entre le début et la fin des opérations réalisées jusqu'ici s'expliquent par cette erreur de stratégie, mais aussi par la nécessité de faire de la place en recopiant dans Irods les images Macho avant de les supprimer du disque SPS où elles attendaient leur sauvegarde.
Performance des opérations de sauvegarde
