[RM-8219] [Parameters] Refacto object structure

Created on 2023-08-17 16:17:07 by Fanny Dufresne. % Done: 100

Refacto parameters as explained here https://projets.lam.fr/projects/amazed/wiki/2023-07-24

MRs

MR cpf-redshift : https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/555

MR pyamazed : https://gitlab.lam.fr/CPF/pyamazed/-/merge_requests/128

MR amazed output analyzer : https://gitlab.lam.fr/amazed/amazed-output-analyzer/-/merge_requests/25

MR dataset-tools : https://gitlab.lam.fr/amazed/dataset-tools/-/merge_requests/88

MR vizu: https://gitlab.lam.fr/amazed/amazed-web-ui/-/merge_requests/27

Modification du dataset

Dataset se8 modifié. Nouveaux fits dans /net/CESAM/amazed/fdufresne/datasetTmp

Modifications présentes

1. Ajout d'un "étage" contenant le type de solver (stage) (RedshiftSolver / LineMeasSolve / ClassificationSolver ...)
2. Renommage de nombreux paramètres

python

En pratique, dans le python les modifications (hors renommage brut) concernent l'initialisation de l'objet parameters:

• Récupération du json "brut". Celui-ci peut être au format "v1" (ancien format) ou "v2" (nouveau) format. La disctinciton ancien / nouveau se fait selon la présence d'un nouveau paramètre "version" dans le fichier de paramètres. On est donc retro compatibles sur le fichier json d'entrée (pour le moment).

• Application du json schema check sur ce fichier. 2 json schema cohabitent actuellement (v1 / v2). Modification du cmakelist pour copier tout le contenu de auxdir plutôt que les fichiers 1 à 1 dans ressources.

• Conversion du json "brut" (raw) en "treed". Que l'on ait en entrée un parameters v1 ou v2 on se retrouve donc avec le même "treed" format (voir ParametersConverter.py)

• Application des "custom checks" sur ce "treed" parameters. NB: Les messages d'erreur affichés à l'utilisateur ont été renommés => pour les fichiers en paramètres "v1" ça peut être le nouveau nom qui s'affiche et non l'ancien

c++

Les principales modifications dans le c++ conernent l'ajout d'un étage ("scope") contenant le solver utilisé (stage) (RedshiftSolver / ClassificationSolver etc)

Le "renommage brut" des paramètres a été fait à l'aide du script rename_params_code.py et du fichier rename_parameters_v1_to_treed.csv (utilisé également pour la conversion paramètres v1 -> treed) + corrections manuelles.

Modification des sorties

Les résultats dont les mêmes, SAUF:

• au niveau des noms des attributs:

• <methodName>WarningFlags commençait avant par une majuscule, maintenant par une minuscule. Ex: LineMeasSolveWarningFlags > lineMeasSolveWarningFlags

• au niveau des valeurs des attributs:

• Pour tout ce qui est "continuumName", "firstPassContinuumName" etc:
• fromspectrum devient fromSpectrum
• nocontinuum devient noContinuum

Ces modifications se retrouvent dans le results.hdf5 et dans le redshift.csv