Comment by Thomas Bedrine on 2024-07-08 14:18:29:
Changed the process of LineMeas to only run on classified objects, now we want to introduce a parameter that allows to choose between LineMeas on all models or only on the classified one
This will need several custom checks, both in Parameters and in the code itself, to go over every possible case

Comment by Thomas Bedrine on 2024-07-11 13:32:21:
An option has been added to enable the run for either all models or only the classified one, the needed tests and checks are in there too. We need to update DatasetParameters to include that new option
pylibamazed : https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/636

Comment by Didier Vibert on 2024-07-30 14:12:27:
un point à vérifier: les output linemeas dans le resultStore deviennent optionnels dans le cas linemeas from classif only. En effet, par exemple si linemeas est demandé pour galaxy et que le spectre n'est pas classifié comme galaxy, avant on avait toujours des outputs linemeas ou une erreur linemeas, maintenant on se retrouve sans output linemeas et sans erreurs linemeas non plus dans le resultstore python. Je pense que ça va entrainer des problèmes.... peut être en attendant il faut créer dans le resultStore une "fake" erreur linemeas dans ce cas ?

Comment by Thomas Bedrine on 2024-08-12 08:01:03:
J'ai vu avec Didier, on a corrigé les derniers petits détails, tout devrait être bon. On met de côté les tests unitaires pour l'instant parce que ProcessFlow est très compliqué à tester, mais on a un test d'intégration qui est prêt :
dataset-parameters : https://gitlab.lam.fr/amazed/dataset-parameters/-/merge_requests/89

Je mets en resolved quand j'ai fait tourner les IT

Comment by Thomas Bedrine on 2024-08-19 08:31:40:
Les ITs ont tourné et tout est bon, j'ai dû modifier légèrement dataset-tools dans le script des ITs pour éviter une confusion entre notre nouvel IT et les ITs linemeas qui ne tournent pas en pipe
dataset-tools : https://gitlab.lam.fr/amazed/dataset-tools/-/merge_requests/116

Comment by Didier Vibert on 2024-08-21 15:46:09:
@tbedrine juste qq petites modifs dans dataset-parameters et pylibamazed (cf gitlab)

Comment by Didier Vibert on 2024-08-21 16:31:52:
Didier Vibert wrote in #note-4:
> un point à vérifier: les output linemeas dans le resultStore deviennent optionnels dans le cas linemeas from classif only. En effet, par exemple si linemeas est demandé pour galaxy et que le spectre n'est pas classifié comme galaxy, avant on avait toujours des outputs linemeas ou une erreur linemeas, maintenant on se retrouve sans output linemeas et sans erreurs linemeas non plus dans le resultstore python. Je pense que ça va entrainer des problèmes.... peut être en attendant il faut créer dans le resultStore une "fake" erreur linemeas dans ce cas ?

en regardant le code, je maintiens qu'il y a sans doute un problème à ce niveau, au moins dans le cas où la classif plante:
cf "ResultStoreOutput.store_error":https://gitlab.lam.fr/CPF/cpf-redshift/-/blob/fix_issue_9058/pylibamazed/python/pylibamazed/ResultStoreOutput.py?ref_type=heads#L270
et "AbstractOutput.spectrum_model_stages":https://gitlab.lam.fr/CPF/cpf-redshift/-/blob/fix_issue_9058/pylibamazed/python/pylibamazed/AbstractOutput.py?ref_type=heads#L50

il n'y a pas de dépendance déclarée du stage "classification". Or il y en a une maintenant, conditionnelle, si LineMeasRunMode == "classif" alors lineMeasSolve depend de classification. Il me semble donc que dans l'état actuel, avec une erreur dans l'étape de classif, si LineMeasRunMode == "classif" il n'y aura pas d'erreur LineMeas propagée et ça engendre probablement des soucis ??
à moins que l'accès à des attributs depuis le ResultStoreOutput ou le HDF5Output n'utilise pas complétement ces dépendances d'erreur ???

Comment by Thomas Bedrine on 2024-08-22 13:40:43:
Les IT sont passés avec les modifications suiggérées sur gitlab
On fera un nouveau ticket pour gérer les cas que Didier a mentionnés juste au-dessus

Comment by Thomas Bedrine on 2024-08-26 08:25:11:
Ok cette fois les IT sont VRAIMENT passés

Comment by Pierre-yves Chabaud on 2024-08-27 08:17:56:
Merged into @develop@ (@102cb227@)