https://pfspipe.ipmu.jp/jira This file is an XML representation of an issue en-us 8.3.4 803005 13-09-2019 https://pfspipe.ipmu.jp/jira/browse/REDMINE1D-282 1D Redmine <p><em><font color="#505f79"> Created on 2023-08-17 16:17:07 by Fanny Dufresne. % Done: 100</font></em></p> <p>Refacto parameters as explained here <a href="https://projets.lam.fr/projects/amazed/wiki/2023-07-24" class="external-link" rel="nofollow">https://projets.lam.fr/projects/amazed/wiki/2023-07-24</a></p> <h2><a name="MRs"></a>MRs</h2> <p>MR cpf-redshift : <a href="https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/555" class="external-link" rel="nofollow">https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/555</a></p> <p>MR pyamazed : <a href="https://gitlab.lam.fr/CPF/pyamazed/-/merge_requests/128" class="external-link" rel="nofollow">https://gitlab.lam.fr/CPF/pyamazed/-/merge_requests/128</a></p> <p>MR amazed output analyzer : <a href="https://gitlab.lam.fr/amazed/amazed-output-analyzer/-/merge_requests/25" class="external-link" rel="nofollow">https://gitlab.lam.fr/amazed/amazed-output-analyzer/-/merge_requests/25</a></p> <p>MR dataset-tools : <a href="https://gitlab.lam.fr/amazed/dataset-tools/-/merge_requests/88" class="external-link" rel="nofollow">https://gitlab.lam.fr/amazed/dataset-tools/-/merge_requests/88</a></p> <p>MR vizu: <a href="https://gitlab.lam.fr/amazed/amazed-web-ui/-/merge_requests/27" class="external-link" rel="nofollow">https://gitlab.lam.fr/amazed/amazed-web-ui/-/merge_requests/27</a></p> <h2><a name="Modificationdudataset"></a>Modification du dataset</h2> <p>Dataset se8 modifié. Nouveaux fits dans /net/CESAM/amazed/fdufresne/datasetTmp</p> <h2><a name="Modificationspr%C3%A9sentes"></a>Modifications présentes</h2> <p>1. Ajout d'un "étage" contenant le type de solver (stage) (RedshiftSolver / LineMeasSolve / ClassificationSolver ...)<br/> 2. Renommage de nombreux paramètres</p> <h3><a name="python"></a>python</h3> <p>En pratique, dans le python les modifications (hors renommage brut) concernent l'initialisation de l'objet parameters:</p> <ul class="alternate" type="square"> <li>Récupération du json "brut". Celui-ci peut être au format "v1" (ancien format) ou "v2" (nouveau) format. La disctinciton ancien / nouveau se fait selon la présence d'un nouveau paramètre "version" dans le fichier de paramètres. On est donc retro compatibles sur le fichier json d'entrée (pour le moment).</li> </ul> <ul class="alternate" type="square"> <li>Application du json schema check sur ce fichier. 2 json schema cohabitent actuellement (v1 / v2). Modification du cmakelist pour copier tout le contenu de auxdir plutôt que les fichiers 1 à 1 dans ressources.</li> </ul> <ul class="alternate" type="square"> <li>Conversion du json "brut" (raw) en "treed". Que l'on ait en entrée un parameters v1 ou v2 on se retrouve donc avec le même "treed" format (voir ParametersConverter.py)</li> </ul> <ul class="alternate" type="square"> <li>Application des "custom checks" sur ce "treed" parameters. NB: Les messages d'erreur affichés à l'utilisateur ont été renommés =&gt; pour les fichiers en paramètres "v1" ça peut être le nouveau nom qui s'affiche et non l'ancien</li> </ul> <h3><a name="c"></a>c++</h3> <p>Les principales modifications dans le c++ conernent l'ajout d'un étage ("scope") contenant le solver utilisé (stage) (RedshiftSolver / ClassificationSolver etc)</p> <p>Le "renommage brut" des paramètres a été fait à l'aide du script rename_params_code.py et du fichier rename_parameters_v1_to_treed.csv (utilisé également pour la conversion paramètres v1 -&gt; treed) + corrections manuelles.</p> <h2><a name="Modificationdessorties"></a>Modification des sorties</h2> <p>Les résultats dont les mêmes, SAUF:</p> <ul> <li>au niveau des noms des attributs:</li> </ul> <ul class="alternate" type="square"> <li>&lt;methodName&gt;WarningFlags commençait avant par une majuscule, maintenant par une minuscule. Ex: LineMeasSolveWarningFlags &gt; lineMeasSolveWarningFlags</li> </ul> <ul> <li>au niveau des valeurs des attributs:</li> </ul> <ul class="alternate" type="square"> <li>Pour tout ce qui est "continuumName", "firstPassContinuumName" etc:</li> <li>fromspectrum devient fromSpectrum</li> <li>nocontinuum devient noContinuum</li> </ul> <p>Ces modifications se retrouvent dans le results.hdf5 et dans le redshift.csv</p> REDMINE1D-282

[RM-8219] [Parameters] Refacto object structure

Task Normal Done Done Redmine-Jira Migtation Redmine-Jira Migtation Thu, 17 Aug 2023 18:15:24 +0000 Tue, 6 Feb 2024 18:43:11 +0000 Tue, 6 Feb 2024 18:43:11 +0000 0 1 <p>Comment by Fanny Dufresne on 2023-10-11 09:24:47:<br/> Je propose de séparer ce ticket en 2 étapes :<br/> 1. Refacto de objects : passage de </p> <ul> <li>&lt;object_type&gt;: {...} <p>à:</p></li> <li>solvers : [ {name: &lt;object_type&gt;, ...} <p>, ...]</p></li> </ul> <p>2. Refacto des solvers : ajouter de la description des stages - besoin de quelques clarifications là dessus</p> <p>Comment by Didier Vibert on 2023-10-11 09:32:10:<br/> Fanny Dufresne wrote in #note-6:<br/> &gt; Je propose de séparer ce ticket en 2 étapes :<br/> &gt; 1. Refacto de objects : passage de <br/> &gt; * &lt;object_type&gt;: </p> {...} <p>&gt; à:<br/> &gt; * solvers : [</p> {name: &lt;object_type&gt;, ...} <p>, ...]<br/> &gt; <br/> &gt; 2. Refacto des solvers : ajouter de la description des stages - besoin de quelques clarifications là dessus</p> <p>ok p moi</p> <p>Comment by Didier Vibert on 2023-10-13 14:09:16:<br/> je mets ici un point du checker à corriger (peut-être une issue dédiée, à toi de voir @fdufresne)</p> <p>dans le json shema, @"additionalProperties": false@ n'est appliqué qu'au niveau où il est mis, mais ne s'applique pas aux niveaux en dessous: il faudrait donc le répéter dans chaque section properties... à moins qu'il y ait un moyen de le définir globalement pour toutes les properties ?</p> <p>Comment by Didier Vibert on 2023-10-13 15:02:52:<br/> encore un truc, avec la nouvelle structure définie ici (<a href="https://projets.lam.fr/projects/amazed/wiki/2023-07-24" class="external-link" rel="nofollow">https://projets.lam.fr/projects/amazed/wiki/2023-07-24</a>), on rajoute un niveau (stages) à l'arbre des scopes.</p> <p>On peut soit supprimer ce niveau lors de la conversion du json en input vers le json stocké dans la classe parameters et passé au C++, mais c'est peut-être dommage voire impossible pour l'utilisation des paramètres en python. </p> <p>une solution pour facilement prendre en compte ce niveau sans trop modifier le C++ consiste à binder en python via swig la classe @CAutoscope@ et de s'en servir dans le run @Context.run@ pour pousser des noms dans la chaine scope (et les dépiler automatiquement à la destruction de l'objet). D'ailleurs dans la classe CAutoscope, on pourrait utiliser directement le singleton CProcessFlowContext pour récupérer la scopestack plutôt que de le prendre comme argument...</p> <p>Autre solution définir en python un contextmanager qui push le nom en entrée et le pop en sortie, et l'utiliser avec des with statement dans le @Context.run@.</p> <p>Ensuite, avec ça on peut donc pousser des scope dans la scopstack du contexte, et ça devrait donc être l'api python dans @Context.run@ qui pousse les scopes SpectrumModel et stage, =&gt; il faut modifier le constructeur C++ des methodSolve pour qu'ils ne poussent que le nom de leur méthode, et plus besoin de leur passer en argument l'object type. Celui-ci pourra être récupéré directement dans le scopeStore.</p> <p>=&gt; attention aussi, ce niveau supplémentaire dans l'arbre, va se répercuter dans le resultStore. il faudra modifier certainement un peu le code python pour en tenir compte</p> <p>Comment by Fanny Dufresne on 2023-10-17 09:31:05:<br/> Je suis tout à fait partante pour rajouter les stages à l'arbre des scopes. Par contre je n'ai pas compris grand chose à l'implémentation proposée, je passerai en discuter</p> <p>Comment by Fanny Dufresne on 2023-10-18 09:27:23:<br/> A priori les pattern properties marchent très bien, y compris au niveau de la doc. Je suis très partante pour les utilisera</p> <p>Comment by Pierre-yves Chabaud on 2024-01-23 10:14:06:<br/> Merged @develop@ (@d7a0cecc@)</p> Development Rank 0|zzsz9r: