https://pfspipe.ipmu.jp/jira This file is an XML representation of an issue en-us 8.3.4 803005 13-09-2019 https://pfspipe.ipmu.jp/jira/browse/REDMINE1D-288 1D Redmine <p><em><font color="#505f79"> Created on 2023-08-24 15:11:44 by Vincent Le Brun. % Done: 100</font></em></p> <p>MR: <a href="https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/542" class="external-link" rel="nofollow">https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/542</a></p> <p>en faisant la vérification des résultats de la validation sur pfs7 avec la 0.44_RC4</p> <p>&lt;pre&gt;<br/> vizu -p 5002 /net/CESAM/amazed/validation_tests/release_0.44/output_pfs_0.44-RC4/ -r /net/CESAM/amazed/dataset/pfs7_900s/ref_pfs7_900s.csv</p> <p>&lt;/pre&gt;<br/> je suis tombé la dessus sur l'objet 743481, sur le modele galaxy. Le solver avait planté avec un message :<br/> &lt;pre&gt;<br/> Error: INTERNAL_ERROR: Failed to identify a range including the candidate 1.08851 [/net/CESAM/amazed/amazed/amazed_rc/src/cp<br/> f-redshift/RedshiftLibrary/src/lib/statistics/pdfcandidatesz.cpp:155:SetIntegrationRanges]</p> <p>&lt;/pre&gt;<br/> et c'est dommage vu que c'était la bonne solution... </p> <p>Conséquence de ça, vizu plante sur le display du spectre en modele galaxy et sort ce message :<br/> &lt;pre&gt;<br/> See the caveats in the documentation: <a href="https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy" class="external-link" rel="nofollow">https://pandas.pydata.org/pandas-docs/stable/user_guide/indexing.html#returning-a-view-versus-a-copy</a><br/> catalog_data<span class="error">&#91;&quot;FittedLineLambda&quot;&#93;</span> = (1+redshift)*catalog_data<span class="error">&#91;&quot;WaveLength&quot;&#93;</span><br/> Traceback (most recent call last):<br/> File "/net/CESAM/amazed/venvs/amazed_0.44-RC4/lib/python3.9/site-packages/amazedWebServer/apiEndPoints.py", line 250, in get_fitted_data_by_rank<br/> som.get_dataset(dataset="continuum", object_type=object_type, rank=rank)<br/> File "/net/CESAM/amazed/venvs/amazed_0.44-RC4/lib64/python3.9/site-packages/pylibamazed/AbstractOutput.py", line 259, in get_dataset<br/> return self.object_results<span class="error">&#91;object_type&#93;</span><span class="error">&#91;dataset&#93;</span><span class="error">&#91;rank&#93;</span><br/> KeyError: 'continuum'<br/> Traceback (most recent call last):<br/> File "/net/CESAM/amazed/venvs/amazed_0.44-RC4/lib/python3.9/site-packages/amazedWebServer/apiEndPoints.py", line 220, in get_fitted_lines_by_rank<br/> fr = session.get_fitted_lines_by_rank(<br/> File "/net/CESAM/amazed/venvs/amazed_0.44-RC4/lib/python3.9/site-packages/AmazedOutputAnalyzer/abstractSession.py", line 452, in get_fitted_lines_by_rank<br/> fr = pd.DataFrame(som.get_dataset(dataset ="fitted_lines", object_type=object_type,rank=rank))<br/> File "/net/CESAM/amazed/venvs/amazed_0.44-RC4/lib64/python3.9/site-packages/pylibamazed/AbstractOutput.py", line 259, in get_dataset<br/> return self.object_results<span class="error">&#91;object_type&#93;</span><span class="error">&#91;dataset&#93;</span><span class="error">&#91;rank&#93;</span><br/> KeyError: 'fitted_lines'</p> <p>&lt;/pre&gt;</p> REDMINE1D-288

[RM-8232] pb solver galaxy pls_700

Task Normal Done Done Redmine-Jira Migtation Redmine-Jira Migtation Thu, 24 Aug 2023 18:15:16 +0000 Thu, 21 Sep 2023 18:26:47 +0000 Thu, 21 Sep 2023 18:26:47 +0000 0 1 <p>Comment by Didier Vibert on 2023-08-24 16:21:01:<br/> ah ça fait 2 tickets ça ! un pour vizu et un pour la lib...<br/> je rajoute @fdufresne en watcher, je me demande si ça concerne pas des modifs qu'elle a faite ?</p> <p>Comment by Pierre-yves Chabaud on 2023-08-25 14:30:20:<br/> L'erreur @Failed to identify a range including the candidate <span class="error">&#91;...&#93;</span>@ n’apparaît qu'une fois sur l'ensemble des tests de validation de la RC4.<br/> L'erreur apparaît pour la première fois sur la RC3 en date du 3 août.</p> <p>Comment by Vincent Le Brun on 2023-09-08 12:44:32:<br/> j'ai eu un mail avec un commentaire de Fanny qui n'apparait pas ici, à propos du parameters.json. comme ce n'est pas moi qui ai fait tourner le run je ne sais pas, Pierre-Yves ?</p> <p>Comment by Didier Vibert on 2023-09-08 12:55:33:<br/> Vincent Le Brun wrote in #note-5:<br/> &gt; j'ai eu un mail avec un commentaire de Fanny qui n'apparait pas ici, à propos du parameters.json. comme ce n'est pas moi qui ai fait tourner le run je ne sais pas, Pierre-Yves ?</p> <p>moi aussi j'ai eu le mail et pas de trace du msg ici... sinon le parameters.json utilisé est toujours sauvegardé dans le run. Donc ici @/net/CESAM/amazed/validation_tests/release_0.44/output_pfs_0.44-RC4/parameters.json@</p> <p>Comment by Pierre-yves Chabaud on 2023-09-08 13:39:07:<br/> Je pense que Fanny a supprimé son commentaire pour ne pas vous déranger car elle s'est rendu compte qu'il n'était plus a propos. Nous avons échangé par Mattermost.<br/> C'était sans compté sur les notifications par email <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/biggrin.png" height="16" width="16" align="absmiddle" alt="" border="0"/></p> <p>Comment by Fanny Dufresne on 2023-09-11 08:29:19:<br/> héhé exactement ! La prochaine fois je mettrai un petit message pour prévenir que c'est out of date ^^</p> <p>Comment by Fanny Dufresne on 2023-09-13 12:37:42:<br/> A priori le candidat est bien hors range, à cause d'une modif faite pour éviter que les ranges ne se marchent dessus</p> <p>L'intervalle dans du redshift le plus haut commence plus bas que l'intervalle du reshift le plus bas (en gros le range du zlow est contenu dans le range du zhigh), du coup les calculs suivants ne fonctionnent pas comme prévu (la partie ranges<span class="error">&#91;candidateKeyLow&#93;</span>.SetEnd(ranges<span class="error">&#91;candidateKeyHigh&#93;</span>.GetBegin() - 1E-4) fait sortir le candidat low de son range)</p> <ul> <li>On a au départ :<br/> low : redshift 1.088509 - range <span class="error">&#91;1.088372, 1.088646&#93;</span><br/> high: redshift 1.093318 - range <span class="error">&#91;1.085216, 1.101420&#93;</span></li> </ul> <ul> <li>Puis après la première partie de calcul qui supprime l'overlap :<br/> tout pareil sauf range redshift qui devient <span class="error">&#91;1.088577, 1.101420&#93;</span> -&gt; il y a encore un overlap</li> </ul> <ul> <li>Puis avec ranges<span class="error">&#91;candidateKeyLow&#93;</span>.SetEnd(ranges<span class="error">&#91;candidateKeyHigh&#93;</span>.GetBegin() - 1E-4:<br/> on "éjecte" le redshift low de son range</li> </ul> <p>Voilà, à voir comment on décide de corriger ça !</p> <p>Comment by Vincent Le Brun on 2023-09-13 13:06:54:<br/> dans cette situation pourquoi on ne fusionne pas les intervalles pour laisser la deuxième pass se débrouiller toute seule ?</p> <p>Comment by Didier Vibert on 2023-09-13 13:19:07:<br/> Vincent Le Brun wrote in #note-10:<br/> &gt; dans cette situation pourquoi on ne fusionne pas les intervalles pour laisser la deuxième pass se débrouiller toute seule ?</p> <p>ça se passe après la deuxième passe. Les ranges dont parle @fdufresne sont les ranges d'intégration de la pdf sous le pic. Donc là on a 2 candidats, avec donc deux ranges second pass disjoints, mais in fine, quand on évalue la largeur des pics de chacun, y en a un qui se retrouve à l'intérieur de l'autre !</p> <p>Comment by Vincent Le Brun on 2023-09-13 13:21:12:<br/> Ok mais avec un intervalle de seconde pass adaptable en fonction de la largeur du pic le probleme ne doit pas se produire ?</p> <p>Comment by Didier Vibert on 2023-09-13 13:32:31:<br/> Vincent Le Brun wrote in #note-12:<br/> &gt; Ok mais avec un intervalle de seconde pass adaptable en fonction de la largeur du pic le probleme ne doit pas se produire ?</p> <p>Certes, c'est l'objet du ticket #6508. Pour l'instant quand on trouve un pic trop large par rapport à la taille de la fenêtre seconde passe on fait un warning, l'objet de #6508 est de recommencer la 2nd pass (on abandonne l'idée d'un proxy sur la largeur du pic à l'issue de la première passe, car pas concluant). Ce développement un peu complexe.</p> <p>Comment by Fanny Dufresne on 2023-09-14 14:05:32:<br/> Après discussion avec Didier on va probablement dans un premier temps modifier la manière dont sont séparés les ranges quand il y a overlap.</p> <ul> <li>Ce qui est fait actuellement:</li> </ul> <ul class="alternate" type="square"> <li>si les deux redshift sont "suffisamment distants": on les sépare, en raccourcissant le range du redshift le plus grand</li> <li>sinon on ajoute le redshift le plus bas aux "duplicates"</li> </ul> <ul> <li>Ce qu'on souhaite faire: changement de la condition:</li> </ul> <ul class="alternate" type="square"> <li>si l'overlap est inférieur à 30% de la taille des chacun des range, on les sépare en mettant la frontière des range au milieu de l'overlap</li> <li>sinon on ajoute le redshift le plus bas aux "duplicates"</li> </ul> <p>Comment by Vincent Le Brun on 2023-09-14 14:48:21:<br/> ça me va, en plus ça fait une décision un peu plus symétrique entre les deux candidats</p> <p>Comment by Didier Vibert on 2023-09-15 07:02:59:<br/> Fanny Dufresne wrote in #note-16:</p> <p>&gt; Après discussion avec Didier on va probablement dans un premier temps modifier la manière dont sont séparés les ranges quand il y a overlap.<br/> &gt; * Ce qui est fait actuellement: <br/> &gt; - si les deux redshift sont "suffisamment distants": on les sépare, en raccourcissant le range du redshift le plus grand<br/> &gt; - sinon on ajoute le redshift le plus bas aux "duplicates"<br/> &gt; <br/> &gt; * Ce qu'on souhaite faire: changement de la condition:<br/> &gt; - si l'overlap est inférieur à 30% de la taille des chacun des range, on les sépare en mettant la frontière des range au milieu de l'overlap<br/> &gt; - sinon on ajoute le redshift le plus bas aux "duplicates"</p> <p>Je viens de regarder: les candidats listés dans "duplicates" sont ensuite supprimés. Il faudrait donc choisir entre les deux, celui qu'on supprime. Choisir le plus bas z est totalement arbitraire. Comme on n'a pas encore calculé l'intégrale de la proba, et pour cause, je propose de conserver celui dont le max de la pdf est le plus élevé.</p> <p>Je rappelle aussi qu'avec l'adaptation de la seconde passe on ne devrait plus avoir de problème à ce niveau: </p> <ol> <li>l'adaptation proposée dans #6508 est d'agrandir la fenêtre suffisamment pour contenir tout le pic, une fois sa largeur calculée. Donc le range d'intégration devrait être contenu dans la fenêtre.</li> <li>lors du calcul des fenêtres 2nd passe, les fenêtres qui se chevauchent sont fusionnées, et un seul candidat est retenu par fenêtre.</li> </ol> <p>Comment by Vincent Le Brun on 2023-09-15 08:51:19:<br/> donc est ce que ça vaut la peine de faire une correction qui ne sera plus utile après la 6508 (sauf si celle là est prévue en meme temps que Kalman ?)</p> <p>Comment by Pierre-yves Chabaud on 2023-09-15 09:03:44:<br/> (coup bas...)</p> <p>Comment by Fanny Dufresne on 2023-09-15 14:20:29:<br/> Pour le moment ce que je propose de faire (enfin que j'ai déjà fait):</p> <ul class="alternate" type="square"> <li>Les modifs indiquées dans la note #16</li> <li>En effet il serait plus logique de garder candidat dont le max de la proba est plus élevé mais ça demande un petit peu plus de travail, et si ça a vocation a être jeté prochainement je serais partante pour ne pas le faire. OK pour toi Didier ?</li> </ul> <p>Comment by Didier Vibert on 2023-09-15 14:33:17:<br/> Fanny Dufresne wrote in #note-21:<br/> &gt; Pour le moment ce que je propose de faire (enfin que j'ai déjà fait):<br/> &gt; - Les modifs indiquées dans la note #16 <br/> &gt; - En effet il serait plus logique de garder candidat dont le max de la proba est plus élevé mais ça demande un petit peu plus de travail, et si ça a vocation a être jeté prochainement je serai|s partante pour ne pas le faire. OK pour toi Didier ?</p> <p>ça dépend du temps qu'on met à implémenter #6508. Si tu te sens de la faire rapidement ok, sinon fixe celle là .<br/> C'est pas bien compliqué, tu as directement la val de la proba dans le candidat: @candidates<span class="error">&#91;candidateKeyLow|candidateKeyHigh&#93;</span>-&gt;ValProba@ et il suffit de push dans @duplicates@ celui qui a la plus faible.</p> <p>sinon, tes modifs ne seront pas "à jeter", même après #6508, on ne sait jamais... </p> <p>Comment by Fanny Dufresne on 2023-09-15 15:36:10:<br/> ça marche</p> <p>Comment by Pierre-yves Chabaud on 2023-09-20 12:41:03:<br/> Merged into @develop@ (@864219aa@)</p> Development Rank 0|zzszbj: