https://pfspipe.ipmu.jp/jira This file is an XML representation of an issue en-us 8.3.4 803005 13-09-2019 https://pfspipe.ipmu.jp/jira/browse/REDMINE1D-363 1D Redmine <p><em><font color="#505f79"> Created on 2023-11-24 14:59:51 by Vincent Le Brun. % Done: 60</font></em></p> <p>sur le cc j'ai des temps de calculs très différents pour des bunchs de 8 spectres sur le meme noeud du cluster. (sans parler des variations d'un facteur 3 entre machines différentes)<br/> la commande<br/> &lt;pre&gt;&lt;code class="shell"&gt;<br/> sacct --format="User,JobID,state, Elapsed, start,node" --units G -u vlebrun -j 3484747|<br/> &lt;/code&gt;&lt;/pre&gt;<br/> montre en particulier pour le node45 deux bunchs terminés en 1:20 et d'autres qui tournent encore après 3 .heures</p> <p>Répertoire d'output /net/CESAM/amazed/vlebrun/EL-COSMOS2020/IncidentSpectra/output_0.46_1000_GS_SNR10</p> REDMINE1D-363

[RM-8502] temps de calculs variables

Task Normal In Progress Unresolved Redmine-Jira Migtation Redmine-Jira Migtation Fri, 24 Nov 2023 18:15:38 +0000 Mon, 11 Dec 2023 18:27:38 +0000 0 1 <p>Comment by Ali Allaoui on 2023-11-28 16:45:25:<br/> On peut voir la répartition des temps de calcul en utilisant mon venv de test : /net/CESAM/amazed/aallaoui/venvs/amazed_0.46-RC1<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16949/16949_newplot.png" style="border: 0px solid black" /></span></p> <p>Comment by Didier Vibert on 2023-11-28 17:28:36:<br/> Ali Allaoui wrote in #note-3:<br/> &gt; On peut voir la répartition des temps de calcul en utilisant mon venv de test : /net/CESAM/amazed/aallaoui/venvs/amazed_0.46-RC1</p> <p>oui joli ! y a plus qu'a aller regarder les spectres lents vs rapide pour voir si on peut expliquer la différence.</p> <p>Comment by Vincent Le Brun on 2023-11-28 21:59:17:<br/> il faut faire attention aux différences entre machines (qui sont assez énormes), et donc filtrer par nom de node aussi ...</p> <p>Comment by Ali Allaoui on 2023-12-06 13:12:09:<br/> En rajoutant les noeuds et en virant des noeuds manifestement plus lents, y a clairement moins de spectres problématiques <br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="newplot%281%29.png" align="absmiddle" border="0" /></p> <p>Comment by Ali Allaoui on 2023-12-06 13:14:13:<br/> du coup je pense qu'il vaut mieux refaire tourner sur la partition cpu_4216 pour regarder de plus près sans le biais des noeuds</p> <p>Comment by Didier Vibert on 2023-12-06 13:33:36:<br/> en regardant par nœud on voit encore des temps qui vont du simple au triple: </p> <p>eg node11:<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16951/16951_clipboard-202312061430-akaov.png" style="border: 0px solid black" /></span></p> <p>node27:<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16952/16952_clipboard-202312061431-m6fko.png" style="border: 0px solid black" /></span></p> <p>node45:<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16953/16953_clipboard-202312061432-ffz9g.png" style="border: 0px solid black" /></span></p> <p>node44:<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16954/16954_clipboard-202312061432-bf6g1.png" style="border: 0px solid black" /></span></p> <p>node46:<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16955/16955_clipboard-202312061433-h9mcp.png" style="border: 0px solid black" /></span></p> <p>etc...</p> <p>Comment by Ali Allaoui on 2023-12-06 13:55:40:<br/> ok donc ce run suffit mais je ne trouve pas de corrélation entre temps de calcul et les paramètres du modèle. Il faudrait avoir le nombre de points par spectre, c'est possible qu'il varie beaucoup sur ces spectres vincent ?</p> <p>Comment by Didier Vibert on 2023-12-06 13:56:48:<br/> Ali Allaoui wrote in #note-10:<br/> &gt; ok donc ce run suffit mais je ne trouve pas de corrélation entre temps de calcul et les paramètres du modèle. Il faudrait avoir le nombre de points par spectre, c'est possible qu'il varie beaucoup sur ces spectres vincent ?</p> <p>c'est exactement ce que j'étais entrain de me demander...</p> <p>Comment by Vincent Le Brun on 2023-12-06 13:59:05:<br/> ce sont les spectres incidents qui sont tous ré-échantillonnés à 1A sur la meme plage de longueur d'onde, donc qui ont tous le meme nombre de pixels. </p> <p>Comment by Didier Vibert on 2023-12-06 13:59:36:<br/> Vincent Le Brun wrote in #note-12:<br/> &gt; ce sont les spectres incidents qui sont tous ré-échantillonnés à 1A sur la meme plage de longueur d'onde, donc qui ont tous le meme nombre de pixels.</p> <p>et t'as pas mis de filtrage en entrée ?</p> <p>Comment by Vincent Le Brun on 2023-12-06 14:02:23:<br/> pourquoi faire ?<br/> non</p> <p>Comment by Ali Allaoui on 2023-12-06 14:31:33:<br/> en tous cas j'ai vérifié il n'y a aucune corrélation entre le temps de calcul et les attributs présents dans le redshift.csv</p> <p>Comment by Didier Vibert on 2023-12-06 14:58:30:<br/> une piste possible ?</p> <p>avec fftprocessing, il faut resampler les templates pour qu'ils soient avec le même pas en log que les spectres (eux même resamplés avec le pas en dz), ce resampling est fait au début de chaque spectre, dans @CProcessFlowContext::Init@ et donc a priori compté dans le usertime du spectre. D'après les logs, seul 4 templates sont resamplés <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/help_16.png" height="16" width="16" align="absmiddle" alt="" border="0"/>.<br/> Ensuite, dans un bunch, si les spectres ont tous le même sampling, le resampling des templates effectué avec le premier spectre du bunch est conservé et n'est pas refait pour les spectres suivants du bunch. On a donc une diff entre le premier spectre d'un bunch et les autres. Le resampling des templates ne se fait que sur la plage de longueur d'onde restframe qui va être utilisée (fonction de la couverture du spectre et du range z demandé). Avec des spectres incidents avec une grande couverture, les templates sont resamplés eux aussi sur une grande plage. Je ne sais pas si ça suffit à expliquer.... </p> Development Rank 0|zzt0if: