https://pfspipe.ipmu.jp/jira This file is an XML representation of an issue en-us 8.3.4 803005 13-09-2019 https://pfspipe.ipmu.jp/jira/browse/REDMINE1D-253 1D Redmine <p><em><font color="#505f79"> Created on 2019-02-18 13:58:31 by Marie Treyer. % Done: 0</font></em></p> <p>ALL :<br/> sigma,bias,eta=0.02086 &amp; 0.00304 &amp; 14.72<br/> &lt;CRPS&gt;=0.03179<br/> ZCNN&lt; 2 :<br/> sigma,bias,eta=0.02029 &amp; 0.00215 &amp; 13.80<br/> &lt;CRPS&gt;=0.03014<br/> PDF WIDTH&lt; 0.25 (90%):<br/> sigma,bias,eta=0.01867 &amp; 0.00157 &amp; 9.66<br/> &lt;CRPS&gt;=0.02566<br/> PDF WIDTH&lt; 0.15 (83%):<br/> sigma,bias,eta=0.01708 &amp; 0.00134 &amp; 6.58<br/> &lt;CRPS&gt;=0.02161</p> <p><span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16114/16114_SIG_SNR.png" style="border: 0px solid black" /></span><br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16115/16115_ZPHOT_ZSPEC.png" style="border: 0px solid black" /></span><br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="NZ.PNG" align="absmiddle" border="0" /> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16116/16116_MEANPDFS_WIDTH.png" style="border: 0px solid black" /></span> <br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="MEANPDFS_Z.png" align="absmiddle" border="0" /><br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="PIT.PNG" align="absmiddle" border="0" /></p> REDMINE1D-253

[RM-5184] Plots and stats from perfAllDataTest.npy

Task Normal Open Unresolved Redmine-Jira Migtation Redmine-Jira Migtation Wed, 5 Jul 2023 17:53:05 +0000 Wed, 5 Jul 2023 17:54:01 +0000 0 1 <p>Comment by Marie Treyer on 2019-02-18 16:01:48:<br/> For comparison, here are the stats for the available SED fitting zphots in the Wide and Deep fractions of the catalog respectively: </p> <p>ZPHOT_W&gt;0 (14872 galaxies) :<br/> sigma,bias,eta=0.04021 &amp; 0.02019 &amp; 26.80</p> <p>ZPHOT_D&gt;0 (5277 galaxies) :<br/> sigma,bias,eta=0.03301 &amp; -0.01458 &amp; 29.05</p> <p>ps: the fraction of outliers is still defined as abs(deltaz)&gt;0.05. </p> <p>Comment by Marie Treyer on 2019-02-18 16:36:23:<br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="SIG_Z.png" align="absmiddle" border="0" /> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="SIG_MAG.png" align="absmiddle" border="0" /> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="DELTAZ_Z.png" align="absmiddle" border="0" /></p> <p>Comment by Johanna Pasquet on 2019-02-19 09:45:56:<br/> Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...</p> <p>Comment by Marie Treyer on 2019-02-19 09:54:19:<br/> Johanna Pasquet wrote:<br/> &gt; Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...</p> <p>oui en effet, au delà de 1.5 ça devient hautement imprécis, comme on pouvait s'en douter au vu de la fraction de galaxies dans cette zone. les pdf sont quasi plates.</p> <p>Comment by Marie Treyer on 2019-02-28 11:44:19:<br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_CNN.png" align="absmiddle" border="0" /> <br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_WIDE.png" align="absmiddle" border="0" /> <br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_DEEP.png" align="absmiddle" border="0" /></p> <p>Comment by Stephane Arnouts on 2019-02-28 15:45:11:<br/> Marie TREYER wrote:<br/> merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info </p> <p>Comment by Johanna Pasquet on 2019-02-28 15:47:12:<br/> Marie TREYER wrote:<br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_CNN.png" align="absmiddle" border="0" /> <br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_WIDE.png" align="absmiddle" border="0" /> <br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_DEEP.png" align="absmiddle" border="0" /></p> <p>On voit vraiment bien l'amélioration <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/smile.png" height="16" width="16" align="absmiddle" alt="" border="0"/> Merci Marie!</p> <p>Comment by Stephane Arnouts on 2019-02-28 15:52:51:<br/> Johanna Pasquet wrote:<br/> &gt;<br/> &gt; On voit vraiment bien l'amélioration <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/smile.png" height="16" width="16" align="absmiddle" alt="" border="0"/> Merci Marie!</p> <p>oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/wink.png" height="16" width="16" align="absmiddle" alt="" border="0"/><br/> Regarder strictement les memes serait plus sur avant de conclure. </p> <p>Comment by Marie Treyer on 2019-02-28 15:54:20:<br/> Stephane ARNOUTS wrote:<br/> &gt; Marie TREYER wrote:<br/> &gt; merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info</p> <p>non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot&gt;0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement? </p> <p>Comment by Marie Treyer on 2019-02-28 15:55:27:<br/> Stephane ARNOUTS wrote:<br/> &gt; Johanna Pasquet wrote:<br/> &gt; &gt;<br/> &gt; &gt; On voit vraiment bien l'amélioration <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/smile.png" height="16" width="16" align="absmiddle" alt="" border="0"/> Merci Marie!<br/> &gt; <br/> &gt; oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/wink.png" height="16" width="16" align="absmiddle" alt="" border="0"/><br/> &gt; Regarder strictement les memes serait plus sur avant de conclure.</p> <p>c'est ce que j'avais fait avant, les stats sont les mêmes. </p> <p>Comment by Stephane Arnouts on 2019-02-28 16:12:22:</p> <p>&gt; non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot&gt;0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?</p> <p> OK, c'est bien ce qui me semblait. On a sans doute pas trop de stats avec un seul pickle pour le faire. </p> <p> Sinon oui Tu as le flag_K qui identifie les regions avec le K (je ne sais plus dans quel sens ca marche) et tu as flag_opt qui dit si la photometrie optique est OK ou dans une region masquee. <br/> Par defaut les objets dans des masques optiques ont zphot=-99 (mais zml contient l'info)</p> <p>Comment by Marie Treyer on 2019-02-28 17:21:53:<br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="SIG_ZSPEC_MAG.png" align="absmiddle" border="0" /></p> <p>Comment by Stephane Arnouts on 2019-02-28 17:32:21:<br/> Marie TREYER wrote:<br/> ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude </p> <p>Comment by Marie Treyer on 2019-02-28 17:34:00:<br/> Stephane ARNOUTS wrote:<br/> &gt; Marie TREYER wrote:<br/> &gt; ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude</p> <p>rien d'inattendu finalement</p> <p>Comment by Johanna Pasquet on 2019-03-11 12:18:10:<br/> New results with 50% of the statistics for the test: 97 603 images</p> <p>biais = 0.0029499073319248998<br/> sigma_mad = 0.02050504239557023<br/> fraction d' outliers = 11.3644047826</p> <p><img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="cfht1.png" align="absmiddle" border="0" /><br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="cfht2.png" align="absmiddle" border="0" /></p> <p>Comment by Marie Treyer on 2019-03-12 12:11:02:<br/> Johanna Pasquet wrote:<br/> &gt; New results with 50% of the statistics for the test: 97 603 images<br/> &gt; <br/> &gt; biais = 0.0029499073319248998<br/> &gt; sigma_mad = 0.02050504239557023<br/> &gt; fraction d' outliers = 11.3644047826<br/> &gt; <br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="cfht1.png" align="absmiddle" border="0" /><br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="cfht2.png" align="absmiddle" border="0" /></p> <p>consistency check <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/smile.png" height="16" width="16" align="absmiddle" alt="" border="0"/> <br/> les stats sont à zphot_CNN&lt;2. j'ai toujours l'ancienne définition des outliers.<br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_CNN.png" align="absmiddle" border="0" /></p> <p>Comment by Johanna Pasquet on 2019-03-12 14:03:44:<br/> Marie TREYER wrote:<br/> &gt; Johanna Pasquet wrote:<br/> &gt; &gt; New results with 50% of the statistics for the test: 97 603 images<br/> &gt; &gt; <br/> &gt; &gt; biais = 0.0029499073319248998<br/> &gt; &gt; sigma_mad = 0.02050504239557023<br/> &gt; &gt; fraction d' outliers = 11.3644047826<br/> &gt; &gt; <br/> &gt; &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="cfht1.png" align="absmiddle" border="0" /><br/> &gt; &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="cfht2.png" align="absmiddle" border="0" /><br/> &gt; <br/> &gt; consistency check <img class="emoticon" src="https://pfspipe.ipmu.jp/jira/images/icons/emoticons/smile.png" height="16" width="16" align="absmiddle" alt="" border="0"/> <br/> &gt; les stats sont à zphot_CNN&lt;2. j'ai toujours l'ancienne définition des outliers.<br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="ZSPEC_ZPHOT_CNN.png" align="absmiddle" border="0" /></p> <p>Super merci! </p> <p>Comment by Marie Treyer on 2019-03-12 14:06:01:<br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="PIT.png" align="absmiddle" border="0" /><br/> the PIT=1 peak is due to catastrophic errors at z&gt;3, especially those with zphot_CNN&lt;1.5<br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="MEANPDFS_Z.png" align="absmiddle" border="0" /> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="MEANPROBAS_HIGHZ.png" align="absmiddle" border="0" /></p> <p>Comment by Johanna Pasquet on 2019-03-12 14:09:08:<br/> Marie TREYER wrote:<br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="PIT.png" align="absmiddle" border="0" /><br/> &gt; the PIT=1 peak is due to catastrophic errors at z&gt;3, especially those with zphot_CNN&lt;1.5<br/> &gt; <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="MEANPDFS_Z.png" align="absmiddle" border="0" /> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="MEANPROBAS_HIGHZ.png" align="absmiddle" border="0" /></p> <p>Au delà de 3 en redshift c'est vraiment pas bon...dû au faible nombre de données dans cet intervalle. Peut être qu'on ne devrait pas considérer les images au delà de 3 pour le test du moins. Pour le PIT il faudrait voir si plus d'ensemble permettent de le rendre plus plat...</p> <p>Comment by Marie Treyer on 2019-03-12 14:12:36:<br/> <img src="https://pfspipe.ipmu.jp/jira/images/icons/attach/noimage.png" imagetext="PIT.png" align="absmiddle" border="0" /></p> Development Rank 0|zzsyjz: