https://pfspipe.ipmu.jp/jira This file is an XML representation of an issue en-us 8.3.4 803005 13-09-2019 https://pfspipe.ipmu.jp/jira/browse/REDMINE1D-209 1D Redmine <p><em><font color="#505f79"> Created on 2023-01-11 16:15:49 by Vincent Le Brun. % Done: 100</font></em></p> <p>Vincent Le Brun wrote:<br/> J'ai commencé à faire des tests avec la photométrie, voilà les premiers résultats sir l'échantillon 200K EL-COSMOS.<br/> Les taux de succès sont calculées à 2e-3 et le sigma avec un clipping à 0.01et la base c'est le run 'noprior' purement spectro, taux de succès 7%; sigma=7e-4, la pureté/completeness donne ça<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16895/16895_ELCosmos200k_PC_0.40_noprior.png" style="border: 0px solid black" /></span><br/> J'ai ensuite testé la photométrie 'à vide' donc avec weight=0 les chiffres sont les mêmes mais la P/C est légèrement différente <br/> <span class="error">Unable to render embedded object: File (ELCosmos200k_PC_0.40_noprior_phot_w0) not found.</span><br/> Il faut vérifier si c'est attendu. Le plot z_gal vs z_ref est celui qu'on a en no prior, donc une dispersion importante<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16896/16896_ELCosmos200k_0.40_z_zref_noprior.png" style="border: 0px solid black" /></span><br/> En activant la photométrie seule (répertoire /net/CESAM/amazed/vlebrun/EL-COSMOS2020/output_0.40_phot) le taux de succès tombe à 4,75%, il y a un étalement plus important des erreurs au point que la mesure du sigma a du mal à se faire. <br/> La completeness est fortement affectée, la pureté du meilleur échantillon un peu moins, mais le résultat global n'est pas bon <br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16892/16892_ELCosmos200k_PC_0.40_phot.png" style="border: 0px solid black" /></span><br/> Par contre le plot z vs z_ref montre des caractéristiques intéressantes, il y a beaucoup moins d'étalement général mais la dispersion autour des solutions est plus importantes. <br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16893/16893_ELCosmos200k_0.40_z_zref_phot.png" style="border: 0px solid black" /></span><br/> Il est possible que le poids de la photométrie soit trop important, les prochains tests vont donc se faire avec le prior H-a et/ou avec un poids moins fort de la photométrie.</p> REDMINE1D-209

[RM-7764] Résultats Photométrie

Task Normal Done Done Redmine-Jira Migtation Redmine-Jira Migtation Wed, 5 Jul 2023 05:08:53 +0000 Mon, 27 Nov 2023 19:32:17 +0000 Thu, 23 Nov 2023 18:44:39 +0000 0 1 <p>Comment by Vincent Le Brun on 2023-01-11 18:22:42:<br/> avec le prior H-alpha et la photométrie w=1, pas d'amélioration par rapport à la photométrie seule. Et en plus on retrouve l'accumulation de redshift mesurés entre 0.9 et 1 due au prior<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16897/16897_ELCosmos200k_0.40_z_zref_phot_w1_Haprior.png" style="border: 0px solid black" /></span><br/> la completeness est ruinée par des mismatch induits par le poids de la photométrie qui déforme la PDF<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16898/16898_PDF_mismatch_Ha_P5_phot_Haprior.png" style="border: 0px solid black" /></span><br/> prochains tests avec une photométrie moins forte meme si ça serait bien de comprendre pourquoi le PDF est aussi déformée, au pire j'attendait que la photométrie ne soit pas très sélective, pas qu'elle élimine les bonnes solutions</p> <p>Comment by Vincent Le Brun on 2023-01-12 07:59:22:<br/> Il y a sans doute un problème dans les conversions photométriques mais je ne saurais pas dire ou : voila le spectre de cet objet avec les deux templates : le bon a z=1.63 et le mismatch donné par la photométrie. Ils se superposent sans probleme sur le spectre (et donc les données photométriques Y J et H ne sont pas très discriminantes) par contre dans le visible ils diffèrent d'un facteur 2 <br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16899/16899_Spec_1001488_templates.png" style="border: 0px solid black" /></span><br/> Cet objet a une magnitude 'Euc_riz' de 22.4 (contre 21.8, 21.5 et 21.5 en Y, J et H).<br/> Ca donne des flux (f_nu) de 4e-29 (vis) 7e-29 (Y) et 9e-29 (J et H)<br/> et donc avec f_lambda = 3e18 A/s / lambda^2 * f_nu (en erg/cm2/A/s)<br/> on obtient dans le visible (donc à 7000A) f_lambda=2.4 e-18 donc en très bon accord avec le template à bas z...<br/> Pour la bande H (16800A) ça donne f_lambda = 9e-19 là encore en bon accord à la fois avec le spectre et les deux templates</p> <p>Comment by Didier Vibert on 2023-01-12 08:28:27:<br/> Vincent Le Brun wrote in #note-2:<br/> &gt; Il y a sans doute un problème dans les conversions photométriques mais je ne saurais pas dire ou : voila le spectre de cet objet avec les deux templates : le bon a z=1.63 et le mismatch donné par la photométrie. Ils se superposent sans probleme sur le spectre (et donc les données photométriques Y J et H ne sont pas très discriminantes) par contre dans le visible ils diffèrent d'un facteur 2 </p> <p>&gt; Cet objet a une magnitude 'Euc_riz' de 22.4 (contre 21.8, 21.5 et 21.5 en Y, J et H).<br/> &gt; Ca donne des flux (f_nu) de 4e-29 (vis) 7e-29 (Y) et 9e-29 (J et H)<br/> &gt; et donc avec f_lambda = 3e18 A/s / lambda^2 * f_nu (en erg/cm2/A/s)<br/> &gt; on obtient dans le visible (donc à 7000A) f_lambda=2.4 e-18 donc en très bon accord avec le template à bas z...<br/> &gt; Pour la bande H (16800A) ça donne f_lambda = 9e-19 là encore en bon accord à la fois avec le spectre et les deux templates</p> <p>super ! j'avais effectivement constaté la forme des pdfs qui privilégie complètement les bas z (on a cette forme pour beaucoup d'objets) ce qui tue la completness en renvoyant à bas z les target Ha. Je n'avais pas pris le temps de vérifier les calculs photométriques... Il faut comprendre d'òu ça vient. Ça me rassure: ce que j'ai codé semble correct avec les données et templates en entrée. </p> <p>Est-ce que les templates sont bons à bas z ? Est-ce que ce sont les SED utilisées par Sylvain et Olivier qui ne correspondent pas ?</p> <p>Je vois que Ali est en watcher: ça serait bien de rajouter les données photométriques (si le fit photo est activé) dans vizu...</p> <p>Comment by Vincent Le Brun on 2023-01-12 08:29:21:<br/> ALi a déjà son ticket vizu sur la photométrie ...</p> <p>Comment by Vincent Le Brun on 2023-01-12 17:36:18:<br/> voilà le même plot en utilisant les amplitudes calculées par Amazed, avec le spectre incident et les bandes photométriques.<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16900/16900_Spec_1001488_alltemplates.png" style="border: 0px solid black" /></span><br/> Plusieurs constats : </p> <ul> <li>La photométrie est OK par rapport au spectre incident</li> <li>Le spectre Euclid ne montre pas de perte de flux significative (pas étonnant vu qu'il s'agit d'un objet lointain donc probablement compact)</li> <li>Le template obtenu sur le spectre seul (et qui donne le bon z) n'a rien à voir avec le spectre incident. A garder en mémoire pour la classification</li> <li>Le template qui donne le bon z avec la photométrie (obtenu en forçant Amazed à chercher à cet endroit là) est similaire au spectre incident (burst jeune) mais une pente différente, et un coefficient d'ISM = 0, alors qu'un peu d'absorption lui aurait sans doute donné une pente plus proche du spectre incident. Sylvain, E(B-V) est accessible quelque part ? De notre coté il faut vérifier le fit de l'ISM sur la photométrie</li> </ul> <p>Comment by Didier Vibert on 2023-01-13 07:55:50:<br/> Vincent Le Brun wrote in #note-10:<br/> &gt; De notre coté il faut vérifier le fit de l'ISM sur la photométrie</p> <p>d'après le source (sauf bug) l'ISM est bien appliqué de la même manière dans la même boucle sur le template redshifté, rebinné dans la bande photométrique... à vérifier éventuellement au debugger pour être certain. </p> <p>Comment by Didier Vibert on 2023-01-13 08:24:52:<br/> Vincent Le Brun wrote in #note-10:<br/> &gt; voilà le même plot en utilisant les amplitudes calculées par Amazed, avec le spectre incident et les bandes photométriques.</p> <p>Dans les différences entre le spectre incident et le template amazed au bon redshift avec la photométrie, il y a aussi les bandes Y et J qui semblent tirées vers le haut par plein de raies en émission qui ne sont pas présentes dans le template amazed par construction... ce qui conduit sans doute à favoriser le template à bas z qui passe bien mieux pas ces points de photométrie. En effet, pour l'instant, le modèle photométrique ajusté n'utilise que les templates sans raies d’émission (dans l'opérateur template fitting) sans utiliser le linemodel. On avait considéré que le poids des raies d'émission dans le flux intégré serait négligeable pour la photométrie. J'ai l'impression que ce n'est pas le cas.</p> <p>Si c'est confirmé, il faut mettre à jour le modèle photométrique en incluant les raies. C'est un truc compliqué à faire car amazed ajuste l'amplitude du template indépendamment des raies (en excluant les longueurs d'ondes où le modèle a des raies en émission). Or avec la photométrie ce n'est plus vrai... On ne peut pas soustraire la contribution des raies aux données photométriques pour ajuster le template sans connaitre l'amplitude des raies alors qu'on peut simplement couper les zone du spectre où il y a des raies pour ajuster le template sur le spectre sans connaitre l'amplitude des raies. Il y a une option dans amazed pour faire un fit joint de l'amplitude du template de continu et des amplitudes du linemodel, mais c'est bcp plus long en calcul: inversion svd à chaque point de l'espace des paramètres (z, template de continu, ism, igm, template ratio de raies, dispersion de vitesse) vs solution analytique. </p> <p>Comment by Vincent Le Brun on 2023-01-13 09:43:48:<br/> Suite de l'analyse, la distribution du taux de succès en fonction des différentes magnitudes, en gros quelque soit la bande plus l'objet est brillant plus le taux de succès est faible, donc la photométrie semble être contre-productive... <br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16901/16901_Success_vs_H.png" style="border: 0px solid black" /></span><br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16904/16904_Success_vs_J.png" style="border: 0px solid black" /></span><br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16902/16902_Success_vs_Y.png" style="border: 0px solid black" /></span><br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16903/16903_Success_vs_riz.png" style="border: 0px solid black" /></span><br/> Il y a aussi un template de continu qui n''est pas choisi, et qui ne marche pas quand il est choisi (et c'est justement celui qui concerne l'objet pris en exemple). Je réalise que j'ai fait tourner avec un nombre réduit de templates de continu, je vais relancer avec la totalité des templates pour voir si ça change quelque chose</p> <p>Comment by Didier Vibert on 2023-01-13 09:51:27:<br/> Vincent Le Brun wrote in #note-13:</p> <p>&gt; Il y a aussi un template de continu qui n''est pas choisi, et qui ne marche pas quand il est choisi (et c'est justement celui qui concerne l'objet pris en exemple). Je réalise que j'ai fait tourner avec un nombre réduit de templates de continu, je vais relancer avec la totalité des templates pour voir si ça change quelque chose</p> <p>hum, j'y crois pas trop... j'avais fait tourner avec tous les templates et ça ne marchait pas trop non plus, sans avoir fait d'analyse détaillée...</p> <p>Comment by Vincent Le Brun on 2023-01-13 12:58:03:<br/> En fait l'effet par rapport à la magnitude existait déjà <br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16905/16905_Success_vs_Y_0.36_noprior_nophot.png" style="border: 0px solid black" /></span><br/> donc inclure le continu aide globalement mais trop de continu aide moins, et c'est pire quand on rajoute la photométrie qui travaille exclusivement sur le continu</p> <p>Comment by Didier Vibert on 2023-01-13 13:08:12:<br/> il faudrait essayer en baissant fortement le poids de la photométrie ? </p> <p>Comment by Didier Vibert on 2023-01-13 13:16:01:<br/> Didier Vibert wrote in #note-16:<br/> &gt; il faudrait essayer en baissant fortement le poids de la photométrie ?</p> <p>à propos du poids je viens de vérifier sur le code: c'est une valeur en inverse variance. ça revient à diviser la variance des observations photométrique. Donc mettre w=0.0 devrait donner des résultats strictement identiques au run sans activer la photométrie. ( il n'y a pas de division par inf, mais des multiplications par zéro). On devrait même avoir des résultats bit-identiques... </p> <p>Comment by Didier Vibert on 2023-01-13 13:20:30:<br/> Vincent Le Brun wrote in #note-15:<br/> &gt; donc inclure le continu aide globalement mais trop de continu aide moins, et c'est pire quand on rajoute la photométrie qui travaille exclusivement sur le continu</p> <p>on pourrait rajouter aussi une pondération sur la partie du chi2 qui vient du continu... ça revient à dire que la variance en entrée est sans doute pas très bonne, peut être sur-estimée là où il y a des raies en émission ?</p> <p>Comment by Vincent Le Brun on 2023-01-13 14:30:18:<br/> Didier Vibert wrote in #note-17:</p> <p>&gt; à propos du poids je viens de vérifier sur le code: c'est une valeur en inverse variance. ça revient à diviser la variance des observations photométrique. Donc mettre w=0.0 devrait donner des résultats strictement identiques au run sans activer la photométrie. <br/> je confirme que c'est le cas, les petites différences que j'ai vu venaient de l'évolution 0.36/0.40</p> <p>Comment by Vincent Le Brun on 2023-01-14 10:29:52:<br/> En fait la photométrie ça doit s'utiliser avec subtilité, avec un poids de 0.1 on gagne 10% de completeness sur l'échantillon total et 15% de pureté à 45% de completeness. Avec w=0.2 on part d'une moins bonne completeness pour arriver au meme résultat à 45%.<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16906/16906_Courbes_PC_phot.png" style="border: 0px solid black" /></span><br/> Je vais lancer w=0.05 pour voir si ça change quelque chose et ensuite on fera bosser la reliability la dessus.</p> <p>Comment by Vincent Le Brun on 2023-01-14 10:30:52:<br/> l'objet pris en exemple est récupéré à w=0.1, mais pas à w=0.2, et on voit bien sur la PDF que les oscillations à grande échelle de la photométrie sont moins fortes, ce qui explique les résultats.<br/> je vais aussi tenter de combiner avec le prior H-alpha</p> <p>Comment by Vincent Le Brun on 2023-01-16 10:22:45:<br/> Avec le prior Ha le gain est beaucoup moins important<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16907/16907_ELCosmos200k_PC_0.40_Haprior_phot.png" style="border: 0px solid black" /></span><br/> La combinaison Photometrie/prior Ha (bleue) est à peine meilleure que le prior Ha seul (vert) et un peu mieux que la photométrie seule (orange)<br/> Je vais produire ces données sur l'échantillon 1M pour tester la reliability sur ces PDF un peu différentes</p> <p>Comment by Vincent Le Brun on 2023-01-18 11:35:24:<br/> fin des tests, en affaiblissant un peu le prior H-alpha on améliore un peu la situation :<br/> <span class="image-wrap" style=""><img src="https://pfspipe.ipmu.jp/jira/secure/attachment/16908/16908_ELCosmos200k_PC_0.40_Haprior_phot_final.png" style="border: 0px solid black" /></span><br/> La meilleure configuration est obtenue avec un poids de photométrie de 0.1 et un paramètre de prior H-alpha de 0.02 (au lieu de 0.05 pour le prior seul, mais la différence entre photométrie et prior H-alpha à 0.05 ou 0.02 est négligeable). La photométrie fait quand meme gagner plus de 5 points de pureté. Je vais faire tourner la config w_phot=0.01 et H-alpha=0.05 sur 1M d'objets pour tester la reliability</p> <p>Comment by Didier Vibert on 2023-11-22 17:43:23:<br/> c'est à fermer non ? </p> <p>Comment by Vincent Le Brun on 2023-11-23 07:05:16:<br/> oui</p> Development Rank 0|zzsy8v: