https://pfspipe.ipmu.jp/jira This file is an XML representation of an issue en-us 8.3.4 803005 13-09-2019 https://pfspipe.ipmu.jp/jira/browse/REDMINE1D-227 1D Redmine <p><em><font color="#505f79"> Created on 2020-12-08 10:01:11 by Mira Sarkis. % Done: 100</font></em></p> <ul> <li>Faire un nouveau run <ul> <li>avec Zstars = <span class="error">&#91;-3E-3; 3E3&#93;</span> (hardcoded)</li> <li>sur des données vipers qui sont de bonne qualité et plus réaliste, qui contiennent un mélange d'étoiles et de galaxies.</li> <li>peut-etre sur des données SC8 si on les récoit en Janvier?</li> </ul> </li> </ul> <ul> <li>Produire une matrice de confusion: <ul> <li>pour les stars pris pour des galaxies, regarder les valeurs des redshifts trouvés (Zgalaxie)</li> </ul> </li> <li>Envoyer un fichier récap. des résultats de ces runs <ul> <li>se mettre d'accord avec Mathieu sur le format et les colonnes de ce document</li> </ul> </li> </ul> REDMINE1D-227

[RM-6176] Classification S/G - Vipers

Task Normal Done Done Redmine-Jira Migtation Redmine-Jira Migtation Wed, 5 Jul 2023 06:39:36 +0000 Mon, 18 Sep 2023 18:51:14 +0000 Tue, 5 Sep 2023 18:26:27 +0000 0 1 <p>Comment by Mira Sarkis on 2021-02-03 09:23:21:<br/> Premiers résultats du run sur les données Vipers (pas de données SC8 convenables):</p> <ul> <li>Répertoire de sortie: /net/CESAM/nas10c/scratch/msarkis/vipers/output_6246_2Feb_GSClassification</li> <li>Résultats obtenus pour 58974 spectres.</li> <li>Matrice de confusion normalisée (Total: 1057 étoiles et 57917 galaxies): <div class='table-wrap'> <table class='confluenceTable'><tbody> <tr> <td class='confluenceTd'> Normalized</td> <td class='confluenceTd'>Stars</td> <td class='confluenceTd'>Galaxy</td> </tr> <tr> <td class='confluenceTd'>Star_Label</td> <td class='confluenceTd'>0.559</td> <td class='confluenceTd'>0.025</td> </tr> <tr> <td class='confluenceTd'>Galaxy_Label</td> <td class='confluenceTd'>0.441</td> <td class='confluenceTd'>0.975</td> </tr> </tbody></table> </div> </li> </ul> <ul> <li>Pour les stars pris pour des galaxies, en pièces-jointes des plots sur les valeurs des redshifts trouvés (Zgalaxie).<br/> Les Zgalaxies prennent des valeurs de 10-2 à 4.9999</li> </ul> <p>Comment by Mira Sarkis on 2021-02-03 09:35:19:<br/> Je joins aussi: </p> <ul> <li>le fichier de sortie redshift.csv et</li> <li>la liste des spectres des vraies étoiles (extraite à partir de /net/GECO/users/vlebrun/VIPERS-W1/aspic_vipers_dr2_w1_catalog.txt )</li> </ul> <p>Comment by Vincent Le Brun on 2021-02-03 11:09:51:<br/> OK donc on est bon pour reconnaitre les galaxies, c'est plutôt bien...</p> <p>Pour les étoiles, il faudrait donner la répartition en fonction du flag de confiance (z_flag) parce que si on ne se trompe que pour les spectres pourris c'est pas grave...</p> <p>Comment by Didier Vibert on 2021-02-03 11:30:31:<br/> Vincent LE BRUN wrote in #note-5:<br/> &gt; OK donc on est bon pour reconnaitre les galaxies, c'est plutôt bien...<br/> &gt; <br/> &gt; Pour les étoiles, il faudrait donner la répartition en fonction du flag de confiance (z_flag) parce que si on ne se trompe que pour les spectres pourris c'est pas grave...</p> <p>à regarder aussi avec les évidences ou proba respectives...</p> <p>Comment by Mira Sarkis on 2021-02-03 15:31:43:<br/> Pour les <b>"mis-classified stars"</b> :</p> <ul> <li>Je vous joins un plot de leurs zflags: <ul> <li><b>zflags allant de 1.2 à 4.2</b></li> </ul> </li> <li>Pour les probaG/S: (c'était la galère pour récupérer les résultats de la classification depuis hdf5. Il faut surement ajouter ces données au redshift.csv final) <ul> <li>je vous joins un plot des proba des galaxies et proba des stars. <b>98.5% des spectres</b> de "mis-classified stars" ont <b>une probaGalaxy&gt;=0.8</b> .</li> </ul> </li> </ul> <p>Pour info: jupyter notebook içi: /net/CESAM/amazed/msarkis/vipers/starClassificationAnalysis.ipynb</p> <p>Comment by Matthieu Bethermin on 2021-02-05 09:49:17:<br/> Merci Mira.</p> <p>Je viens de regarder de mon côté. On fait un bon boulot pour ne pas perdre de galaxies et celles qu'on perd ont tendance à avoir un merit bas. Par contre pour les étoiles c'est vraiment 50-50 et il n'a a rien de franc en terme de merit. Par conter, ces étoiles finissent en grande majorité à bas z ou autour de z=3 (je suis moins sûr de comprendre). Donc, elles ne vont pas perturber l'échantillon spectro Euclid qui est entre 0.9 et 1.8.</p> <p>J'ai demandé à Vincent les true redshift des galaxies pour savoir lesquels finissent par erreur en étoiles. Si c'est que du bas z, ça ne sera pas un problème. Je posterai le notebook quand j'aurais fini cette partie.</p> <p>Comment by Vincent Le Brun on 2021-02-05 16:11:53:<br/> z=3 correspond au break lyman (ou lyman alpha) confondu avec le break à 4000 des étoiles ...<br/> faut voir aussi si ça correspond à un type donnée d'étoiles dont on aurait pas le template</p> <p>Comment by Matthieu Bethermin on 2021-02-05 16:49:56:<br/> Bon, je confirme que les quelques galaxies mal classifiées sont surtout à bas z et ce n'est pas piloté par le distribution en z de VIPERS. J'ai attaché le notebook où j'ai fait quelques plots.</p> <p>Comment by Vincent Le Brun on 2021-12-14 14:04:45:<br/> en attente de la correction du ticket #6875 (gestion de la LSF) et du #6503 (evidence star/galaxies)</p> <p>Comment by Vincent Le Brun on 2023-09-05 14:40:29:<br/> vu la qualité des spectres (ou plus exactement de celle du spectre de bruit) je pense qu'il ne faut pas trop en demander à la classification. </p> Development Rank 0|zzsycv: