Comment by Marie Treyer on 2019-02-18 16:01:48:
For comparison, here are the stats for the available SED fitting zphots in the Wide and Deep fractions of the catalog respectively:

ZPHOT_W>0 (14872 galaxies) :
sigma,bias,eta=0.04021 & 0.02019 & 26.80

ZPHOT_D>0 (5277 galaxies) :
sigma,bias,eta=0.03301 & -0.01458 & 29.05

ps: the fraction of outliers is still defined as abs(deltaz)>0.05.

Comment by Marie Treyer on 2019-02-18 16:36:23:

Comment by Johanna Pasquet on 2019-02-19 09:45:56:
Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...

Comment by Marie Treyer on 2019-02-19 09:54:19:
Johanna Pasquet wrote:
> Super, merci Marie pour ces plots! Donc on réduit pas mal la dispersion et les outliers et le biais! Par contre pour le plot Delta z en fonction de z en bins de zphot est est plus très plat au delà de 1.5 mais vu la statistique ça semble compliqué...

oui en effet, au delà de 1.5 ça devient hautement imprécis, comme on pouvait s'en douter au vu de la fraction de galaxies dans cette zone. les pdf sont quasi plates.

Comment by Marie Treyer on 2019-02-28 11:44:19:

Comment by Stephane Arnouts on 2019-02-28 15:45:11:
Marie TREYER wrote:
merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info

Comment by Johanna Pasquet on 2019-02-28 15:47:12:
Marie TREYER wrote:
>
>
>

On voit vraiment bien l'amélioration Merci Marie!

Comment by Stephane Arnouts on 2019-02-28 15:52:51:
Johanna Pasquet wrote:
>
> On voit vraiment bien l'amélioration Merci Marie!

oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions
Regarder strictement les memes serait plus sur avant de conclure.

Comment by Marie Treyer on 2019-02-28 15:54:20:
Stephane ARNOUTS wrote:
> Marie TREYER wrote:
> merci Marie. C'est pour les memes objets? Tu pourrais regarder le CNN avec le DEEP aussi et séparés ceux avec et sans le NIR si tu as l'info

non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?

Comment by Marie Treyer on 2019-02-28 15:55:27:
Stephane ARNOUTS wrote:
> Johanna Pasquet wrote:
> >
> > On voit vraiment bien l'amélioration Merci Marie!
>
> oui mais j'ai des doutes sur la comparaison. Il semble qu'il y ait beaucoup plus de monde pour les zphots CFHTLS Wide que les zphots CNN ? on n'a pas trop de descriptions
> Regarder strictement les memes serait plus sur avant de conclure.

c'est ce que j'avais fait avant, les stats sont les mêmes.

Comment by Stephane Arnouts on 2019-02-28 16:12:22:

> non ce ne sont pas les mêmes objects. pour le CNN ce sont les 19,500 galaxies traités par Johanna, DEEP and WIDE mélangés, pour les ZPHOT WIDE and DEEP ce sont tes catalogues complets (133,825 galaxies pour le WIDE avec zphot>0 et 38,769 pour le DEEP). comment s'appelle le flag pour le NIR? flag_K? ca veut dire quoi exactement?

OK, c'est bien ce qui me semblait. On a sans doute pas trop de stats avec un seul pickle pour le faire.

Sinon oui Tu as le flag_K qui identifie les regions avec le K (je ne sais plus dans quel sens ca marche) et tu as flag_opt qui dit si la photometrie optique est OK ou dans une region masquee.
Par defaut les objets dans des masques optiques ont zphot=-99 (mais zml contient l'info)

Comment by Marie Treyer on 2019-02-28 17:21:53:

Comment by Stephane Arnouts on 2019-02-28 17:32:21:
Marie TREYER wrote:
ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude

Comment by Marie Treyer on 2019-02-28 17:34:00:
Stephane ARNOUTS wrote:
> Marie TREYER wrote:
> ssuper. On voit le probleme de taille d'entrainement a bas z et faible magnitude

rien d'inattendu finalement

Comment by Johanna Pasquet on 2019-03-11 12:18:10:
New results with 50% of the statistics for the test: 97 603 images

biais = 0.0029499073319248998
sigma_mad = 0.02050504239557023
fraction d' outliers = 11.3644047826

Comment by Marie Treyer on 2019-03-12 12:11:02:
Johanna Pasquet wrote:
> New results with 50% of the statistics for the test: 97 603 images
>
> biais = 0.0029499073319248998
> sigma_mad = 0.02050504239557023
> fraction d' outliers = 11.3644047826
>
>
>

consistency check
les stats sont à zphot_CNN<2. j'ai toujours l'ancienne définition des outliers.

Comment by Johanna Pasquet on 2019-03-12 14:03:44:
Marie TREYER wrote:
> Johanna Pasquet wrote:
> > New results with 50% of the statistics for the test: 97 603 images
> >
> > biais = 0.0029499073319248998
> > sigma_mad = 0.02050504239557023
> > fraction d' outliers = 11.3644047826
> >
> >
> >
>
> consistency check
> les stats sont à zphot_CNN<2. j'ai toujours l'ancienne définition des outliers.
>

Super merci!

Comment by Marie Treyer on 2019-03-12 14:06:01:

the PIT=1 peak is due to catastrophic errors at z>3, especially those with zphot_CNN<1.5

Comment by Johanna Pasquet on 2019-03-12 14:09:08:
Marie TREYER wrote:
>
> the PIT=1 peak is due to catastrophic errors at z>3, especially those with zphot_CNN<1.5
>

Au delà de 3 en redshift c'est vraiment pas bon...dû au faible nombre de données dans cet intervalle. Peut être qu'on ne devrait pas considérer les images au delà de 3 pour le test du moins. Pour le PIT il faudrait voir si plus d'ensemble permettent de le rendre plus plat...

Comment by Marie Treyer on 2019-03-12 14:12:36: