Comment by Vincent Le Brun on 2023-03-08 11:56:03:
j'ai fait tourner sur les 700000 spectres et il y a 20% d'erreurs du meme style : raies en émission très fortes mais mismatch à l'arrivée
exemple dans /net/CESAM/amazed/vlebrun/EL-COSMOS2020/IncidentSpectra/outout_0.40_tplratio2
le spectre Id1000320 ou une raie est choisie pour HeI3190

alors que toutes les raies en émission sont présentes, et la deuxième solution est proche de la bonne (sans doute grec au continu), mais les raies en émission ne sont pas utilisées...

Ca voudrait dire que nos tplratio sont tellement loins de ce spectre que ça fit mieux quand on ne prend aucune raie? je n'arrive meme pas à voir comment c'est possible

Comment by Didier Vibert on 2023-03-08 13:32:54:
je viens de regarder en direct sous vizu ce spectre, ce qui est bizarre c'est que le modèle n'est pas disponible (pourtant il l'est sur d'autres spectres du même run...) pb vizu ?

Et sinon sans doute que le SNR (Fline/Fcontinuum) très élevé des raiess contribue à rendre le fit très sensible aux ratios ?

Comment by Didier Vibert on 2023-03-08 13:54:59:
Didier Vibert wrote in #note-4:
> je viens de regarder en direct sous vizu ce spectre, ce qui est bizarre c'est que le modèle n'est pas disponible (pourtant il l'est sur d'autres spectres du même run...) pb vizu ?
>
> Et sinon sans doute que le SNR (Fline/Fcontinuum) très élevé des raiess contribue à rendre le fit très sensible aux ratios ?

Didier Vibert wrote in #note-4:
> je viens de regarder en direct sous vizu ce spectre, ce qui est bizarre c'est que le modèle n'est pas disponible (pourtant il l'est sur d'autres spectres du même run...) pb vizu ?
>
> Et sinon sans doute que le SNR (Fline/Fcontinuum) très élevé des raiess contribue à rendre le fit très sensible aux ratios ?

y a vraiment un problème: les 2 raies les plus intenses du modèle au best z sont HeI_3190 = 2.92E-18 et MgII = 1.44E-18 donné par la table des flux or on ne voit pas cette dernière ni dans le modèle, ni dans le spectre... et pourtant on voit le double OIII dans le modèle, qui est donné avec un flux de 5.6E-20...

Comment by Vincent Le Brun on 2023-03-08 16:52:07:
le SNR est arbitrairement de 50 par pixel, mais en écrivant je réalise que les pixels n'ont pas la meme taille dans le continu et dans les raies, et ça doit être ça qui perturbe le fit. Et ça peut peut-être aussi expliquer les problèmes de flux, si une raie n'est pas à sa place elle peut se retrouver toute entière dans un pixel et avoir une mesure de flux HS

Comment by Vincent Le Brun on 2023-03-08 18:43:47:

Cela dit il y a aussi des spectres qui ne posent pas de probleme et je ne vois pas vraiment la différence entre les deux

Comment by Vincent Le Brun on 2023-03-08 19:01:16:
mais ce genre de fit reste quand meme compliqué à expliquer

Comment by Vincent Le Brun on 2023-03-09 10:47:42:
le même avec le templatefitting. Toujours pas

et l'autre (Id1000320), ou le templatefiting trouve la bonne solution, mais en 3eme

Comment by Vincent Le Brun on 2023-03-09 13:57:58:
le SNR n'est pas le pb, avec SNR de 5

et pour l'autre la bonne solution est meme passée en 3 alors que la totalité du spectre est compatible avec le modèle (sauf dans les raies)

Comment by Mira Sarkis on 2023-03-23 14:29:17:
En échantillonant le spectre Id1000039 avec une résolution constante = 13, on retrouve bien la bonne solution avec linemodel:

Ceci n'est toujours pas le cas avec TemplateFitting

Comment by Didier Vibert on 2023-03-23 14:39:56:
Mira Sarkis wrote in #note-12:
> En échantillonant le spectre Id1000039 avec une résolution constante = 13, on retrouve bien la bonne solution avec linemodel:
>
le continu est quand même très étonnant...

> Ceci n'est toujours pas le cas avec TemplateFitting

Comment by Mira Sarkis on 2023-03-23 15:13:15:
Didier Vibert wrote in #note-13:
> Mira Sarkis wrote in #note-12:
> > En échantillonant le spectre Id1000039 avec une résolution constante = 13, on retrouve bien la bonne solution avec linemodel:
> >
> le continu est quand même très étonnant...
>
> > Ceci n'est toujours pas le cas avec TemplateFitting

Nous avons eu déjà des cas similaires dans https://projets.lam.fr/issues/7199. Selon cette dernière ceci est du au fait que le premier sample du spectre est très petit (de l'ordre de 6*10^-27)

Comment by Didier Vibert on 2023-03-23 16:00:58:

Mira Sarkis wrote in #note-14:
> Nous avons eu déjà des cas similaires dans https://projets.lam.fr/issues/7199. Selon cette dernière ceci est du au fait que le premier sample du spectre est très petit (de l'ordre de 6*10^-27)

ah ok... mais là ça me semble différent. le spectre est nul sur une plage , à cause de l'igm, normalement les modèles devraient être capable de le faire. Est-ce que l'igm (sur le continu) est bien activé ? car on ne l'active pas sur des données euclid, car les spectres rouge démarrent à 12000 ce qui rend l'igm visible seulement à grand z (7 ou 8 ), là les spectre démarrent à 4000.

Comment by Vincent Le Brun on 2023-03-23 16:07:37:
j'ai fait commencer le lambda range à 4000 pour justement éviter la partie concernée par l'IGM, comme ce sont des spectres à z=0 c'était impossible à gérer (et en fait la coupure qu'on voit se fait à 912A à l'intérieur de la galaxie, ça correspond aux photons qui ont l'énergie minimale pour ioniser l'hydrogène).

Comment by Didier Vibert on 2023-03-23 16:18:16:
Vincent Le Brun wrote in #note-16:
> j'ai fait commencer le lambda range à 4000 pour justement éviter la partie concernée par l'IGM, comme ce sont des spectres à z=0 c'était impossible à gérer (et en fait la coupure qu'on voit se fait à 912A à l'intérieur de la galaxie, ça correspond aux photons qui ont l'énergie minimale pour ioniser l'hydrogène).

ok, donc sur le spectre montré par Mira, on ne devrait pas utiliser ce qui est est à gauche de 4000, c'est ça ? pourtant j'ai bien l'impression qu'on voit le spectre à 912... idem sur ton plot #note-10

Comment by Vincent Le Brun on 2023-03-23 16:22:41:
non ça commence bien à 4000 pour contre les spectres ont un redshift, ce ne sont pas des modèles à z=0

Comment by Didier Vibert on 2023-03-23 17:46:03:
Vincent Le Brun wrote in #note-18:
> non ça commence bien à 4000 pour contre les spectres ont un redshift, ce ne sont pas des modèles à z=0

donc ok ça démarre bien à 4000. Mais le spectre en question est nul à gauche de 5000, et démarre à 700, comment c'est possible ? 5000/4000=1.25 c'est un spectre à z=0.25 ?
bref en tout cas la partie gauche nulle du spectre est gênante, d'autant plus qu'il ne s'agit pas de l'igm...

Comment by Vincent Le Brun on 2023-03-23 18:07:40:
pour le spectre Id0000039 c'est bien l'IGM en plus de la coupure<912, la raie à 6700 est Lyman-alpha, donc z=4,5 environ, et à ce redshift là les courbes d'IGM sont toutes à 0en dessous de 912 A donc ça ne devrait pas poser de pb

Comment by Mira Sarkis on 2023-03-24 09:22:32:
Didier Vibert wrote in #note-15:

>Est-ce que l'igm (sur le continu) est bien activé ? car on ne l'active pas sur des données euclid, car les spectres rouge démarrent à 12000 ce qui rend l'igm visible seulement à grand z (7 ou 8 ), là les spectre démarrent à 4000.

L'igm est bien activé sur le continu dans les params.json de Vincent.

Voici le plot du modèle de spectre avec IGM désactivé sur le continu, pour un redshift estimé à 7.2010

Comment by Mira Sarkis on 2023-03-31 09:01:48:
Je vous joins le plot du modèle avec TemplateFitting

Comment by Vincent Le Brun on 2023-03-31 09:16:19:
donc la question de départ 'Pourquoi ?' demeure... est ce que tu peux mettre la PDF du tplfit ?

Comment by Mira Sarkis on 2023-03-31 09:21:53:
Vincent Le Brun wrote in #note-23:
> donc la question de départ 'Pourquoi ?' demeure... est ce que tu peux mettre la PDF du tplfit ?
La pdf est aussi bizarre

Comment by Vincent Le Brun on 2023-03-31 09:38:48:
comme par hasard la PFD plonge autour de 4.3 qui est la valeur attendue...
est ce que le fit d'un spectre qui vaut zéro sur une grande partie par un modèle qui vaut aussi zéro poserait des problèmes (genre si on essaye de calculer une amplitude par une division) ??

Comment by Didier Vibert on 2023-03-31 10:49:54:
Vincent Le Brun wrote in #note-25:
> comme par hasard la PFD plonge autour de 4.3 qui est la valeur attendue...
> est ce que le fit d'un spectre qui vaut zéro sur une grande partie par un modèle qui vaut aussi zéro poserait des problèmes (genre si on essaye de calculer une amplitude par une division) ??

je ne vois pas trop..., c'est quoi la variance que tu as mise, lorsque le flux est nul ?

ça ne serait pas parce que la variance est bcp trop petite, et du coup cette zone du spectre a un poids considérable dans le chi2, or l'extinction igm ne devient pas exactement nulle tout de suite, ce qui l'empêcherait de se caler assez à gauche ?

Comment by Didier Vibert on 2023-03-31 10:58:47:
Didier Vibert wrote in #note-26:
> Vincent Le Brun wrote in #note-25:
> > comme par hasard la PFD plonge autour de 4.3 qui est la valeur attendue...
> > est ce que le fit d'un spectre qui vaut zéro sur une grande partie par un modèle qui vaut aussi zéro poserait des problèmes (genre si on essaye de calculer une amplitude par une division) ??
>
> je ne vois pas trop..., c'est quoi la variance que tu as mis, lorsque le flux est nul ?
>
> ça ne serait pas parceque la variance est bcp trop petite, et du coup cette zone du spectre a un poid considérable dans le chi2, hors l'extinction igm ne devient pas exactement nulle tout de suite, ce qui l'empêcherait de se caler assez à gauche ?

y a un truc bizarre dans les courbes IGM en dessous de 912:

Comment by Vincent Le Brun on 2023-03-31 11:10:23:
bizarre en effet mais pour ce spectre le lambda_rest au bon redshift est d'environ 700 A donc cette zone la ne devrait pas avoir d'impact...
la courbe d'IGM devrait continuer à remonter en dessous de 300A, j'imagine qu'on a coupé en se disant que ça ne servirait jamais...

Comment by Didier Vibert on 2023-03-31 12:58:25:
Mira: ça donne quoi si tu mets un lambdarange à 5000 (voire un peu plus) pour supprimer la plage du spectre nulle ?

Comment by Mira Sarkis on 2023-03-31 13:15:22:
Didier Vibert wrote in #note-29:
> Mira: ça donne quoi si tu mets un lambdarange à 5000 (voire un peu plus) pour supprimer la plage du spectre nulle ?
J'ai déjà lancé avec lambda_start=6000 et c'est bien mieux comme ca, mais je ne comprend pas comment ca se fait que c'est mieux!

Le début du spectre n'est pas vraiment nul, c'est plutot cte = 2*1E-22

Comment by Didier Vibert on 2023-03-31 14:31:08:
Mira Sarkis wrote in #note-30:
> Didier Vibert wrote in #note-29:
> > Mira: ça donne quoi si tu mets un lambdarange à 5000 (voire un peu plus) pour supprimer la plage du spectre nulle ?
> J'ai déjà lancé avec lambda_start=6000 et c'est bien mieux comme ca, mais je ne comprend pas comment ca se fait que c'est mieux!
>
> Le début du spectre n'est pas vraiment nul, c'est plutot cte = 2*1E-27
ok

tu peux essayer avec un lbda range juste après la zone null ie 5000 (6000 c'est déjà pas mal plus loin).... je pense que le pb vient des valeurs de variances dans cette zone (cf #note-26)

Comment by Didier Vibert on 2023-03-31 14:35:38:
Mira Sarkis wrote in #note-30:
> J'ai déjà lancé avec lambda_start=6000 et c'est bien mieux comme ca, mais je ne comprend pas comment ca se fait que c'est mieux!

y a un truc que je ne comprend pas: entre ce plot lbda_start=6000 #note-30 et le précédent #note-22, la courbe du bruit n'est pas la même ??????

Comment by Didier Vibert on 2023-03-31 14:37:41:
Didier Vibert wrote in #note-32:
> Mira Sarkis wrote in #note-30:
> > J'ai déjà lancé avec lambda_start=6000 et c'est bien mieux comme ca, mais je ne comprend pas comment ca se fait que c'est mieux!
>
> y a un truc que je ne comprend pas: entre ce plot lbda_start=6000 #note-30 et le précédent #note-22, la courbe du bruit n'est pas la même ??????

quand tu as fait le ré-échantillonnage, tu l'as fait sur le bruit aussi ?

Comment by Mira Sarkis on 2023-03-31 14:42:48:
Didier Vibert wrote in #note-32:
> Mira Sarkis wrote in #note-30:
> > J'ai déjà lancé avec lambda_start=6000 et c'est bien mieux comme ca, mais je ne comprend pas comment ca se fait que c'est mieux!
>
> y a un truc que je ne comprend pas: entre ce plot lbda_start=6000 #note-30 et le précédent #note-22, la courbe du bruit n'est pas la même ??????

Dans #note-22 il s'agit du spectre dont le flux et la variance sont réechantillonés.
Dans #note-30, c'est le spectre d'origine (avec un zoom sur le flux)

Comment by Vincent Le Brun on 2023-03-31 14:43:10:
Didier Vibert wrote in #note-31:

> tu peux essayer avec un lbda range juste après la zone null ie 5000 (6000 c'est déjà pas mal plus loin).... je pense que le pb vient des valeurs de variances dans cette zone (cf #note-26)

je crois que j'ai compris, c'st à cause du S/N constant : les valeurs de flux sont faibles (1e-27) et donc des variances en 2e-29, mais pas 0, mais du coup ça rend le spectre incompatible avec 0 vu que je n'ai pas mis de bruit de fond constant (qui est toujours présent dans un vrai spectre), et qui permettrait au modele nul de passer par zéro
Je vais refaire une production avec un bruit minimum réaliste et on regarde ce que ça donne

Comment by Didier Vibert on 2023-03-31 14:48:32:
Vincent Le Brun wrote in #note-35:
> Didier Vibert wrote in #note-31:
>
> > tu peux essayer avec un lbda range juste après la zone null ie 5000 (6000 c'est déjà pas mal plus loin).... je pense que le pb vient des valeurs de variances dans cette zone (cf #note-26)
>
> je crois que j'ai compris, c'st à cause du S/N constant : les valeurs de flux sont faibles (1e-27) et donc des variances en 2e-29, mais pas 0, mais du coup ça rend le spectre incompatible avec 0 vu que je n'ai pas mis de bruit de fond constant (qui est toujours présent dans un vrai spectre), et qui permettrait au modele nul de passer par zéro
> Je vais refaire une production avec un bruit minimum réaliste et on regarde ce que ça donne

+1

Comment by Didier Vibert on 2023-03-31 14:49:27:
Mira Sarkis wrote in #note-34:

> Dans #note-22 il s'agit du spectre dont le flux et la variance sont réechantillonés.
> Dans #note-30, c'est le spectre d'origine.

ça n'explique pas la différence entre les 2 visu du bruit ????

Comment by Didier Vibert on 2023-03-31 14:55:33:
Didier Vibert wrote in #note-37:
> Mira Sarkis wrote in #note-34:
>
> > Dans #note-22 il s'agit du spectre dont le flux et la variance sont réechantillonés.
> > Dans #note-30, c'est le spectre d'origine.
>
> ça n'explique pas la différence entre les 2 visu du bruit ????

bon si, ça vient des "spikes" dans la variance (notamment celui vers 6700) qui doit disparaitre avec ton rééchantillonnage.

Comment by Didier Vibert on 2023-03-31 15:00:11:
Didier Vibert wrote in #note-36:
> Vincent Le Brun wrote in #note-35:
> > je crois que j'ai compris, c'st à cause du S/N constant : les valeurs de flux sont faibles (1e-27) et donc des variances en 2e-29, mais pas 0, mais du coup ça rend le spectre incompatible avec 0 vu que je n'ai pas mis de bruit de fond constant (qui est toujours présent dans un vrai spectre), et qui permettrait au modele nul de passer par zéro
> > Je vais refaire une production avec un bruit minimum réaliste et on regarde ce que ça donne
>
> +1

c'est ce que j'essayai de dire #note-26.
Je pense que tu n'as pas forcément besoin de faire une réalisation de bruit de fond, tu peux juste rajouter une constante partout dans la variance, pour lui donner une limite basse. Ensuite c'est pas grave si la partie nulle n'est pas bruitée, elle sera juste un peu trop compatible.

Comment by Vincent Le Brun on 2023-04-03 12:29:04:
en effet j'ai rajouté une constante à la variance et pour cet objet là ça marche beaucoup mieux
/net/CESAM/amazed/vlebrun/EL-COSMOS2020/IncidentSpectra/test_noise_LM/
par contre pour le deuxième objet (meme répertoire, Id000320) ça ne marche toujours pas il préfère une solution qui fait tomber toutes les raies au milieu des pixels large, sans doute parce que les line-ratio ne sont pas adapté.
Mira, est ce que tu peux me dire ou est ton script de resampling, je voudrais retenter sur l'échantillon complet (et après on ferme le ticket)

Comment by Mira Sarkis on 2023-04-03 13:06:57:
Vincent Le Brun wrote in #note-40:
> en effet j'ai rajouté une constante à la variance et pour cet objet là ça marche beaucoup mieux
> /net/CESAM/amazed/vlebrun/EL-COSMOS2020/IncidentSpectra/test_noise_LM/
> par contre pour le deuxième objet (meme répertoire, Id000320) ça ne marche toujours pas il préfère une solution qui fait tomber toutes les raies au milieu des pixels large, sans doute parce que les line-ratio ne sont pas adapté.

> Mira, est ce que tu peux me dire ou est ton script de resampling, je voudrais retenter sur l'échantillon complet (et après on ferme le ticket)
Je viens de rajouter un jupyter notebook sur le cluster: /net/CESAM/amazed/msarkis/resample_spectra_cteRes.ipynb
Attention le resampling se fait avec une resolution = 13A, mais tu peux la changer.

Je te joins aussi le spectre Id1000320 resamplé.

Comment by Vincent Le Brun on 2023-11-22 17:07:03:
Après échantillonnage des spectres et mise au point des paramètres (quand les raies sont très étroites un échantillonnage fin en z est nécessaire) on arrive à des résultats satisfaisants. On peut fermer ce ticket, pas de code associé