Comment by Didier Vibert on 2023-11-15 09:17:59:
@vlebrun: j'ai regardé la solution avec tplfit: effectivement le bon z est trouvé, mais avec un ratio sans LyaE. Le z est trouvé vraisemblablement via le break de l'igm sur le continu qui est modélisé alors que ce n'est pas le cas en fromspectrum.

Je vais investiguer un peu plus mais je pense que le problème vient du fait que les raies sont trop étroites pour le pas en z (1e-3) de la première passe.
Donc il les rate.... Pour des spectres avec des raies aussi fines et avec un snr aussi fort, le pic dans la pdf est sans doute très étroit (avec un pied plus large dû au modèle des raies en absorption.

Comment by Vincent Le Brun on 2023-11-15 09:22:45:
en tplfit j'ai eu ca en mode 'rules' et une vitesse de 40 km/s donc la raie n'est pas si étroite que ça ...

Comment by Vincent Le Brun on 2023-11-15 09:39:12:
avec le zoom on voit que le fit se fait

Comment by Didier Vibert on 2023-11-15 10:13:55:
Vincent Le Brun wrote in #note-4:
> en tplfit j'ai eu ca en mode 'rules' et une vitesse de 40 km/s donc la raie n'est pas si étroite que ça ...

bizarre, sur mon run (juste sur ce spectre) j'ai ça:

et zoomé sur Lya:

Comment by Didier Vibert on 2023-11-15 10:15:36:
tu as gardé le même zrange ?
si c'est effectivement un pb de pas trop large en z, du coup le résultat dépend de l'échantillonnage de la zPDF et donc du zmin (ou zmax)

Comment by Vincent Le Brun on 2023-11-15 13:04:47:
oui 3700-12500
mais j'ai un redshift_step de 1e-4 (et pas -3), donc c'est ça le probleme ....

Comment by Didier Vibert on 2023-11-15 13:46:55:
Vincent Le Brun wrote in #note-8:
> oui 3700-12500
je parlais de z range ...

> mais j'ai un redshift_step de 1e-4 (et pas -3), donc c'est ça le probleme ....
oui moi aussi, 1e-4 => 1e-3 en première passe

Comment by Vincent Le Brun on 2023-11-15 14:02:23:
Didier Vibert wrote in #note-9:
> Vincent Le Brun wrote in #note-8:
> > oui 3700-12500
> je parlais de z range ...
>
0.01-6 aussi

Comment by Didier Vibert on 2023-11-15 14:17:36:
en regardant ton fichier de param tplfit ( /net/CESAM/amazed/vlebrun/EL-COSMOS2020/IncidentSpectra/output_0124_rules_vel20_tplfit)

je vois les diff suivantes:

• rules au lieu de ratio => ça peut faire une différence: l'amplitude du ratio est mise à zéro car il trouve une amp négative, avec le continu fromspectrum, je pense qu'il est un peu à côté du bon z à cause du pas en z trop large, et avec un continu taillé juste on peut basculer à des amplitudes négatives. Avec le tplfit, tous param égaux par ailleurs on trouve plus une amplitude négative forcée à zéro, mais une amp positive très faible.
• vitesse initiale 1st pass à 20 au lieu de 70, ça peut jouer aussi
• 2npass half window size 1e-2 au lieu de 1e-3 => diff aussi: on peut rattraper le bon avec la raie étroite en emssion alors qu'on la rate en 1s pass (mais on tombe un peu à côté avec Lya en abs).

Comment by Didier Vibert on 2023-11-15 15:31:47:
Bon ok, le problème ne vient pas du pas en z de la première passe...

je ne pense toujours pas à un bug informatique (au sens du code ne fait pas ce qu'on lui a dit de faire).
Le problème viendrait plutôt de la superposition de raies en émission étroites avec des raies en abs larges... il ne fitte jamais les deux ensembles (en mode ratio et aussi en mode rules), mais les abs et les émissions de façon indépendante. Et il faut croire qu'il préfère mettre une amplitude négative pour fitter l'abs même si l'émission est très forte. a priori son poids dans le chi2 ne pèse pas assez. En mode free ou rules, c'est différent.

Comment by Vincent Le Brun on 2023-11-15 15:35:52:
Didier Vibert wrote in #note-11:
> en regardant ton fichier de param tplfit ( /net/CESAM/amazed/vlebrun/EL-COSMOS2020/IncidentSpectra/output_0124_rules_vel20_tplfit)
>
> je vois les diff suivantes:
> - rules au lieu de ratio => ça peut faire une différence: l'amplitude du ratio est mise à zéro car il trouve une amp négative, avec le continu fromspectrum, je pense qu'il est un peu à côté du bon z à cause du pas en z trop large, et avec un continu taillé juste on peut basculer à des amplitudes négatives. Avec le tplfit, tous param égaux par ailleurs on trouve plus une amplitude négative forcée à zéro, mais une amp positive très faible.
vu l'intensité de la raie, ça m'embêterait..
> - vitesse initiale 1st pass à 20 au lieu de 70, ça peut jouer aussi
le résultat final est 40, donc c'est pas trop proche non plus...
> - 2npass half window size 1e-2 au lieu de 1e-3 => diff aussi: on peut rattraper le bon avec la raie étroite en emssion alors qu'on la rate en 1s pass (mais on tombe un peu à côté avec Lya en abs).
j'ai toujours la bonne solution

en fait le coupable est le z_step, avec 0.0005 j'ai la bonne solution, avec 0.001 je la perds...

Comment by Didier Vibert on 2023-11-15 15:47:29:
Vincent Le Brun wrote in #note-13:
> en fait le coupable est le z_step, avec 0.0005 j'ai la bonne solution, avec 0.001 je la perds...

ah, c'est ce que je disais au début... mais j'avais finis par me convaincre du contraire...
mais effectivement j'étais focalisé sur le z_step first pass, or la first pass ne rate pas le candidat, d'autant plus que le pb persiste avec une grande fenêtre 2nd passe.
Alors que c'est le z_step final, ie en seconde passe qui importe, sinon on tombe un peu à coté de la raie, et impossible de modéliser son pic avec un tpl ratio sans faire ressortir déraisonnablement des raies faibles !

note: si tu veux faire du rules, je te conseille de mettre comme fittingmethod et firstpass.fittingmethod "hybrid", à moins que tu n’ai aucun overlap de raies, vu les largeurs. Le mode hybrid permet quand même d'activer le "improveBalmerfit" mal nommé qui corrige les amplitudes des raies en ABS et en EM qui se superposent (halpha, beta, gamma, delta)

Comment by Didier Vibert on 2023-11-15 15:51:33:
on pourrait fermer le ticket, non ?
je vais profiter de cette issue pour corriger qq problèmes sur les sorties de l'igm, et le fit de Lya qui est tenté systématiquement même si la raie n'est pas visible...

Comment by Vincent Le Brun on 2023-11-15 15:53:21:
je voudrais quand meme trouver les paramètres qui retrouvent la raie en mode tplfit+template_ratio, qui est le fonctionnement 'normal', sinon ça veut dire que je ne peux pas vérifier la représentativité des templates (continus et ratio) avec ces données

Comment by Didier Vibert on 2023-11-15 16:41:38:
Vincent Le Brun wrote in #note-16:
> je voudrais quand meme trouver les paramètres qui retrouvent la raie en mode tplfit+template_ratio, qui est le fonctionnement 'normal', sinon ça veut dire que je ne peux pas vérifier la représentativité des templates (continus et ratio) avec ces données

avec z_step = 5E-4 ça marche pas ?

Comment by Vincent Le Brun on 2023-11-15 16:44:01:
non et avec 0.0001 non plus, il ne fit toujours pas les raies en emission. il y a quand meme un truc (meme si le z est OK grace au continu)

Comment by Didier Vibert on 2023-11-15 16:52:04:
Vincent Le Brun wrote in #note-18:
> non et avec 0.0001 non plus, il ne fit toujours pas les raies en emission. il y a quand meme un truc (meme si le z est OK grace au continu)

malheureusement, je crois que dans ces cas là (raie fine en émission superposée à une raie large en absorption il faudrait fitter les deux ensembles)
on doit pouvoir modifier le fitter hybrid pour le faire, donc en mode free/rule, mais c'est difficilement faisable en tpl-ratio, quoique, si je modifie le fitter hybrid pour fitter jointement emission et absorption on pourra le mettre au mode ratio.

Comment by Vincent Le Brun on 2023-11-15 16:54:13:
c'est quand meme bizarre que le flux en emission ne soit pas celui qui contrôle le résultat, surtout que je pars d'une vitesse proche du résultat

Comment by Didier Vibert on 2023-11-15 18:39:46:
Vincent Le Brun wrote in #note-20:
> c'est quand meme bizarre que le flux en emission ne soit pas celui qui contrôle le résultat, surtout que je pars d'une vitesse proche du résultat

ça fonctionne en modelfree mais pas en ratio, plus les raies sont fortes, plus les ratio doivent être correct. C'est sans doute le pb. Il faudrait vraiment implémenter le passage en model free pour la deuxième passe.

Mais je vais encore faire un peu de debugger demain pour m'assurer qu'il n'y a pas de bug avec Lya.

Comment by Vincent Le Brun on 2023-11-15 20:30:12:
j'ai tenté le mode 'ignorelinesupport'=true, et le résultat est toujours mauvais, mais l'affichage sur la PDF est bizarre, il y a une zone '2eme passe' autour de la bonne solution et aucune autour du résultat final, c'est normal ?

Comment by Pierre-yves Chabaud on 2023-11-15 20:41:53:
Pour résoudre ce problème, on en reviendrait pas a l'implémentation de la fameuse fonctionnalité du LineModel free en second pass après un template ratio sur la première ?

Comment by Vincent Le Brun on 2023-11-15 20:48:00:
Pierre-yves Chabaud wrote in #note-23:
> Pour résoudre ce problème, on en reviendrait pas a l'implémentation de la fameuse fonctionnalité du LineModel free en second pass après un template ratio sur la première ?

voir #note-21 par @dvibert

Comment by Pierre-yves Chabaud on 2023-11-15 21:02:40:
Vincent Le Brun wrote in #note-24:
> Pierre-yves Chabaud wrote in #note-23:
> > Pour résoudre ce problème, on en reviendrait pas a l'implémentation de la fameuse fonctionnalité du LineModel free en second pass après un template ratio sur la première ?
>
> voir #note-21 par @dvibert

Diable, j'ai raté ce message! faut dire que vous avez été très productifs aujourd'hui !

Comment by Didier Vibert on 2023-11-21 14:57:31:
après discussion, le problème vient bien de l'étroitesse des pics de la pdf.

j'en ai profité pour corriger quelques lignes de code concernant le fit de Lya.

MR: https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/567
IT full needed (small changes in fitted_line FittedLineFittingError)

Comment by Pierre-yves Chabaud on 2024-01-25 10:42:41:
Merged into @develop@ (@adb6493a@)