Comment by Vincent Le Brun on 2020-04-01 13:41:34:
Pb : en cas de mismatch, comme il n'y a pas de rupture de continu à bas z, meme si l'option IGM est activée, la valeur du taux d'IGM sera faible (ou nulle), donc Ly-alpha ne sera pas asymétrique (mais ça devrait déjà être le cas ?).
Si l'option IGM n'est pas activée, ça sera pire...
Réflexion a approfondir

Comment by Didier Vibert on 2021-06-30 07:46:49:
after implementation of #5644:

the way it is done in #5644: igm meiksin curves convolved by the LSF, then igm extinction applied only to the template (continuum) and not to the linemodel => it won't produce an assymetric Lya line profile.

Thus, need to apply (multiply) the convolved meiksin curves to all line profiles below 1216 Angstrom (Lya).

That said:

• this is an approximation: in reality the intrinsic line profile (enlarged with the velocity dispersion) is multiplied by the extinction curve, and then convolved by the LSF (instrumental response):
  and @H*(f.g)@ is not equal to @(H*F).(H*g)@ (where @.@ stands for multiplication, @*@ for convolution). May be valid if @H@ and @g@ are Gaussians ?

=> need to evaluate (python notebook) the effect of this approximation.
if it is ok, we continue with this scheme, of not, need to convolve the intrisic extinct profile by the LSF, at each redshift (of build a mean profile for each redshift bin of meiksin curves)

• the meiksin curves are sampled at 1 A. For PFS, this sampling is not enough to properly produce an extinction curve convolved by the LSF (the LSF of PFS is very badly sampled at 1 angstrom)

if we forget the above approx, the convolution by the LSF will be done on the spectra sampling, which is ok, if we stick to the above approx, need to oversample the meiksin curves to build the convoled ones

Comment by Vincent Le Brun on 2022-03-10 16:46:00:
le vrai sujet est un peu (beaucoup) caché, il s'agit d'appliquer l'IGM aux template-ratio (aux raies en émission en fait) en dessous de 1215 A (au repos). Les calculs d'asymétrie sont seulement un plan B qui ne devrait jamais servir...

Comment by Didier Vibert on 2022-03-11 08:18:14:
Vincent Le Brun wrote in #note-14:
> le vrai sujet est un peu (beaucoup) caché, il s'agit d'appliquer l'IGM aux template-ratio (aux raies en émission en fait) en dessous de 1215 A (au repos). Les calculs d'asymétrie sont seulement un plan B qui ne devrait jamais servir...

oui, exact: c'est le 1er truc à faire, et il y a 2 choses distinctes concernant les raies:

1. modifier les ratios des raies comme on le fait avec l'ism.
2. modifier le profil de la raie lorsque il y a une transition abrupte (hors convolution par la LSF): le plus simple est de modifier le profil de la raie pour toute raies > 1216 Angström

=> je rajoute dans la description.

Comment by Vincent Le Brun on 2022-03-11 08:41:37:
Didier Vibert wrote in #note-15:
le plus simple est de modifier le profil de la raie pour toute raies > 1216 Angström
lambda < 1216 ...
>
> => je rajoute dans la description.

Comment by Didier Vibert on 2022-03-11 09:01:03:
Vincent Le Brun wrote in #note-16:
> Didier Vibert wrote in #note-15:
> le plus simple est de modifier le profil de la raie pour toute raies > 1216 Angström

certes, mais il faut le faire pour 7 extinctions possible et chaque bin de z...

Mais effectivement, on peut traiter les profils et les ratio, en même temps: pas nécéssaie de modifier les ratios, juste il faut modifier la forme des profils et leur normalisation. Mais dans ce cas, il faut faire attention à propager correctement les amplitudes et calculs de flux.

Comment by Vincent Le Brun on 2022-03-11 09:02:48:
ce que je voulais dire c'est qu'il faut modifier les raies pour lambda < 1216 (pas >)

Comment by Didier Vibert on 2022-03-11 09:36:28:
ah oui, évidemment !

Comment by Mira Sarkis on 2022-03-14 14:24:48:
Après discussion avec Didier:

• plus besoin de modifier les ratios des raies (point 2. de la description)
• Ajouter un nouveau paramètre pour appliquer ou pas l'IGM sur les raies: @linemodel.igmfit@, i.e., on garde séparer l'application de IGM sur le continu et sur les raies principalement pour valider le code.
  A voir si ca a du sens de les garder séparer?!
• Ajouter un nouveau type de lineprofile ASYM_IGM correspondant aux raies touchés par l'IGM. Ce nouveau type se sert des courbes de Meiksin pour calculer le retour ::GetLineProfile

Comment by Mira Sarkis on 2022-03-14 14:38:21:
Je viens de me rendre compte que LyAE n'a pas la meme valeur de lambda dans les différents linecatalogs. For instance,

• pour qso, ie., dans linecatalogamazedvacuum_QSO_v5.tsv: LyAE est à 1215.67
• dans linecatalogamazedvacuum_H0: LyAE est à 1216.03
• dans tplratioCatalogs, LyAE 1216.03

Est ce que c'est normal que ca ne soit pas cohérent?

Comment by Vincent Le Brun on 2022-03-14 16:23:21:
Mira Sarkis wrote in #note-20:
> Après discussion avec Didier:
> * plus besoin de modifier les ratios des raies (point 2. de la description)
> * Ajouter un nouveau paramètre pour appliquer ou pas l'IGM sur les raies: @linemodel.igmfit@, i.e., on garde séparer l'application de IGM sur le continu et sur les raies principalement pour valider le code.
> A voir si ca a du sens de les garder séparer?!
non, soit on applique l'IGM au spectre (continu + raies), soit pas du tout
> * Ajouter un nouveau type de lineprofile ASYM_IGM correspondant aux raies touchés par l'IGM. Ce nouveau type se sert des courbes de Meiksin pour calculer le retour ::GetLineProfile

Comment by Vincent Le Brun on 2022-03-14 16:24:45:
Mira Sarkis wrote in #note-21:
> Je viens de me rendre compte que LyAE n'a pas la meme valeur de lambda dans les différents linecatalogs. For instance,
> * pour qso, ie., dans linecatalogamazedvacuum_QSO_v5.tsv: LyAE est à 1215.67
> * dans linecatalogamazedvacuum_H0: LyAE est à 1216.03
> * dans tplratioCatalogs, LyAE 1216.03
>
> Est ce que c'est normal que ca ne soit pas cohérent?

non et il y aussi un pb entre LyA et LyE dans le linectalog. Je suis en train de reprendre tout ça

Comment by Mira Sarkis on 2022-04-04 09:43:36:
Mira Sarkis wrote in #mattermost:
> J'ai plusieurs questions à discuter sur l'asym Lya (5645):
> * on avait décidé d'utiliser l'indice Igm du continu pour tous les calculs associés au profil ASYMIGM.
>
>L'igm du continu est valide (ie., igmIdx >-1) uniquement dans les cas tplfit/auto.
>Ceci dit pour l'orthogonalisation des templates du continu ("fromspectrum") on se retrouve bloquer puisque les templates contiennent >des raies ASYMIGM mais on ne fit pas igm du continu!
>
>Est ce qu'il faut forcer la désactivation de l'igmfit des lines au moment de l'orthogonalisation?
>De meme, si dans le param on séléctionne "fromspectrum" ou "nocontinuum" et linemodel.igmfit=true pour les lines?

Selon Didier, on va distinguer l'orthogonalisation du reste.

• Pour l'ortho
  • soit on utilise un profil symétrique,
  • ou sinon on choisit le profil IGM qui coupe le moins, donc le bin de plus bas z, avec la premièr courbes des 7.
• pour le reste
  • soit on fit le continu (tplfit/tplfitauto) et on utilise cette valeur de l'igm,
  • soit on fitte le profil de la raie en modifiant la méthode FitAsymParameters : au lieu d'ajuster les param du profil skwed Gaussian on ajuste le profil IGM, sachant que le redshift auquel on ajuste est fixé lors de l'appel à cette méthode qui se fait à l'intérieur de la boucle en z.
    (pour l'ajustement: on fait la boucle sur les 7 profils IGM, on calcul le xi2 sur le support de la raie uniquement et on retient le profil avec le min chi2, comme c'est fait actuellement dans FitAsymParameters)

Comment by Mira Sarkis on 2022-04-04 14:00:41:
Mira Sarkis wrote in #note-25:
> Mira Sarkis wrote in #mattermost:
> > J'ai plusieurs questions à discuter sur l'asym Lya (5645):
> > * on avait décidé d'utiliser l'indice Igm du continu pour tous les calculs associés au profil ASYMIGM.
> >
> >L'igm du continu est valide (ie., igmIdx >-1) uniquement dans les cas tplfit/auto.
> >Ceci dit pour l'orthogonalisation des templates du continu ("fromspectrum") on se retrouve bloquer puisque les templates contiennent >des raies ASYMIGM mais on ne fit pas igm du continu!
> >
> >Est ce qu'il faut forcer la désactivation de l'igmfit des lines au moment de l'orthogonalisation?
> >De meme, si dans le param on séléctionne "fromspectrum" ou "nocontinuum" et linemodel.igmfit=true pour les lines?
>
> Selon Didier, on va distinguer l'orthogonalisation du reste.
> * Pour l'ortho
> ** soit on utilise un profil symétrique,
> ** ou sinon on choisit le profil IGM qui coupe le moins, donc le bin de plus bas z, avec la premièr courbes des 7.
> * pour le reste
> ** soit on fit le continu (tplfit/tplfitauto) et on utilise cette valeur de l'igm,
> ** soit on fitte le profil de la raie en modifiant la méthode FitAsymParameters : au lieu d'ajuster les param du profil skwed Gaussian on ajuste le profil IGM, sachant que le redshift auquel on ajuste est fixé lors de l'appel à cette méthode qui se fait à l'intérieur de la boucle en z.
> (pour l'ajustement: on fait la boucle sur les 7 profils IGM, on calcul le xi2 sur le support de la raie uniquement et on retient le profil avec le min chi2, comme c'est fait actuellement dans FitAsymParameters)

Il nous manque un cas: c'est lorsqu'on désactive le fit de l'IGM dans templatFitting (log ou pas) puisque le template rebinné n'inclut pas la longueur d'onde de Lya.
Est ce q'on traite ce cas comme pour l'orthogonolisation?

Comment by Mira Sarkis on 2022-04-13 14:58:19:

Comment by Didier Vibert on 2022-04-21 16:13:11:
MR: https://gitlab.lam.fr/CPF/cpf-redshift/-/merge_requests/301

Comment by Didier Vibert on 2022-04-21 16:22:54:
j'imagine que pour tester tu as un nouveau linecatalog avec des profils SYMIGM pour toutes les raies <1216 ?

=> il faudra basculer sur ce catalog, et donc dans les it parameters.

et il faut tester (un autre ticket ) ce que ça donne sur des spectres PFS contenant Lya (sp8 en contient dejà qq uns à défaut de faire un test plus représentatif statisquement)

Comment by Didier Vibert on 2022-04-21 16:27:37:
Didier Vibert wrote in #note-29:
> j'imagine que pour tester tu as un nouveau linecatalog avec des profils SYMIGM pour toutes les raies <1216 ?
>
> => il faudra basculer sur ce catalog, et donc dans les it parameters.
>
> et il faut tester (un autre ticket ) ce que ça donne sur des spectres PFS contenant Lya (sp8 en contient dejà qq uns à défaut de faire un test plus représentatif statisquement)

ah non, au temps pour moi, la modif se fait dans l'API python, ou on force la conversion de tous les profils vers SYMIGM pour wave<1216.

à terme, il faudra peut être envisager de faire cette modif directement en dur dans le linecatalog

Comment by Mira Sarkis on 2022-04-22 11:00:03:
Didier Vibert wrote in #note-29:
> j'imagine que pour tester tu as un nouveau linecatalog avec des profils SYMIGM pour toutes les raies <1216 ?
>
> => il faudra basculer sur ce catalog, et donc dans les it parameters.
>
> et il faut tester (un autre ticket ) ce que ça donne sur des spectres PFS contenant Lya (sp8 en contient dejà qq uns à défaut de faire un test plus représentatif statisquement)

Pour tester, j'active l'option d'IGM dans le param.json.
Pas besoin d'éditer le linecatalog pour cet objectif.

Comment by Didier Vibert on 2022-04-26 13:02:34:
je me l'assigne pour corriger qq points et je te rends la main Mira

Comment by Didier Vibert on 2022-05-31 08:52:45:
à propos de l'IGM et de la resolution PFS. les courbes meiksin sont échantillonnées avec un pas de 1 angström. Je pensais utiliser la convolution par la LSF pour interpoler ces courbes, mais avec la resolution on est un peu limite:
dans les paramètres PFS (sp8) on utilise une resol de 4300, ce qui donne à z=5, lambda=4000, une largeur de LSF: 4000/4300/6.=0.15 amgström !

du coup on ne peut pas se servir de la LSF pour calculer une courbe IGM convoluée par la LSF interpolée . La question se pose essentiellement pour la position précise des transitions dans la courbe d'extinction. Vincent, y-a-t-il un moyen d'obtenir ces courbes avec une resolution plus fine ?

Par ailleurs, je suis étonné des valeurs de resol utilisée dans les IT.
qp8: R=4300, alors que ce sont des spectres SDSS (high z) et que la resol SDSS est 1500 at 3800 Å ?
idem, pour PFS, la resol dans le bleu n'est que de 2300, et l'igm va plutôt être vu dans le bleu non ?

rmq: même avec R=2300, on trouve une largeur de LSF ramenée en restframe à z=5, lambda=3900 de 3900/2300/6 = 0.28, il faudrait des courbes d'extinction echantillonnée au moins à 0.1 angström

Comment by Vincent Le Brun on 2022-05-31 11:56:44:
Didier Vibert wrote in #note-33:
> à propos de l'IGM et de la resolution PFS. les courbes meiksin sont échantillonnées avec un pas de 1 angström. Je pensais utiliser la convolution par la LSF pour interpoler ces courbes, mais avec la resolution on est un peu limite:
> dans les paramètres PFS (sp8) on utilise une resol de 4300, ce qui donne à z=5, lambda=4000, une largeur de LSF: 4000/4300/6.=0.15 amgström !
>
> du coup on ne peut pas se servir de la LSF pour calculer une courbe IGM convoluée par la LSF interpolée . La question se pose essentiellement pour la position précise des transitions dans la courbe d'extinction. Vincent, y-a-t-il un moyen d'obtenir ces courbes avec une resolution plus fine ?
oui en faisant nous meme l'interpolation, ce sont des courbes analytiques entre chaque transition, et les transitions sont aux longueurs d'onde des raies concernées (Ly-alpha, beta, ...)
>
> Par ailleurs, je suis étonné des valeurs de resol utilisée dans les IT.
> qp8: R=4300, alors que ce sont des spectres SDSS (high z) et que la resol SDSS est 1500 at 3800 Å ?
> idem, pour PFS, la resol dans le bleu n'est que de 2300, et l'igm va plutôt être vu dans le bleu non ?
ça sent le résidu historique ça...
>
> rmq: même avec R=2300, on trouve une largeur de LSF ramenée en restframe à z=5, lambda=3900 de 3900/2300/6 = 0.28, il faudrait des courbes d'extinction echantillonnée au moins à 0.1 angström

Comment by Didier Vibert on 2022-05-31 12:50:33:
Vincent Le Brun wrote in #note-34:
> Didier Vibert wrote in #note-33:
> > Vincent, y-a-t-il un moyen d'obtenir ces courbes avec une resolution plus fine ?
> oui en faisant nous meme l'interpolation, ce sont des courbes analytiques entre chaque transition, et les transitions sont aux longueurs d'onde des raies concernées (Ly-alpha, beta, ...)

du coup tu peux t'en charger ou nous donner ttes les infos ?
les fonctions analytiques et les coordonnées de toutes les transitions ?

=> je crée un ticket dédié pour ça.

en attendant, je termine ce ticket avec une interp foireuse.

> > Par ailleurs, je suis étonné des valeurs de resol utilisée dans les IT.
> > qp8: R=4300, alors que ce sont des spectres SDSS (high z) et que la resol SDSS est 1500 at 3800 Å ?
> > idem, pour PFS, la resol dans le bleu n'est que de 2300, et l'igm va plutôt être vu dans le bleu non ?
> ça sent le résidu historique ça...

idem je crée un ticket pour revoir ces resolutions...

Comment by Pierre-yves Chabaud on 2022-06-08 15:59:48:
Merged into @develop@ : @c737b4cd@

Comment by Didier Vibert on 2022-06-08 16:32:03:
hello Mira, tu peux mettre à jour la page wiki des paramètres, avec le param @linemodel.igmfit@ stp ?

Comment by Mira Sarkis on 2022-06-09 07:41:03:
Didier Vibert wrote in #note-39:
> hello Mira, tu peux mettre à jour la page wiki des paramètres, avec le param @linemodel.igmfit@ stp ?

ok. c fait