[REDMINE1D-36] [RM-6165] use likelihood instead of posterior for merit Created: 04/Jun/21  Updated: 13/Jun/23  Resolved: 13/Jun/23

Status: Done
Project: 1D Redmine
Component/s: None
Affects Version/s: None
Fix Version/s: None

Type: Task Priority: Normal
Reporter: Redmine-Jira Migtation Assignee: Redmine-Jira Migtation
Resolution: Done Votes: 0
Labels: None
Remaining Estimate: Not Specified
Time Spent: Not Specified
Original Estimate: Not Specified

Attachments: PNG File Capture d’écran de 2021-11-29 11-04-09.png     PNG File Capture d’écran de 2021-11-29 11-10-56.png     PNG File Capture d’écran de 2021-11-29 11-25-18.png     PNG File Capture d’écran de 2021-11-29 11-25-37.png    

 Description   

Created on 2020-12-04 08:51:23 by Didier Vibert. % Done: 100

we should try to integrate the likelihood under the peak instead of the posterior, ie not renormalize to unit integral, that is not divide by the evidence which encode the probability of the data (goodness of fit).

This has not impact on the ordering of candidates for one spectra, but may help as a confidence indicator from one spectra to the other.

In the purity/completness we could as well try to use the evidence (ie the likelihood integrated over the whole z range)

 Comments   
Comment by yuki.moritani [ 13/Jun/23 ]

Comment by Didier Vibert on 2021-11-29 10:33:59:
bon il semble que ce soit une mauvaise idée en fin de compte.

sur la simulation ELcosmos, en remplaçant le merit (prob intégrée) par la vraisemblance intégrée (en log) on ne discrimine plus du tout entre les spurious et les targets:

note: le calcul du nouveau merit est le suivant:
log_merit_likelihood = log(merit) + max(log(evidence), 1700) - mean(log(evidence))

les valeurs des évidences sont très étalées (range de taille exp(300)...):


Du coup, le merit (ie la fraction du pic sur le total de la pdf ) est noyé complètement par la valeur de l'évidence qui elle n'est pas du tout discriminante.
Si on avait utilisé le chi2 réduit (ou pas, le nb de points & param est le même pour tous les spectres) comme merit, on aurait eu aussi un truc pas discriminant du tout.... à tester ?

Comment by yuki.moritani [ 13/Jun/23 ]

Comment by Didier Vibert on 2021-11-29 10:35:44:
Morgan a testé aussi de son côté l'utilisation les log_vraissemblance au lieu des log_posterieur pour l'apprentissage de la reliabilité, et ça ne marche pas du tout non plus, ce qui n'est pas surprenant au vu des résultats précédents...

Generated at Sat Feb 10 15:28:38 JST 2024 using Jira 8.3.4#803005-sha1:1f96e09b3c60279a408a2ae47be3c745f571388b.