[REDMINE1D-56] [RM-5987] reliability ML supervisée Created: 04/Jun/21  Updated: 05/Jul/23  Resolved: 05/Jul/23

Status: Done
Project: 1D Redmine
Component/s: None
Affects Version/s: None
Fix Version/s: None

Type: Task Priority: Normal
Reporter: Redmine-Jira Migtation Assignee: Redmine-Jira Migtation
Resolution: Done Votes: 0
Labels: None
Remaining Estimate: Not Specified
Time Spent: Not Specified
Original Estimate: Not Specified


 Description   

Created on 2020-09-22 12:03:10 by Didier Vibert. % Done: 100

redémarrer la R&D sur une reliabilité en utilisant des techniques d'apprentissage machine en utilisant des simulations (eg G270 tiger team pour Euclid)



 Comments   
Comment by Redmine-Jira Migtation [ 05/Jul/23 ]

Comment by Morgan Gray on 2020-10-09 06:46:41:
Compte Rendu Réunion 02/10/2020 (MG, DV, VL, CS, MB, EM)

  1. Travail initial de Sara
  • Données VVDS,
  • Détermination de 5 classes avec un Apprentissage Non Supervisé basé sur FCM (Fuzzy C-Means) avec 8 descripteurs
    utilisant un arbre décisionnel avec probabilités (codes en Matlab). Le codage imposait nécessairement 5 classes fixées.
  • Avec ces 5 classes, détermination d'un Prédicteur avec un Apprentissage Supervisé basé sur un SVM (codes en Matlab)
  • Implémentation du prédicteur SVM (avec les paramètres déterminés lors de l'apprentissage) en C++ dans Amazed
  1. Travail repris par Morgan
  • Ajout d’une classe au code initial en Matlab
  • Modification du code inital en Matlab permettant :
    d'ajouter plusieurs classes (suppression du modèle par arbre décisionnel)
    de tester d'autres algo de Machine Learning (K-Means)
    d'améliorer des calculs de la proba des pics avec différents fits de Gaussiennes centrées ou non,
    sur des intervalles d'intégration variables
    ajout de nouveaux descripteurs (de 8 à plus de 15 descripteurs)
  • Tests sur les données VVDS, Euclid SPV6 et SPV7
  • Passage à un code en Python utilisant Scikit-Learn pour tester d'autres algo de Machine Learning déjà implementés
  • Nouveaux tests sur les données précédentes avec certains algos de Sckit-Learn
  • Passage à un Apprentissage Supervisé à 2 ou 3 classes seulement avec un SVM de Scikit-Learn
  • Premiers tests de Deep Learning (Supervisé à 2 ou 3 classes) en utilisant un MLP (Multi-Layers Perceptron)
    Conclusion : résultats pas vraiment meilleurs qu’avec la probabilité intégrée fournie par Alain
    poursuivre l'Apprentissage Supervisé avec des réseaux de convolution 1D
  1. Travail à faire
  • Récupérer les données TigerTeam (Vincent)
  • Transformer les données VIPERS et faire tourner Amazed (Vincent)
  • Identifier un sous-échantillon de PFS Cosmo et fournir les PDF à Morgan (Vincent)
  • Voir les données SDSS (Vincent)
  • Développer un code Python récupérant toutes les données utiles fournies par Amazed nécessaires à l'apprentissage
    par un Réseau de neurones (Morgan, mais à voir avec Ali et Didier)
  • Développer un code de Deep Learning Python/Keras et tester différentes architectures pour faire un apprentissage sur les données (Morgan, Edouard ?)
  • Conctater le Working Group de ML/DL d'Euclid pour discuter de travaux déjà effectués/conseils
  • Envisager un classifier Etoiles/Galaxies ? Voir avec François Lanusse ?
Comment by Redmine-Jira Migtation [ 05/Jul/23 ]

Comment by Morgan Gray on 2021-06-01 12:50:07:

  • Dans le cadre d'une collaboration avec AL Mealier et Centrale Marseille, 3 étudiants vont travailler pendant un mois (tout le mois de juin à temps plein) pour effectuer un travail exploratoire sur une recherche d'architecture adéquate de réseau de neurones pour entrainer un LSTM/GRU (ou autre.. ?) sur les données Vipers fournies par Vincent Lebrun.
  • J'organise une réunion par semaine pour les guider dans leur travail qui est totalement nouveau pour eux (problématique scientifique et codage d'un réseau).
  • Ils devront fournir à la fin un code en Keras ou Pytorch et une documentation succinte permettant de voir le travail acccompli.
Generated at Sat Feb 10 15:28:51 JST 2024 using Jira 8.3.4#803005-sha1:1f96e09b3c60279a408a2ae47be3c745f571388b.