https://pfspipe.ipmu.jp/jira This file is an XML representation of an issue en-us 8.3.4 803005 13-09-2019 https://pfspipe.ipmu.jp/jira/browse/REDMINE1D-56 1D Redmine <p><em><font color="#505f79"> Created on 2020-09-22 12:03:10 by Didier Vibert. % Done: 100</font></em></p> <p>redémarrer la R&amp;D sur une reliabilité en utilisant des techniques d'apprentissage machine en utilisant des simulations (eg G270 tiger team pour Euclid)</p> REDMINE1D-56

[RM-5987] reliability ML supervisée

Task Normal Done Done Redmine-Jira Migtation Redmine-Jira Migtation Fri, 4 Jun 2021 01:21:03 +0000 Wed, 5 Jul 2023 07:02:33 +0000 Wed, 5 Jul 2023 07:02:33 +0000 0 1 <p>Comment by Morgan Gray on 2020-10-09 06:46:41:<br/> Compte Rendu Réunion 02/10/2020 (MG, DV, VL, CS, MB, EM)</p> <ol> <li><b>Travail initial de Sara</b></li> </ol> <ul class="alternate" type="square"> <li>Données VVDS,</li> <li>Détermination de 5 classes avec un Apprentissage Non Supervisé basé sur FCM (Fuzzy C-Means) avec 8 descripteurs<br/> utilisant un arbre décisionnel avec probabilités (codes en Matlab). Le codage imposait nécessairement 5 classes fixées.</li> <li>Avec ces 5 classes, détermination d'un Prédicteur avec un Apprentissage Supervisé basé sur un SVM (codes en Matlab)</li> <li>Implémentation du prédicteur SVM (avec les paramètres déterminés lors de l'apprentissage) en C++ dans Amazed</li> </ul> <ol> <li><b>Travail repris par Morgan</b></li> </ol> <ul class="alternate" type="square"> <li>Ajout d’une classe au code initial en Matlab</li> <li>Modification du code inital en Matlab permettant :<br/> d'ajouter plusieurs classes (suppression du modèle par arbre décisionnel)<br/> de tester d'autres algo de Machine Learning (K-Means)<br/> d'améliorer des calculs de la proba des pics avec différents fits de Gaussiennes centrées ou non, <br/> sur des intervalles d'intégration variables<br/> ajout de nouveaux descripteurs (de 8 à plus de 15 descripteurs)</li> <li>Tests sur les données VVDS, Euclid SPV6 et SPV7</li> <li>Passage à un code en Python utilisant Scikit-Learn pour tester d'autres algo de Machine Learning déjà implementés</li> <li>Nouveaux tests sur les données précédentes avec certains algos de Sckit-Learn</li> <li>Passage à un Apprentissage Supervisé à 2 ou 3 classes seulement avec un SVM de Scikit-Learn</li> <li>Premiers tests de Deep Learning (Supervisé à 2 ou 3 classes) en utilisant un MLP (Multi-Layers Perceptron)<br/> <ins>Conclusion</ins> : résultats pas vraiment meilleurs qu’avec la probabilité intégrée fournie par Alain<br/> poursuivre l'Apprentissage Supervisé avec des réseaux de convolution 1D </li> </ul> <ol> <li><b>Travail à faire</b></li> </ol> <ul class="alternate" type="square"> <li>Récupérer les données TigerTeam (Vincent)</li> <li>Transformer les données VIPERS et faire tourner Amazed (Vincent)</li> <li>Identifier un sous-échantillon de PFS Cosmo et fournir les PDF à Morgan (Vincent)</li> <li>Voir les données SDSS (Vincent)</li> <li>Développer un code Python récupérant toutes les données utiles fournies par Amazed nécessaires à l'apprentissage<br/> par un Réseau de neurones (Morgan, mais à voir avec Ali et Didier) </li> <li>Développer un code de Deep Learning Python/Keras et tester différentes architectures pour faire un apprentissage sur les données (Morgan, Edouard ?)</li> <li>Conctater le Working Group de ML/DL d'Euclid pour discuter de travaux déjà effectués/conseils</li> <li>Envisager un classifier Etoiles/Galaxies ? Voir avec François Lanusse ?</li> </ul> <p>Comment by Morgan Gray on 2021-06-01 12:50:07:</p> <ul> <li>Dans le cadre d'une collaboration avec AL Mealier et Centrale Marseille, 3 étudiants vont travailler pendant un mois (tout le mois de juin à temps plein) pour effectuer un travail exploratoire sur une recherche d'architecture adéquate de réseau de neurones pour entrainer un LSTM/GRU (ou autre.. ?) sur les données Vipers fournies par Vincent Lebrun.</li> <li>J'organise une réunion par semaine pour les guider dans leur travail qui est totalement nouveau pour eux (problématique scientifique et codage d'un réseau).</li> <li>Ils devront fournir à la fin un code en Keras ou Pytorch et une documentation succinte permettant de voir le travail acccompli.</li> </ul> Development Rank 0|zzs7jc: