[REDMINE1D-61] [RM-5970] Executions partielles et traitements interrompus

Wed, 5 Jul 2023 16:25:52 +0000

Created on 2020-09-16 10:05:24 by Pierre-yves Chabaud. % Done: 0

Plusieurs exécutions d'amazed semblent se terminer correctement alors que le traitement de certains spectres s'est interrompu.

Lorsque l'OS tue un worker (c.a.d un bunch), le scheduler du pipeline n'est pas informé. L'ensemble des spectres du bunch qui n'aura pas été traité au moment de l’interruption par l'OS ne sera pas traité. Les raisons de l'interruption (TIMEOUT, OUT_OF_MEMORY, ...) doivent être séparées du mode d'interruption (SIGKILL, SIGTERM, ...).

Il faut également distinguer les spectres dont le traitement n'a pas "convergé" (erreur attrapée par le worker) et les spectres dont le traitement n'a pas eu lieu pour cause d'interruption par l'OS. Les symptômes étant identiques a la fin d'une exécution du pipeline (absence de l'ID du spectre dans le redshift.csv). Les erreurs attrapées par les worker sont enregistrées dans le log amazed.

Le pipeline devra être en mesure de fournir:

La liste des spectres dont le traitement n'a pas "convergé"
La liste des bunch qui ont été interrompu par l'OS
La liste des spectres dont le traitement n'a pas eu lieu pour cause d'interruption
Un moyen de relancer les traitements interrompus
Un moyen d'agréger les résultats avant et après l'interruption

PFS-JIRA

[REDMINE1D-61] [RM-5970] Executions partielles et traitements interrompus