Sintesi del progetto
Il progetto nasce dall’esigenza di affrontare problemi di imaging particolarmente complessi, tipici del mondo dell’elaborazione del segnale e dell’inversione numerica. In questi casi, la soluzione non è un singolo programma, ma una sequenza di operazioni che devono essere orchestrate in modo affidabile. Lo scopo del progetto è verificare se linguaggi e strumenti generici per descrivere workflow possano essere utilizzati anche per applicazioni scientifiche avanzate, rendendo più semplice e flessibile l’esecuzione su infrastrutture distribuite.
Obiettivi
L’obiettivo principale è valutare se il Common Workflow Language (CWL), uno standard aperto per descrivere workflow complessi, possa adattarsi al problema della Full Waveform Inversion (FWI), una tecnica avanzata di imaging. Il progetto intende inoltre verificare l’esecuzione del workflow tramite l’orchestratore StreamFlow, per capire se questi strumenti generali possano sostituire soluzioni dedicate e più rigide.
Problemi e necessità
In problemi di inversione su larga scala, servono soluzioni resilienti, modulari e portabili. Le applicazioni monolitiche risultano poco flessibili, difficili da mantenere e limitate nel funzionamento su piattaforme eterogenee. Con un approccio basato su workflow, invece, è possibile distribuire le singole fasi e adattarle ai diversi ambienti di calcolo. Tuttavia, questo richiede linguaggi e orchestratori maturi, in grado di gestire errori, ripartenze e parallelismo delle risorse di calcolo.
Soluzioni sviluppate
Il progetto ha dimostrato che il Common Workflow Language può descrivere efficacemente il processo FWI, aprendo la strada a un uso più ampio di workflow standardizzati anche in ambito scientifico. I test su ambienti distribuiti hanno inoltre fatto emergere nuovi requisiti di tolleranza ai guasti, che hanno portato allo sviluppo di una nuova versione dell’orchestratore StreamFlow. Questo risultato contribuisce a migliorare un progetto open-source utilizzato dalla comunità scientifica.
Impatti
I risultati ottenuti possono velocizzare la risoluzione di problemi complessi di inversione e ottimizzazione in molti settori, non solo in FWI. L’adozione di workflow standardizzati consente di rendere riproducibili e portabili intere pipeline di calcolo, facilitando condivisione, riuso e collaborazione scientifica. Inoltre, l’integrazione dei miglioramenti in StreamFlow li rende immediatamente disponibili alla comunità open-source.
Settori di applicazione
Le metodologie sviluppate possono essere applicate a problemi 3D di imaging su larga scala, così come ad altri casi in cui è necessario orchestrare molte fasi computazionali su piattaforme distribuite. I prossimi passi del progetto includono l’estensione della capacità descrittiva di CWL, così da renderlo ancora più generale e adatto a nuovi domini applicativi. L’utilizzo reale sarà semplice, perché sia il linguaggio sia l’orchestratore sono tecnologie già mature e diffuse.
