AFFILIAZIONE
riatlas srl
AUTORE PRINCIPALE
Furno Domenico
Registrazione obbligatoria. Una valutazione consentita
login avvenuto
GRUPPO DI LAVORO
Furno Domenico riatlas srl
Ravizza Alice insideai srl
Ravizza Alice insideai srl
AREA TEMATICA
Applicazioni di intelligenza artificiale in sanità
ABSTRACT
Per validare le prestazioni e la sicurezza del dispositivo Riatlas, basato su IA per la predizione dei punteggi ICF, è stato adottato un processo strutturato in fasi: definizione dei materiali e metodi adeguati (dataset di addestramento, metodo di validazione, dataset di validazione) e, solo successivamente, la validazione del modello.
Il dataset di addestramento è stato costruito per rappresentare accuratamente la popolazione target, utilizzando codici ICD9 rilevanti per oncologia (140–239) e neuroriabilitazione (320–389 e 430–438). Include 52 pazienti oncologici e 87 neuro-riabilitativi, con una varietà di quadri clinici e sottotipi, garantendo la copertura delle condizioni per cui il sistema è progettato. Questa selezione rappresentativa consente al modello di apprendere con accuratezza i pattern clinici rilevanti.
Il metodo di validazione è stato pensato per modelli multilabel e gerarchici, come richiesto dalla struttura tassonomica dell’ICF. Ogni previsione è valutata rispetto a un insieme di etichette gerarchiche. Sono stati definiti due parametri: una funzione di peso f(d), che assegna un punteggio decrescente in base alla distanza concettuale (1 per corrispondenza esatta, 0,8 per distanza 1, 0,5 per distanza 2, 0 per distanza >2), e una soglia di profondità t=1, che esclude contributi parziali per i primi due livelli gerarchici. Il metodo è stato descritto in una pubblicazione peer-reviewed.
Il dataset di validazione è stato costruito con criteri coerenti alla popolazione target (età, genere, condizione clinica), garantendo la presenza di dati validi in ogni campo significativo. Ogni dataset rappresenta almeno il 20% del totale e viene validato con cross-validation a 5 fold. Tali dataset rispettano i requisiti minimi di qualità richiesti, analoghi a quelli previsti per l’addestramento.
Per la validazione del modello, è stata fissata una soglia minima conservativa del 70% sull’F1 score mediano per l’uso pre-commerciale. Tuttavia, la letteratura indica che solo F1 ≥ 84% garantisce un validità clinica. I test hanno prodotto i seguenti risultati:
Oncologia (ICD 140–239): media 88,82%, mediana 89,84%
Il dataset di addestramento è stato costruito per rappresentare accuratamente la popolazione target, utilizzando codici ICD9 rilevanti per oncologia (140–239) e neuroriabilitazione (320–389 e 430–438). Include 52 pazienti oncologici e 87 neuro-riabilitativi, con una varietà di quadri clinici e sottotipi, garantendo la copertura delle condizioni per cui il sistema è progettato. Questa selezione rappresentativa consente al modello di apprendere con accuratezza i pattern clinici rilevanti.
Il metodo di validazione è stato pensato per modelli multilabel e gerarchici, come richiesto dalla struttura tassonomica dell’ICF. Ogni previsione è valutata rispetto a un insieme di etichette gerarchiche. Sono stati definiti due parametri: una funzione di peso f(d), che assegna un punteggio decrescente in base alla distanza concettuale (1 per corrispondenza esatta, 0,8 per distanza 1, 0,5 per distanza 2, 0 per distanza >2), e una soglia di profondità t=1, che esclude contributi parziali per i primi due livelli gerarchici. Il metodo è stato descritto in una pubblicazione peer-reviewed.
Il dataset di validazione è stato costruito con criteri coerenti alla popolazione target (età, genere, condizione clinica), garantendo la presenza di dati validi in ogni campo significativo. Ogni dataset rappresenta almeno il 20% del totale e viene validato con cross-validation a 5 fold. Tali dataset rispettano i requisiti minimi di qualità richiesti, analoghi a quelli previsti per l’addestramento.
Per la validazione del modello, è stata fissata una soglia minima conservativa del 70% sull’F1 score mediano per l’uso pre-commerciale. Tuttavia, la letteratura indica che solo F1 ≥ 84% garantisce un validità clinica. I test hanno prodotto i seguenti risultati:
Oncologia (ICD 140–239): media 88,82%, mediana 89,84%
Neuroriabilitazione (ICD 320–389): media 85,88%, mediana 85,94%
Neuroriabilitazione (ICD 430–438): media 85,16%, mediana 84,03%
Tutti i test hanno superato le soglie previste, confermando la conformità del modello per ciascuna popolazione target.
