Analisi della performance di Polaris, uno strumento a servizio della farmacovigilanza

Uno degli aspetti fondamentali della farmacovigilanza è l'identificazione e la valutazione di tutti quegli eventi avversi che potrebbero essere causati da un farmaco e che devono quindi essere attenzionati al fine di monitorare il rapporto beneficio-rischio dei medicinali. Oggigiorno non esiste un database ufficiale che descriva in modo strutturato le reazioni avverse dei farmaci descritte nella sezione 4.8 del Riassunto delle Caratteristiche del Prodotto(RCP), codificate attraverso la specifica terminologia MedDRA. Un database di questo tipo, d'altra parte, sarebbe molto utile sia nell'ambito della farmacovigilanza che in quello della farmacoepidemiologia, anche se la sua creazione non sarebbe affatto semplice. Per questo scopo, utilizzando i dati provenienti dal gruppo di ricerca dell'Università di Verona(Centro Regionale di Farmacovigilanza del Veneto), si è osservato come il software Polaris, "un archivio interrogabile di indicazioni terapeutiche e di reazioni avverse riportate nei RCP" codificate in terminologia MedDRA, fosse capace di individuare e discriminare le reazioni avverse presenti nei testi e nelle tabelle della sezione 4.8 dei RCP di 20 farmaci diversi. Per valutare la performance del software, si è considerato come gold standard una annotazione manuale da parte di un/a esperto/a. Dal confronto delle analisi di Polaris con quelle del gold standard, è stato dapprima calcolato il numero di veri positivi (VP),ovvero tutte quelle reazioni avverse che Polaris ha correttamente individuato,il numero di falsi positivi (FP), ovvero tutte quelle parole che Polaris ha individuato come reazioni avverse quando invece non lo erano e il numero di falsi negativi (FN), ovvero le mancate individuazioni. Questa classificazione ha permesso di calcolare la matrice di confusione per ogni farmaco. Questa, a sua volta, ha permesso di calcolare la sensitivity, o recall, ovvero la probabilità di Polaris di individuare correttamente le reazioni avverse, e il valore predittivo positivo VP+, o precisione, ovvero la probabilità che una reazione avversa individuata da Polaris lo sia effettivamente. Dalla media armonica di precisione e recall è stato calcolato l'F1 score, una misura di accuratezza. Si è scelto poi di raggruppare i farmaci in base alla prima lettera del codice ATC per evidenziare eventuali pattern: in generale, tutti i gruppi hanno presentato alti valori (nessuno di questi è inferiore al 60%) di sensitivity, VP+ e F1 score. Il gruppo peggiore sembrerebbe essere quello della categoria B, ovvero quello relativo ai farmaci che hanno come target il sangue e gli organi emopoietici, anche se bisogna tener presente che queste conclusioni vanno considerate con molto cautela vista la molto limitata numerosità campionaria complessiva (20 farmaci) e di ogni gruppo (ci sono gruppi composti da un unico farmaco). Lo studio è poi proseguito andando a osservare dove le reazioni avverse erano state individuate nella sezione 4.8 del RCP, per andare a vedere in che posizione più frequentemente Polaris ha commesso errori. Ne è risultato che in riferimento alla tabella ha sbagliato al 23% mentre in riferimento al testo al 47%.