Machine Learning Models to Predict Clinical Deterioration of Patients in In-Hospital and Out-of-Hospital Settings: A Systematic Review

Introduction: Patients can experience clinical deterioration at any time, presenting life-threatening events that must be recognized immediately to provide timely emergency care. Detecting clinical deterioration is one of the key components of nursing surveillance and several machine learning models have been proposed for this scope. However, their effectiveness and perspectives on the nursing practice are still unclear. Objectives: To assess the reported effectiveness of machine learning methods in predicting clinical deterioration in both in-hospital and out-of-hospital settings. Methods: A systematic review was performed and reported according to the Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA) guidelines. Studies with patients of any gender, ≥ 18 years old in both in-hospital and out-of-hospital settings were considered eligible when aimed at developing, evaluating, or testing machine learning models to predict clinical deterioration. PubMed/MEDLINE, CINAHL, Scopus, Embase, Web of Science, ACM Digital Library, arXiv, IEEE Xplore, ClinicalTrials.gov, and the ICTRP were searched in July 2023. The Covidence platform was employed for the study selection and data extraction processes. Risk of bias was assessed using the Prediction model Risk of Bias Assessment Tool (PROBAST) tool and visualized through the Risk-of-bias VISualization R package tool. Data synthesis was performed according to the Synthesis without meta-analysis (SWiM) guidelines. Results: Out of 7464 search results, 579 articles were assessed for full-text eligibility and 30 studies published between 2016 and 2023 were included. The majority was based in the in-hospital setting (n = 27). Overall, there were adopted 33 machine learning techniques. All machine learning models outperformed traditional early warning systems in terms of absolute AUROC, ranging between 0.72 and 0.958. Compared to indicators of nurses’ worry about deteriorating patients, machine learning models failed to account for all the indicators. The overall risk of bias was rated as high/unclear. Conclusions: Despite showing potential and promising results as instruments to predict clinical deterioration, several reflections emerged that need to be profoundly considered and discussed in further prospective studies before these models start being widely implemented into clinical practice. PROSPERO registration number: CRD42023450450.

Introduzione: I pazienti possono andare incontro ad un improvviso deterioramento clinico in qualsiasi momento, presentando eventi pericolosi per la salvaguardia vitale che devono essere riconosciuti prontamente al fine di poter attivare interventi di emergenza appropriati. Il riconoscimento del deterioramento clinico è una delle componenti chiave della sorveglianza infermieristica e, negli ultimi anni, diversi modelli di machine learning sono stati proposti a tale scopo. Obiettivo: Valutare l’efficacia dei modelli di machine learning nel predire il deterioramento clinico dei pazienti in ambito ospedaliero ed extraospedaliero. Metodi: È stata condotta una revisione sistematica della letteratura secondo le reporting guidelines Preferred Reporting Items for Systematic Reviews and Meta-Analyses (PRISMA). Sono stati considerati eleggibili gli studi su pazienti di qualsiasi genere, di età ≥ 18 anni, sia in ambito ospedaliero che extraospedaliero, finalizzati allo sviluppo e/o alla validazione di modelli di machine learning per prevedere e riconoscere il deterioramento clinico. La ricerca è stata condotta sulle banche dati PubMed/MEDLINE, CINAHL, Scopus, Embase, Web of Science, ACM Digital Library, arXiv, IEEE Xplore, ClinicalTrials.gov e ICTRP in luglio 2023. Per la selezione e l’estrazione dei dati è stata utilizzata la piattaforma Covidence. La valutazione del risk of bias è stata condotta attraverso lo strumento Prediction model Risk of Bias Assessment Tool (PROBAST), di cui i risultati sono stati visualizzati utilizzando il pacchetto Risk-of-bias VISualization di R. La sintesi dei dati è stata redatta secondo le linee guida Synthesis without meta-analysis (SWiM). Risultati: Su 7464 risultati delle ricerche, 579 studi sono stati valutati per l’ammissibilità in full-text e 30 studi, pubblicati tra il 2016 e il 2023, sono stati inclusi. La maggior parte degli studi era riferito al contesto ospedaliero (n = 27). Complessivamente, sono state sperimentate 33 tecniche di machine learning. Tutti i modelli di machine learning si sono dimostrati superiori ai modelli tradizionali di riconoscimento del deterioramento clinico in termini assoluti di AUROC, con valori compresi tra 0.72 e 0.958. Nessun modello di machine learning ha considerato tutti gli indicatori utilizzati dagli infermieri per identificare il deterioramento clinico. Il risk of bias complessivo degli studi era alto/incerto. Conclusioni: Nonostante i risultati promettenti e le potenzialità dei modelli di machine learning per il riconoscimento del deterioramento clinico, sono emerse diverse riflessioni che devono essere profondamente considerate e dibattute in ulteriori studi prospettici prima che l’implementazione di questi modelli possa essere raccomandata ampiamente nella pratica clinica. Numero di registrazione PROSPERO: CRD42023450450.