Forecasting corporate performance: capabilities and limitations of ChatGPT as a support tool for financial analysts

This bachelor's thesis investigates large language models’ current state of the art – specifically ChatGPT – as a support tool for financial analysts. Relying on recent literature, it compares prompt-based corporate financial forecasts with the estimates produced by professionals, to determine whether the former can be compared to, or even complement, the latter. The document is organized into three separate sections. The first introduces the scope and objectives of the analysis. The second brings together the theory on which financial forecasting is based, discusses common consequences of bias in human estimates, and examines ChatGPT’s reliability in interpreting and processing financial data. Finally, the third section presents a comparison between financial forecasts produced by professionals and those generated by ChatGPT, with the goal of evaluating the influence that different prompt-engineering techniques have on forecasting accuracy. Results of studies on which this work is based on highlight that different prompting techniques directly influence ChatGPT’s effectiveness in financial forecasting. They also infer that human estimates often display a systematic optimistic bias, which ChatGPT may help to mitigate when properly instructed.

Questa tesi di laurea triennale si propone di indagare l’attuale stato dell’arte dell’AI generativa – nello specifico di ChatGPT – come strumento di supporto per gli analisti finanziari. Basandosi sulla letteratura accademica recente, si confrontano forecast finanziari aziendali generati tramite ChatGPT con quelli prodotti da professionisti per determinare se i primi possono essere comparabili, o addirittura integrare, gli ultimi. Il documento è organizzato in tre sezioni distinte. Nella prima viene introdotto lo scopo e l’obiettivo dell’analisi. Nella seconda viene riportata la teoria su cui si basano le previsioni aziendali, vengono discusse le conseguenze principali di bias cognitivi umani nelle stime e si esamina l’affidabilità di ChatGPT nell’interpretare e processare dati finanziari. L’ultima sezione è dedicata a comparare i forecast ottenuti da analisti finanziari con quelli generati attraverso ChatGPT avvalendosi di diverse tecniche di prompting, con lo scopo di verificare l’impatto di queste ultime sull’accuratezza delle stime. I risultati degli studi su cui è basato questo lavoro evidenziano come le diverse metodologie di formulazione dei prompt influenzino in modo diretto l’efficacia di ChatGPT nella produzione di forecast finanziari. Nelle conclusioni riportate dalle ricerche si deduce, inoltre, che nelle stime umane è sistematicamente presente un bias di tipo ottimistico che può essere mitigato attraverso una precisa istruzione del modello.