Silicon Samples in Practice: Validating Large Language Models as Synthetic Respondents in Choice-Based Conjoint Analysis

This thesis investigates whether Large Language Models (LLMs) can function as synthetic respondents in Choice-Based Conjoint Analysis (CBCA), a widely used method for measuring consumer preferences in market research. As the cost of primary data collection grows, replacing or supplementing human panels with AI-generated responses has attracted increasing interest. However, the conditions under which such a substitution is valid remain poorly understood. The study tests three commercial LLMs (Google Gemini, Anthropic Claude, and OpenAI GPT-4o) as synthetic respondents on a real CBCA dataset concerning Fast-Moving Consumer Goods (FMCG). The models are evaluated under multiple configurations, exploring different prompting and calibration strategies to assess their alignment with real human choices. The results reveal a consistent trade-off between distributional fidelity (whether synthetic utilities are correctly scaled and sufficiently heterogeneous) and directional fidelity (whether the model correctly identifies which product attributes consumers prefer). No tested configuration improves both dimensions simultaneously. The study also highlights how different prompting techniques and demographic anchoring impact the models' performance, showing that real human data remains crucial for attributes whose valuation depends on contextual knowledge that synthetic profiles cannot fully replicate. Overall, the findings position LLM-based synthetic panels as a complementary tool rather than a replacement for human data, whose validity depends on the research objective, the model selected, and the calibration strategy applied.

Questa tesi indaga se i Large Language Models (LLM) possano fungere da rispondenti sintetici nella Choice-Based Conjoint Analysis (CBCA), un metodo ampiamente utilizzato per misurare le preferenze dei consumatori nelle ricerche di mercato. Con l'aumento dei costi per la raccolta dei dati primari, l'idea di sostituire o integrare i panel umani con risposte generate dall'IA ha suscitato un crescente interesse. Tuttavia, le condizioni in cui tale sostituzione risulti valida rimangono ancora poco comprese. Lo studio testa tre LLM commerciali (Google Gemini, Anthropic Claude e OpenAI GPT-4o) come rispondenti sintetici su un vero set di dati CBCA relativo ai beni di largo consumo (FMCG). I modelli vengono valutati in diverse configurazioni, esplorando varie strategie di prompting e calibrazione per valutare il loro allineamento con le scelte umane reali. I risultati rivelano un costante compromesso tra la fedeltà distributiva, ovvero se le utilità sintetiche siano correttamente misurate e sufficientemente eterogenee, e la fedeltà direzionale, ovvero se il modello identifichi correttamente quali attributi del prodotto siano preferiti dai consumatori. Nessuna configurazione testata migliora simultaneamente entrambe le dimensioni. Lo studio evidenzia inoltre come diverse tecniche di prompting e l'ancoraggio demografico influenzino le prestazioni dei modelli, dimostrando che i dati umani reali rimangono fondamentali per quegli attributi la cui valutazione dipende da conoscenze contestuali che i profili sintetici non possono replicare appieno. Nel complesso, i risultati posizionano i panel sintetici basati su LLM come uno strumento complementare piuttosto che come un sostituto dei dati umani, la cui validità dipende dall'obiettivo della ricerca, dal modello selezionato e dalla strategia di calibrazione applicata.