The thesis investigates the cognitive processes that underpin numerical cognition, emphasizing the representation of numbers across various modalities, including non-symbolic, symbolic, linguistic, and spatial forms. It analyzes the implications of these representations for grasping mathematical concepts and the challenges associated with modeling their acquisition. The research also evaluates several open-source models, such as Llava, to explore the modality gap in multimodal AI systems. By comparing human numerical representation with AI mechanisms, this work seeks to enhance the fields of cognitive science and artificial intelligence by clarifying the interactions between different forms of numerical representation and their effects on learning and understanding.

La tesi indaga i processi cognitivi che sottendono la cognizione numerica, ponendo l'accento sulla rappresentazione dei numeri attraverso varie modalità, tra cui forme non simboliche, simboliche, linguistiche e spaziali. Analizza le implicazioni di queste rappresentazioni per la comprensione dei concetti matematici e le sfide associate alla modellazione della loro acquisizione. La ricerca valuta anche diversi modelli open-source, come Llava, per esplorare il divario di modalità nei sistemi AI multimodali. Confrontando la rappresentazione numerica umana con i meccanismi dell'IA, la tesi mira a dare un contributo ad i campi della scienza cognitiva e dell'intelligenza artificiale cercando di chiarire le interazioni tra le diverse forme di rappresentazione numerica e i loro effetti sull'apprendimento e sulla comprensione.

Esplorando il Modality Gap nell'Apprendimento Multimodale per la Rappresentazione Numerica

VARAGNOLO, MATTIA
2023/2024

Abstract

The thesis investigates the cognitive processes that underpin numerical cognition, emphasizing the representation of numbers across various modalities, including non-symbolic, symbolic, linguistic, and spatial forms. It analyzes the implications of these representations for grasping mathematical concepts and the challenges associated with modeling their acquisition. The research also evaluates several open-source models, such as Llava, to explore the modality gap in multimodal AI systems. By comparing human numerical representation with AI mechanisms, this work seeks to enhance the fields of cognitive science and artificial intelligence by clarifying the interactions between different forms of numerical representation and their effects on learning and understanding.
2023
Exploring the Modality Gap in Multimodal Learning for Numerical Representation
La tesi indaga i processi cognitivi che sottendono la cognizione numerica, ponendo l'accento sulla rappresentazione dei numeri attraverso varie modalità, tra cui forme non simboliche, simboliche, linguistiche e spaziali. Analizza le implicazioni di queste rappresentazioni per la comprensione dei concetti matematici e le sfide associate alla modellazione della loro acquisizione. La ricerca valuta anche diversi modelli open-source, come Llava, per esplorare il divario di modalità nei sistemi AI multimodali. Confrontando la rappresentazione numerica umana con i meccanismi dell'IA, la tesi mira a dare un contributo ad i campi della scienza cognitiva e dell'intelligenza artificiale cercando di chiarire le interazioni tra le diverse forme di rappresentazione numerica e i loro effetti sull'apprendimento e sulla comprensione.
Multi-modal
LLM
Neural Networks
Learning
Contrastive
File in questo prodotto:
File Dimensione Formato  
Mattia_Varagnolo_Thesis.pdf

accesso riservato

Dimensione 4.01 MB
Formato Adobe PDF
4.01 MB Adobe PDF

The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License

Utilizza questo identificativo per citare o creare un link a questo documento: https://hdl.handle.net/20.500.12608/80906