Aligning 3D and Text Latent Spaces: An Empirical Study of Alignment Methods

While multimodal AI excels at bridging text and 2D vision, aligning language with 3D geometry remains a fundamental open challenge. Can the structural gap between irregular 3D point clouds and sequential language embeddings be bridged without paired supervision? This thesis investigates the limits of cross-modal 3D-text alignment through the lens of Optimal Transport and geometric representation learning. Contrasting supervised linear and non-linear mappings against unsupervised Gromov-Wasserstein formulations, we reveal why relational optimal transport fails across modalities: 3D geometric manifolds and text latent spaces fundamentally break structural isometry. Our findings expose the mathematical boundaries of unsupervised cross-modal learning, demonstrating that explicit anchor supervision is not merely helpful, but indispensable to unite language and 3D space.

Mentre l'intelligenza artificiale multimodale connette con successo testo e immagini 2D, allineare il linguaggio naturale con la geometria tridimensionale rimane una sfida ancora aperta. È possibile colmare la profonda distanza strutturale tra nuvole di punti 3D e rappresentazioni linguistiche senza dati appaiati di supervisione? Questa tesi esplora i limiti dell'allineamento cross-modale 3D-testo attraverso il Trasporto Ottimo e l'apprendimento geometrico delle rappresentazioni. Mettendo a confronto proiezioni supervisionate con formulazioni non supervisionate basate su Gromov-Wasserstein, il lavoro svela le ragioni del fallimento dell'allineamento puramente relazionale: gli spazi geometrici 3D e gli spazi latenti testuali violano l'assunto di isometria strutturale. I risultati tracciano un chiaro confine matematico nell'apprendimento cross-modale, dimostrando come una supervisione esplicita tramite ancore sia indispensabile per unire linguaggio e spazio tridimensionale.