Analysis of a word embedding model: exploring the expressivity of word projections

Representing words in a numerically meaningful way has always been an important goal in Natural Language Processing. In this work, we investigate the capabilities of novel embedding techniques. We present a third-order word embedding model and analyse its performance. To understand the true potential of embeddings in meaning representations of the words, we studied the underlying assumption of previous versions of our model developed in other works, and propose here new theoretical results and practical solutions to improve our embeddings.

Rappresentare le parole sotto forma di numeri è sempre stato un obiettivo importante nel Natural Language Processing. In questo lavoro, indaghiamo le capacità di nuove tecniche di embedding. Presentiamo un modello di word embedding di terzo ordine e ne analizziamo le prestazioni. Per comprendere il vero potenziale degli embedding nel codificare il significato delle parole, abbiamo studiato i presupposti alla base delle precedenti versioni del nostro modello (sviluppate in altri lavori) e proponiamo qui nuovi risultati teorici e soluzioni pratiche per migliorare i nostri embedding.