Analisi teorica e sperimentale di algoritmi di ottimizzazione non vincolata

This thesis aims to analyse and compare the performance of three unconstrained convex optimisation methods: the gradient method, Newton's method and Jacobi's method, applied to quadratic objective functions. The study is based on the implementation of a project in MATLAB, in which tests are performed by varying the size of the problem and the starting point to evaluate the robustness, convergence speed and efficiency of each method under analysis.For three-dimensional functions, graphs are presented showing convergence towards the analytical minimum. For higher-dimensional problems are shown the number of iterations required to achieve convergence, the distribution of error within a maximum iteration limit, and the distribution of iterations that satisfy a minimum accuracy criterion. The results obtained allow us to clearly understand and visualise the validity of these methods by verifying their theoretical correctness. The research aims to explore convex optimisation, a branch of mathematical optimisation with numerous applications in machine learning, finance, risk management, and electronic circuit design.

Questa tesi mira ad analizzare e confrontare le prestazioni di tre metodi di ottimizzazione convessa senza vincoli: il metodo del gradiente, il metodo di Newton e il metodo di Jacobi, applicati a funzioni obiettivo quadratiche. Lo studio è basato sull'implementazione di un progetto in ambiente MATLAB in cui vengono eseguiti test variando la dimensione del problema e del punto iniziale per valutare la robustezza, la velocità di convergenza e l'efficienza di ogni metodo preso in analisi. Per funzioni tridimensionali, vengono presentati grafici che mostrano la convergenza verso il minimo analitico. Per i problemi di dimensione più elevata vengono mostrati il numero di iterazioni necessarie per raggiungere la convergenza, la distribuzione dell'errore entro un limite massimo di iterazioni e la distribuzione delle iterazioni che soddisfano un criterio di accuratezza minimo. Questa analisi permette di mettere evidenziare i punti di forza di ogni metodo sia in maniera quantitativa che qualitativa. I risultati ottenuti permettono di comprendere e visualizzare in maniera chiara la validità di questi metodi andando a verificare la correttezza teorica. La ricerca intende approfondire l'ottimizzazione convessa, branca dell'ottimizzazione matematica con numerose applicazioni nel machine learning, nella finanza e nella gestione del rischio e progettazioni di circuiti elettronici.