Automazione dei Penetration Test tramite agenti basati su LLM: progettazione, sviluppo e problematiche etiche

In the last few years, large language models (LLM), and in particular generative pre-trained transformers (GTP) have gained a lot of attention in the artificial intelligence (AI) field by revolutionizing the entire natural language processing (NLP) subfield. These LLM are employed for a very large number of different tasks, and their abilities in emulating human language make them suited for a lot of different applications. However, alongside their benefits, these models also introduce a lot of concerns. This work analyzes the impact of such models in the cybersecurity field with a particular focus on offensive operations, emerging threats, and ethical considerations linked to the use of these new kinds of instruments in this domain. The project's aim is also to provide a proof of concept (PoC) demonstrating that LLM-based agent are able to perform basic penetration testing against vulnerable machine, with some limitations, proving that even censored and safeguarded models can be used to achieve malicious actions. The intrinsic dual-nature of penetration testing demonstrates how it is difficult to balance the utility of this AI application together with the potential misuse of the same technology to gain unauthorized access to systems. The problem is not the actual capabilities of LLM but the shift between human centered control over this kind of activities to automated reasoning and decision-making with all the related ethical concerns.

Negli ultimi anni, i large language model (LLM), e in particolare i generative pre-trained transformers (GTP) hanno guadagnato molta attenzione nel campo dell'intelligenza artificiale (IA), rivoluzionando l'intero sottocampo del natural language processing (NLP). Questi LLM vengono impiegati per un gran numero di compiti diversi e la loro capacità di emulare il linguaggio umano li rende adatti a numerose applicazioni. Tuttavia, oltre ai vantaggi, questi modelli presentano anche numerose problematiche. Questo lavoro analizza l'impatto di tali modelli nel campo della sicurezza informatica, con particolare attenzione alle operazioni offensive, alle minacce emergenti e alle considerazioni etiche legate all'uso di questo nuovo tipo di strumenti nell'ambito. L'obiettivo del progetto è anche quello di fornire una proof of concept (PoC) che dimostri che gli agenti basati su LLM sono in grado di eseguire penetration test di base su macchine vulnerabili, con alcune limitazioni, dimostrando che anche modelli censurati e protetti possono essere utilizzati per realizzare azioni dannose. La duplice natura intrinseca del penetration testing dimostra quanto sia difficile bilanciare l'utilità di questa applicazione di IA con il potenziale uso improprio della stessa tecnologia per ottenere accessi non autorizzati ai sistemi. Il problema non sono le capacità attuali degli LLM, ma il passaggio dal controllo incentrato sull'uomo su questo tipo di attività al ragionamento e al processo decisionale automatizzati, tenendo conto delle annesse problematiche etiche.