Sviluppo di uno spider sperimentale per la raccolta di dati statistici sui Web Server attivi.

Web server scanner using a specially designed spider program. The program, after randomly generating IP addreses and sending requests using the HTTP 1.1 protocol, in case of a response the headers sent by the web server are stored and each link inside the body will be scanned; the process is repeted until it reaches an arbitrary amount of visited addresses. The informations collected are then sorted in an excel file, to facilitate the access, and used to make statistical observations about the active web servers.

Il lavoro di tesi ha avuto lo scopo di ricavare delle statistiche sui server Web oggi utilizzati e sulle loro configurazioni. Per ottenere questa statistica è stato sviluppato un client automatizzato (detto anche “spider”) in grado di visitare un elevato numero di server, generando indirizzi IP casuali e cercando di connettersi ai rispettivi server mediante protocollo HTTP 1.1. Quando lo spider ottiene una risposta dal web server ne memorizza tutti gli Header, e poi ricava tutti i link presenti nell Entity-Body; ripetendo questo processo fino ad accumulare un numero ritenuto sufficiente di indirizzi IP. Al termine dell’esecuzione le informazioni ricavate vengono processate e sono qui riportate, insieme alla documentazione dei vari header analizzati, con riflessioni sullo stato della rete e analisi dei risultati ottenuti.