Design and evaluation of ETL architectures in AWS

With the increasing use of IoT devices in many different fields, from sensors in industrial processes to headsets for VR simulations, significant computing power and storage availability are necessary to handle the large amounts of incoming data from these devices. For less developed enterprises, the demand of infrastructures able to operate with such amount of data is a big issue, and cloud computing is the best way to address it. In AWS, one of the main providers of on-demand resources, there are many services dedicated to ETL processing, in order to give users the possibility of picking the best-fitting one for their use case.\\ In our work, we analyze the main services for the creation of ETL architectures offered by AWS and compare them in architectures we created in order to demonstrate how they adapt to different use cases. We then evaluate their performance from a time and operative point of view, to find out which one is the best for a real-time IoT data ingestion. We then illustrate how an architecture is created in a productive process using as study case a project we worked on during our internship period at SCAI ITEC.

Con il crescente utilizzo dei dispositivi IoT in diversi campi, dai sensori nei processi industriali agli headset per le simulazioni VR, sono necessarie una potenza di calcolo e una disponibilità di memoria significative per gestire le grandi quantità di dati in arrivo da questi dispositivi. Per le imprese meno sviluppate, la richiesta di infrastrutture in grado di operare con una tale quantità di dati è un grosso problema, e il cloud computing è il modo migliore per affrontarlo. In AWS, uno dei principali fornitori di risorse on-demand, ci sono molti servizi dedicati all'elaborazione ETL, in modo da dare agli utenti la possibilità di scegliere quello più adatto al loro caso d'uso.\\ Nel nostro studio, analizziamo i principali servizi per la creazione di architetture ETL offerti da AWS e ne confrontiamo il funzionamento in architetture da noi create, per dimostrare come si adattano a diversi casi d'uso. Valutiamo poi le loro prestazioni da un punto di vista temporale e operativo, per scoprire quale sia il migliore per l'ingestione di dati IoT in tempo reale. Illustriamo infine come viene creata un'architettura in un processo produttivo, utilizzando come esempio un progetto a cui abbiamo lavorato durante il nostro periodo di stage nell'azienda SCAI ITEC.