Eating is a multisensory experience: flavour is shaped not only by the chemistry of food, but by the environment in which it is consumed, sound included. Sonic seasoning is the crossmodal effect that exploits this, changing how we perceive taste through what we hear. SoundFood brings it to restaurants with an acoustic table lamp that plays AI-generated music matched to each dish, and uses acoustic beamforming to keep each table's sound from spilling onto the next. Its legacy lamp cannot stream in real time: it only plays 7.1 .wav files pre-rendered on a workstation, with a fixed filter chain. This paper presents lampstream, a C++20 engine that decodes, resamples, filters and interleaves eight channels in real time on edge hardware, delegating the DSP to Fluxion through its C ABI and the output to PipeWire, with control exposed through a REST + WebSocket API. The system meets the 23.2 ms deadline of every audio block and produces no dropouts until the CPU frequency drops below 0.43 GHz, an 8.3x margin over the 3.5 GHz sustained by the development machine; on the Raspberry Pi 5 target, where the same block costs about 1.6 times more cycles, the margin is estimated at approximately 4.5x. This gives a sizing criterion for the target hardware.
Mangiare è un'esperienza multisensoriale: il sapore non è determinato solo dalla chimica del cibo, ma anche dall'ambiente in cui viene consumato, incluso il suono. Il Sonic seasoning è l'effetto crossmodale che sfrutta questo principio, modificando la percezione del gusto attraverso ciò che udiamo. SoundFood lo porta nei ristoranti con una lampada da tavolo acustica che riproduce musica generata dall'AI abbinata a ciascun piatto e utilizza il beamforming acustico per impedire che il suono di un tavolo si propaghi a quello vicino. La sua lampada legacy non è in grado di fare streaming in tempo reale: riproduce solo file .wav 7.1 surround pre-renderizzati su una workstation, con una catena di filtri fissa. Questo articolo presenta lampstream, un motore C++20 che decodifica, ricampiona, filtra e interlaccia otto canali in tempo reale su hardware edge, delegando il DSP a Fluxion attraverso la sua ABI C e l'output a PipeWire, con il controllo esposto tramite un'API REST + WebSocket. Il sistema rispetta la scadenza di 23,2 ms di ogni blocco audio e non produce dropout finché la frequenza della CPU non scende sotto 0,43 GHz, un margine di 8,3 volte rispetto ai 3,5 GHz sostenuti dalla macchina di sviluppo; sul target Raspberry Pi 5, dove lo stesso blocco costa circa 1,6 volte più cicli, il margine è stimato in circa 4,5 volte. Questo fornisce un criterio di dimensionamento per l'hardware target.
Sviluppo e valutazione di tecniche di Acoustic Beamforming per elaborazione audio real-time in ambienti Edge Computing
TOALDO, LIAM
2025/2026
Abstract
Eating is a multisensory experience: flavour is shaped not only by the chemistry of food, but by the environment in which it is consumed, sound included. Sonic seasoning is the crossmodal effect that exploits this, changing how we perceive taste through what we hear. SoundFood brings it to restaurants with an acoustic table lamp that plays AI-generated music matched to each dish, and uses acoustic beamforming to keep each table's sound from spilling onto the next. Its legacy lamp cannot stream in real time: it only plays 7.1 .wav files pre-rendered on a workstation, with a fixed filter chain. This paper presents lampstream, a C++20 engine that decodes, resamples, filters and interleaves eight channels in real time on edge hardware, delegating the DSP to Fluxion through its C ABI and the output to PipeWire, with control exposed through a REST + WebSocket API. The system meets the 23.2 ms deadline of every audio block and produces no dropouts until the CPU frequency drops below 0.43 GHz, an 8.3x margin over the 3.5 GHz sustained by the development machine; on the Raspberry Pi 5 target, where the same block costs about 1.6 times more cycles, the margin is estimated at approximately 4.5x. This gives a sizing criterion for the target hardware.| File | Dimensione | Formato | |
|---|---|---|---|
|
Presentazione_Toaldo_Liam_PDFA.pdf
accesso aperto
Dimensione
1.67 MB
Formato
Adobe PDF
|
1.67 MB | Adobe PDF | Visualizza/Apri |
The text of this website © Università degli studi di Padova. Full Text are published under a non-exclusive license. Metadata are under a CC0 License
https://hdl.handle.net/20.500.12608/114306