La definizione, l’analisi e la realizzazione di sistemi di monitoraggio interni ai veicoli, in grado di raccogliere dati informativi sullo stato del veicolo e del conducente in modo congiunto, rappresentano un argomento di forte interesse per molti settori sia in ambito produttivo che in ambito medico. Molti fattori esterni quali, ad esempio, il tracciato stradale, il flusso del traffico in cui un conducente si trova in un determinato momento e le condizioni meteorologiche, possono influenzare in modo significativo lo stress correlato alla guida, aumentandone potenzialmente i rischi.
A questo proposito, la diffusione capillare di tecnologie e sistemi orientati al paradigma dell’Internet of Things (IoT) consente di incrementare le possibilità di raccolta di dati eterogenei che, in una certa misura, possono costruire le basi per la caratterizzazione psico-fisiologica del conducente, con l’obiettivo di aumentare il grado di sicurezza e di protezione degli occupanti del veicolo durante la guida. Risulta quindi interessante valutare e discutere la fattibilità e l’utilità di un’infrastruttura minimamente (o completamente non) invasiva per il monitoraggio del conducente orientata all’IoT, che miri a raccogliere parametri fisiologici – quale, ad esempio, la variabilità della frequenza cardiaca (Heart Rate Variability, HRV) – che possano essere adottati come biomarker dello stato psico-fisiologico del conducente in differenti condizioni e scenari di guida.
Internet of Things e intelligenza artificiale, l’unione vincente che cambierà il mondo
Le cause dello stress alla guida
Come noto, l’attività legata alla guida di un veicolo rappresenta una delle principali esperienze che unisce le persone: ogni giorno, durante il viaggio, i conducenti sono esposti ad eventi e situazioni differenti e variegate, che possono avere un impatto sul loro stato psico-fisiologico. Come anticipato, fattori esterni quali la particolare conformazione stradale (es. autostrade vs. strade rurali vs. strade cittadine, ecc.), il tracciato stradale (diritto vs. curve, strada ripida vs. strada in discesa, ecc.), il flusso del traffico (elevato vs. limitato) e le condizioni meteorologiche, possono influenzare ed aumentare lo stress legato alla guida. Come è facilmente intuibile, studi in letteratura hanno confermato come lo stress legato alla guida sia maggiore in aree ad elevato traffico, piuttosto che in aree a bassa congestione [1], osservando inoltre come queste situazioni stressanti possano alterare lo stato psico-fisiologico del guidatore [2].
L’indicatore della variabilità della frequenza cardiaca
Focalizzandosi quindi sugli aspetti psico-fisiologici di una potenziale analisi, l’HRV può rappresentare un buon indicatore, essendo una misurazione indiretta e non invasiva delle variazioni temporali “battito-battito” della frequenza cardiaca. Per questo motivo, l’HRV è stata utilizzata in vari campi di ricerca, tra i quali la psico-fisiologia, la cardiologia e la psichiatria, essendo riconosciuta in maniera sempre maggiore come un biomarker di salute e di stress. Esempi di questo tipo si possono ritrovare analizzando un soggetto sano, il quale sarà idealmente caratterizzato da livelli più elevati di HRV a riposo, che a loro volta sono associati a una migliore flessibilità e adattabilità ai contesti esterni in cui il soggetto si trova ad operare [3]. Altri risultati noti legati all’analisi mediante HRV riportano come un’HRV tonica più bassa sia associabile a stress psico-sociale e carico di lavoro mentale [4], mentre un’HRV più elevata riflette la capacità di un individuo di adattarsi con successo agli stimoli esterni [5].
I sistemi avanzati di assistenza al guidatore
Focalizzando invece l’attenzione su un piano più tecnologico, la definizione e l’analisi di sistemi di monitoraggio all’interno dei veicoli in grado di raccogliere contemporaneamente indici fisiologici e dati utili per determinare lo stato congiunto del sistema conducente-veicolo (nel suo complesso) è un argomento di forte interesse, anche visti i recenti progressi tecnologici che hanno introdotto nuove possibilità rispetto alla guida manuale tradizionale, specialmente per quanto riguarda i sistemi che mirano ad un incremento della guida assistita per mezzo dei c.d. sistemi avanzati di assistenza al guidatore o Advanced Driver Assistance Systems (ADAS) [6]. Esempi di ADAS che equipaggiano i veicoli moderni sono il sistema antibloccaggio dei freni (Antilock Braking System, ABS) [7], il controllo adattivo della velocità di crociera (Adaptive Cruise Control, ACC) [8], il controllo elettronico della stabilità (Electronic Stability Control, ESC) [9], il sistema di avviso di deviazione dalla corsia (Lane Departure Warning System, LDWS) [10], i sistemi di avviso anti-collisione anteriore (Forward Collision Warning, FCW) [11], il sistema di riconoscimento dei segnali stradali (Traffic Sign Recognition, TSR) [12], il sistema per la visione notturna [13], dispositivi di blocco dell’accensione a controllo di alcool [14], e sistemi di prevenzione delle collisioni [15] e di rilevamento della sonnolenza del conducente [16]. È facile intuire, quindi, come tutti questi ADAS mirino a compensare potenziali errori umani, al fine di ridurre le vittime della strada, attivando allarmi o, quando necessario, prendendo il controllo del veicolo stesso.
Sistemi ADAS e stato psico-fisiologico del conducente
Eseguendo però un’analisi più approfondita della questione, si capisce come sia di fondamentale importanza la capacità di interagire con dispositivi eterogenei (per esempio, sensori, attuatori o, più in generale, oggetti intelligenti), combinando diverse tecnologie e protocolli di comunicazione per costruire servizi all’utente finale [17], e quindi come la maggior parte dei sistemi ADAS esistenti ad oggi non tenga conto (nel complesso) degli aspetti legati allo stato psico-fisiologico del conducente. Ciò richiederebbe un monitoraggio ed una stima continua dello stato fisico, emotivo e fisiologico del conducente, una comunicazione efficace delle decisioni prese dagli ADAS al conducente, ovvero un’azione diretta sul veicolo. Sebbene un sistema di monitoraggio con queste caratteristiche sia molto impegnativo da realizzare, un ADAS dotato di informazioni sullo stato psico-fisiologico del guidatore avrebbe la possibilità di attuare azioni maggiormente contestualizzate, prendendo decisioni complesse e compatibili con le possibili reazioni del guidatore. Ne consegue quindi che il riconoscimento dello stato umano e delle sue emozioni sono una sfida ancora aperta per il mondo della ricerca, richiedendo infatti l’utilizzo di dati eterogenei come parametri di ingresso. Un altro aspetto che dovrebbe essere considerato nel campo dei sistemi di monitoraggio interni al veicolo è il grado di intrusività dei sensori impiegati per la raccolta dei parametri fisiologici del guidatore, che idealmente non dovrebbero interferire – o minimizzare il più possibile la loro interferenza – con l’attività di guida.
Per questo motivo, enti di ricerca e industrie innovative stanno lavorando per ingegnerizzare infrastrutture orientate al paradigma dell’IoT – un esempio sarà dettagliato più avanti nell’articolo – per un monitoraggio non invasivo del conducente, con l’obiettivo di raccogliere dati utili per la stima dello stato psico-fisiologico del conducente, al contempo valutando anche l’utilità di possibili biomarker in diversi contesti e scenari di guida.
Il sistema di monitoraggio descritto in questo articolo si basa sui dati raccolti da due tipi di sensori: (i) una fascia toracica sensorizzata indossabile e (ii) una termocamera installata nell’abitacolo. Tale sistema è in fase di sviluppo presso l’Università di Parma nell’ambito del progetto europeo NextPerception [18].
Sistema IoT di monitoraggio in-vehicle
Seguendo quando descritto in precedenza, è possibile definire le caratteristiche di un sistema di monitoraggio, non invasivo e basato su tecnologie IoT, interno a un veicolo. Al fine di raccogliere i dati fisiologici del conducente, è possibile adottare sensori indossabili (c.d. wearable) che sono diventati sempre più diffusi negli ultimi anni. La variabilità di questa tipologia di dispositivi è piuttosto elevata, spaziando da pettorine sensorizzate utilizzate anche in ambito medico (un esempio è il modulo Equivital EQ02LifeMonitor [19]), sino ad oggetti di utilizzo più comune quali smartwatch e braccialetti sensorizzati per lo sport ed il tempo libero. Indipendentemente dal tipo di dispositivo utilizzato, uno dei dati fisiologici di maggiore interesse, come già specificato in precedenza, è la frequenza cardiaca che, rilevata in modo regolare dal sensore, va a comporre il segnale di elettrocardiogramma (ECG).
Considerando invece l’ambiente interno all’abitacolo del veicolo, il sistema di monitoraggio può prevedere la presenza di una telecamera interna, in grado di inquadrare il guidatore e lo spazio a lui circostante. Anche in questo caso la variabilità dei sensori disponibili sul mercato, per funzionalità e prezzo, è estremamente vasta. Una caratteristica interessante potrebbe essere l’utilizzo di una telecamera termica, che viene generalmente utilizzata per rilevare eventuali variazioni di temperatura del guidatore e, tramite tecniche di analisi delle immagini, correlarle al suo stato psico-fisico. Nel caso in cui il veicolo da monitorare non fosse già dotato di una telecamera a bordo, una soluzione possibile è quella di utilizzare una telecamera aggiuntiva collegabile al sistema interno del veicolo.
I dati relativi all’ECG del conducente del veicolo dovranno essere rilevati con una precisione più alta possibile, in quanto costituiscono la base per le attività successive di analisi dell’HRV. Più nel dettaglio, i segnali ECG sono forme d’onda digitali, che devono essere campionate con una frequenza di almeno 250 Hz (ossia devono essere acquisite dal sensore almeno 250 volte al secondo). In questo modo, è possibile eseguire un’elaborazione dei dati per ottenere il valore di HRV – come anticipato in precedenza, definito come la variazione di tempo tra due battiti consecutivi – a partire dal quale sarà possibile compiere ulteriori analisi sia nel dominio del tempo, che nel dominio delle frequenze.
I parametri nel dominio del tempo sono calcolati con un approccio di tipo matematico, per misurare il grado di variabilità in uno specifico intervallo di tempo all’interno di un segnale ECG continuo. Gli indici che si possono calcolare possono essere di vario tipo, fra cui ricordiamo, a titolo esemplificativo: il Root Mean Square of Successive Difference between adjacent R-R intervals (RMSSD), la Standard Deviation of the R-R intervals (SDNN), e la Percentage of successive RR interval differences exceeding 50 ms (pNN50). I parametri calcolabili nel dominio delle frequenze, invece, richiedono il filtraggio del segnale ECG in bande differenti. Più nel dettaglio, vengono generalmente identificate 3 bande principali: (i) Very Low Frequency (VLF), (ii) Low Frequency (LF), e (iii) High Frequency (HF). I dati sensoriali qui descritti dovranno essere inviati ad un ulteriore componente installato a bordo del veicolo, chiamato gateway, che svolge il ruolo di collettore dei dati IoT, ed esegue i calcoli necessari alle analisi, per rilevare il grado di stress del conducente.
Protocollo applicativo per il recupero dei dati
Al fine di raccogliere informazioni utili sullo stato psico-fisiologico del conducente di un veicolo, in diverse condizioni stradali e di traffico, è necessario eseguire le sessioni di guida per la raccolta dei dati secondo un protocollo operativo ben definito e ripetibile. In ogni sessione devono essere comprese sezioni di guida sia veloce, sia lenta, in modo da poter valutare la risposta del conducente a diversi stimoli esterni, associati di conseguenza a diversi livelli di percezione dello stress. Inoltre, è preferibile che i test siano svolti in un percorso che comprenda sia strade urbane sia periferiche, con diversi gradi di traffico. Una tipica sessione di guida, adatta per il tipo di analisi descritto in precedenza, potrebbe quindi prevedere sia dei momenti di riposo, in cui il conducente venga monitorato in uno stato di quiete come riferimento, sia momenti di guida che, come detto in precedenza, dovrebbero prevedere differenti condizioni di traffico e di stress, per poter comprendere come gli eventi esterni condizionino la guida e la sicurezza del viaggio. In qualsiasi fase, però, tutti i sistemi IoT presenti a bordo del veicolo dovrebbero essere in grado di campionare ad una frequenza rilevante ed utile per la stima dello stato congiunto veicolo-guidatore, quindi rendere disponibili tali dati sia al conducente, sia a soggetti esterni per un’analisi anche più approfondita. La presenza di un gateway a bordo del veicolo rappresenta un approccio molto efficace per l’acquisizione dei dati raccolti dai sistemi IoT utilizzati durante le sessioni di guida. Tale gateway, dotato di intelligenza interna (embedded intelligence) avrà il compito di elaborare gli indicatori necessari al rilevamento del livello di stress. Inoltre, potrebbe essere necessario eseguire in modo preliminare una ripulitura dei segnali, per eliminare eventuali artefatti prima di procedere con ulteriori analisi e visualizzazioni. In tal senso, un esempio potrebbe essere quello di visualizzare, comunicando con il controllore di bordo del veicolo, un messaggio di allerta sul cruscotto, o attivare la riproduzione di un brano musicale rilassante, per aiutare il guidatore a ritornare in uno stato psico-fisico più adatto alla situazione. In prospettiva, questo tipo di monitoraggio potrebbe sicuramente trarre beneficio dall’introduzione di paradigma legati all’intelligenza artificiale (per es., tecniche di machine learning), a cui affidare l’analisi ed una predizione intelligente basata anche sui dati storici campionati in differenti guide.
*Alla stesura dell’articolo hanno partecipato: Luca Davoli, Veronica Mattioli, Sara Gambetta, Laura Belli, Luca Carnevali, Andrea Sgoifo, Riccardo Raheli dell’ Università di Parma, Parma, Italia e Marco Martalò dell’ Università di Cagliari, Cagliari, Italia
Bibliografia
[1] D. Hennessy, D. Wiesenthal, “The Relationship between Traffic Congestion, Driver Stress and Direct versus Indirect Coping Behaviours”, Ergonomics, 1997, vol. 40, no. 3, pp. 348-361. doi:10.1080/001401397188198.
[2] J. Hill, L. Boyle, “Driver stress as influenced by driving maneuvers and roadway conditions”, Transportation Research Part F: Traffic Psychology and Behaviour, 2007, vol. 10, no. 3, pp. 177-186. doi:10.1016/j.trf.2006.09.002.
[3] J. Thayer, A. Hansen, E. Saus-Rose, B. Johnsen, “Heart Rate Variability, Prefrontal Neural Function, and Cognitive Performance: The Neurovisceral Integration Perspective on Self-regulation, Adaptation, and Health”, Annals of Behavioral Medicine, 2009, vol. 37, no. 2, pp. 141-153. doi:10.1007/s12160-009-9101-z.
[4] A. Lischke, R. Jacksteit, A. Mau-Moeller, R. Pahnke, A. Hamm, M. Weippert, “Heart rate variability is associated with psychosocial stress in distinct social domains”, Journal of Psychosomatic Research, 2018, vol. 106, pp. 56-61. doi:10.1016/j.jpsychores.2018.01.005.
[5] A. Riener, A. Ferscha, M. Aly, “Heart on the Road: HRV Analysis for Monitoring a Driver’s Affective State”, Proceedings of the 1st International Conference on Automotive User Interfaces and Interactive Vehicular Applications, 2009. doi:10.1145/1620509.1620529.
[6] A. Ziebinski, R. Cupek, D. Grzechca, L. Chruszczyk, “Review of Advanced Driver Assistance Systems (ADAS)”, AIP Conference Proceedings, 2017, vol. 1906, no. 1. doi:10.1063/1.5012394.
[7] M. Satoh, S. Shiraishi, “Performance of Antilock Brakes with Simplified Control Technique”, SAE International Congress and Exposition, Detroit, USA, 1983. doi:10.4271/830484.
[8] M. Vollrath, S. Schleicher, C. Gelau, “The Influence of Cruise Control and Adaptive Cruise Control on Driving Behaviour – A Driving Simulator Study”, Accident Analysis & Prevention, 2011, vol. 43, no. 3, pp. 1134-1139. doi:10.1016/j.aap.2010.12.023.
[9] https://www.kbb.com/car-advice/electronic-stability-control/
[10] Y. Kortli, M. Marzougui, M. Atri, “Efficient Implementation of a Real-Time Lane Departure Warning System”, 2016 International Image Processing, Applications and Systems (IPAS), 2016. doi:10.1109/IPAS.2016.7880072.
[11] C. Wang, Q. Sun, Z. Li, H. Zhang, R. Fu, “A Forward Collision Warning System based on Self-Learning Algorithm of Driver Characteristics”, Journal of Intelligent & Fuzzy Systems, 2020, vol. 38, no. 2, pp. 1519-1530. doi:10.3233/JIFS-179515.
[12] H. Luo, Y. Yang, B. Tong, F. Wu, B. Fan, “Traffic Sign Recognition Using a Multi-Task Convolutional Neural Network”, IEEE Transactions on Intelligent Transportation Systems, 2018, vol. 19, no. 4, pp. 1100-1111. doi:10.1109/TITS.2017.2714691.
[13] N. Martinelli, R. Seoane, “Automotive Night Vision System”, Thermosense XXI, 1999, vol. 3700. doi:10.1117/12.342304.
[14] https://www.cdc.gov/transportationsafety/impaired_driving/ignition_interlock_states.html
[15] https://www.cars.com/articles/automakers-safety-officials-make-crash-avoidance-systems-standard-by-2022-1420684105016/
[16] C. Jacobé de Naurois, C. Bourdin, A. Stratulat, E. Diaz, J. Vercher, “Detection and Prediction of Driver Drowsiness using Artificial Neural Network Models”, Accident Analysis & Prevention, 2019, vol. 126, pp. 95-104. doi:10.1016/j.aap.2017.11.038.
[17] L. Atzori, A. Iera, G. Morabito, “From “Smart Objects” to “Social Objects”: The Next Evolutionary Step of the Internet of Things”, IEEE Communications Magazine, 2014, vol. 52, no.1, pp. 97-105. doi:10.1109/MCOM.2014.6710070.
[18] “Next generation smart perception sensors and distributed intelligence for proactive human monitoring in health, wellbeing, and automotive systems” (NextPerception), H2020 project no. 876487. See https://www.nextperception.eu/ and https://cordis.europa.eu/project/id/876487.
[19] https://www.equivital.com/products/eq02-lifemonitor
