L’incomprensione spesso deriva da fraintendimenti nella comunicazione verbale. Questo causa l’incapacità di capire le necessità e le esigenze di un’altra persona.
Metamorfosi è un’applicazione che offre agli utenti con disabilità cognitive la possibilità di visualizzare in maniera simultanea e in realtà aumentata ciò che viene pronunciato attraverso testo e icone.
Metamorfosi ha come obiettivo quello di coinvolgere questi individui nella società, creando opportunità di comunicazione.
Illustrazione evocativa. Incomprensioni, Arcangela Dicesare, 2020.
#comunicare #parole #icone #emozioni #inclusione
Concept
Considerando che le tecnologie si stanno infiltrando in tutti gli aspetti della vita quotidiana, e che queste vengono ormai utilizzate da una moltitudine di utenti con caratteristiche, esigenze e requisiti diversi, è nato l’interesse per la realizzazione di Metamorfosi: un’applicazione di tecnologia assistiva che utilizza la comunicazione aumentata alternativa per creare delle “mappe illustrate” utili alla comprensione del linguaggio.
Metamorfosi sfrutta strumenti alla portata di tutti, come la fotocamera e il microfono del dispositivo, per mostrare in realtà aumentata la comunicazione verbale, attraverso la traduzione simultanea in testo e icone. Gli utenti hanno la possibilità di interagire con le immagini, di spostarle, selezionarle, sottolinearle e di realizzare un’istantanea, col fine di creare delle composizioni personali e più facilmente memorizzabili anche in un secondo momento.
L’approccio utilizzato è di tipo for all, con il quale si vuole rendere la sottotitolazione e le mind map degli strumenti utili a colmare le difficoltà cognitive legate alla comprensione dei suoni.
Da sinistra verso destra:
[1] Esempio di comunicazione aumentata alternativa.
[2] Smartphone come tecnologia di assistenza per la disabilità visiva.
[3] Forma Fluens, Mauro Martino, 2019, mazzo di carte fisico e sito web. Forma Fluens Website
[4] Cards for Humanity, Idean, 2020, sito web. Cards for Humanity Website
[5] Found In Translation, TheGreenEyl, 2021, Tokyo, installazione. Found In Translation Website
[6] Sherlock, creata da Steven Moffat e Mark Gatiss, 2010, serie tv.
Prototipi
La realizzazione dei prototipi mi ha permesso di valutare possibili tecnologie che mirano a tradurre il linguaggio verbale in testo e immagini visive.
In primo luogo, ho deciso di utilizzare la libreria p5.js per l’agevolazione e l’accessibilità del codice, e la sua estensione p5.speech per la registrazione e la trascrizione in testo di quello che viene pronunciato.
Nella prima fase è stato realizzato un algoritmo che utilizza l’API di Dandelion per la Sentiment Analysis e la Entity Extraction, e che interroga Unsplash o GIPHY per la richiesta di immagini o GIF animate associate alle entità.
Successivamente è stata sostituita la Sentiment Analysis di Dandelion con l’algoritmo di ml5 Face-API per il riconoscimento del volto (e quindi il posizionamento nello spazio delle immagini) e l’analisi delle emozioni (visibile tramite il colore del testo e gli istogrammi indicanti la percentuale dello stato d’animo analizzato), ed è stata aggiunta un’interfaccia GUI per la personalizzazione dei colori.
Infine, tramite node.js con il framework Express.js, è stato possibile fare richieste in locale in lingua inglese, per ricevere icone da Noun Project, in sostituzione delle immagini non facilmente accessibili per le persone con delle disabilità. Personalizzabili anche queste, tramite un’interfaccia GUI.
Prototipo di Metamorfosi usando Unsplash.
Prototipo di Metamorfosi usando GIPHY.
Limiti progettuali come “opportunità”
Una delle opportunità riscontrate nella prototipazione, ad esempio, è stata quella legata all’utilizzo di Dandelion: pur avendo un numero limitato di richieste (l’inserimento di bottoni è dovuto proprio all’intento di limitare l’invio eccessivo), ne permette numerose.
Un’altra è stata quella della sperimentazione con l’algoritmo deprecato della Emotion Recognition di Face-API, che mi ha permesso di “valutare” il sentimento umano. Le cause della sua rimozione sono relative a questioni etiche legate sia al colore della pelle, che all’ipotizzare e prevedere possibili azioni delle persone (per il possibile controllo della popolazione).
Considerando che la comunicazione è composta anche dal meta linguaggio, ovvero quello che informa come il contenuto deve essere interpretato (dato dai gesti, dal movimento del corpo, dal tono di voce), è stato interessante implementare inizialmente la funzionalità che reagisce al sentimento della frase, e successivamente alle espressioni del volto, visualizzandola con la variazione del colore del testo trascritto. La percezione del colore, infatti, influenza il comportamento umano e ciò potrebbe essere utile come strumento per una comprensione maggiore.
Prototipo di Metamorfosi.
Metamorfosi | Sviluppi futuri
Durante le sperimentazioni effettuate sono state riscontrate delle criticità, come ad esempio quella dell’impiego di diversi algoritmi che non hanno permesso una prototipazione in cui il video e l’applicazione fossero veloci e fluidi (visibile principalmente nel rallentamento della telecamera in alcuni computer e della risposta dei JSON da Dandelion). Sarebbe quindi opportuno riprodurre Metamorfosi fuori dall’editor di p5.js, in modo da rendere più precisa e affidabile la face detection.
Metamorfosi risulterebbe uno strumento utilizzabile in qualsiasi istante in cui si necessita di tradurre istantaneamente in simboli ciò che viene detto verbalmente. Ragion per cui, si potrebbe pensare all’utilizzo nel campo delle videochiamate. Oggi questo strumento è entrato nella quotidianità di tutti e molto spesso ci accorgiamo di possibili fraintendimenti generati soprattutto dall’assenza di fisicità nella comunicazione.
Prototipo di Metamorfosi da eseguire in locale.
Progetto realizzato per il corso di Design dei Sistemi tenuto dal prof. Daniele Tabellini all'Università di Design della Repubblica di San Marino. Durante il laboratorio abbiamo ideato, sviluppato e raccontato il nostro progetto open source.
Il brief di progetto è stato "rendere visibile l’invisibile". Ognuno di noi ha risposto con le proprie inclinazioni e aspirazioni.
Tutti i materiali sono condivisi con licenza MIT aperta nella repository Github del corso.
.
Thanks for scrolling!
