Les signaux vocaux cachés que votre haut-parleur intelligent pourrait écouter
Si vous avez déjà décidé de jeter un œil à vos interactions avec un assistant vocal comme Alexa ou Google Assistant, vous remarquerez que vous pouvez non seulement voir (et supprimer) les transcriptions de vos commandes et questions, mais aussi lire la voix réelle. enregistrements.
C'est une expérience étrange à vivre, en écoutant les chansons que vous demandiez il y a six mois. Bien plus que la simple lecture des transcriptions. Vous obtenez un vrai sens de «vous» ce jour-là, peut-être que vous riiez juste avec votre famille et que cela saigne ou vous semblez ennuyé de votre crâne.
Lisez ceci : comment Amazon, Google et Apple utilisent les données de vos haut-parleurs intelligents
Ce n'est que le début, selon Rébecca Kleinberger, assistante de recherche au groupe Opera of the Future du MIT Media Lab. Pour son doctorat, elle combine des recherches en neurologie, physiologie, musique, coaching vocal et plus encore pour examiner "les indices subconscients que nous exprimons chaque fois que nous parlons", comment nous pouvons rendre les gens plus conscients de leur propre voix et construire de nouvelles expériences autour la voix.
Au cours de ses six années de recherche sur nos voix, son travail a inclus des recherches sur les vibrations physiques produites par notre corps et leur lien avec la thérapie vibratoire ; pourquoi nous n'aimons pas le son de notre propre voix; comment nous cartographions nos muscles pour produire des sons (notre «posture vocale ») ; et comment l'apprentissage en profondeur peut être utilisé pour identifier le locuteur en temps réel, même parmi des personnes parlant plusieurs langues.
Avec l'essor des haut- parleurs intelligents dans nos maisons, enregistrant nos voix chaque fois que nous prononçons ces mots de réveil magiques, nous avons pensé qu'il valait la peine d'examiner ce que nous transmettons par la voix aux humains et aux machines. Et Kleinberger dit que, que nous le réalisions ou non, "Le cerveau humain a évolué pour être extrêmement doué pour analyser tous ces éléments cachés de la voix. S'ils sont détectables par des machines, cela signifie que d'une manière ou d'une autre, notre cerveau les détecte à partir des voix des autres. ."
Elle propose de penser à ces éléments inconscients comme «les phéromones de la voix, presque des phéromones acoustiques, qui nous influencent de bien des manières sans que nous en soyons conscients ».
Les signaux que votre voix envoie
À qui tu parles
Notre voix change en fonction de la personne à qui nous parlons et du contexte, à tel point que les chercheurs et leurs algorithmes peuvent dire si vous parlez à votre mère, votre patron ou votre ami. Ils pourraient même détecter l'âge de la personne à qui vous parlez.
"Même lorsque vous essayez de parler normalement, lorsque vous parlez à un jeune enfant, votre voix change", explique Kleinberger. "La prosodie, la musicalité que tu utilises dans ta voix est très différente de quand tu parles à des adultes."
Ton humeur
On sait que les équipes Alexa d'Amazon dirigent déjà des recherches sur l'analyse vocale qui permet de détecter, par exemple, quand la personne qui parle est pressée et a besoin d'informations rapidement. Google se tourne également vers une IA émotionnelle guidée par l'humeur de l'utilisateur dans le cadre de son avenir.
Et c'est possible. En 2014, une équipe d'informaticiens de l'Université du Michigan a lancé une application pour smartphone appelée Priori, conçue pour surveiller les appels téléphoniques afin de détecter les premiers signes de changements d'humeur chez les personnes souffrant de trouble bipolaire. "Ces résultats d'étude pilote nous donnent une preuve préliminaire du concept selon lequel nous pouvons détecter les états d'humeur dans les appels téléphoniques réguliers en analysant les caractéristiques générales et les propriétés de la parole, sans violer la confidentialité de ces conversations", a déclaré le chef de projet Zahi Karam.
Combien de temps durera votre relation
Celui-ci est assez fou. Dans son TED Talk sur pourquoi nous n'aimons pas nos propres voix, que je vous exhorte à regarder ou à écouter, Kleinberger souligne que l'analyse automatique des conversations entre couples mariés peut être utilisée pour prédire si et quand vous allez divorcer.
L'année dernière, une équipe de l'Université de Californie du Sud a publié une étude montrant que l'analyse par IA de la hauteur, de la variation de la hauteur et de l'intonation dans les conversations entre 134 couples, prenant part à une thérapie, avait une précision de 79,3 % pour prédire les résultats conjugaux, c'est-à-dire si oui ou non le relation allait durer. C'est en fait légèrement plus élevé que les experts humains qui avaient raison 75,6% du temps.
Si vous avez vos règles… ou si vous êtes enceinte
"Je trouve le lien entre les niveaux d'hormones et la voix fascinant", déclare Kleinberger. "Nous savons que cela a un effet. Nous savons que même notre cerveau le détecte consciemment sans que nous puissions vraiment comprendre clairement. Ce sont des informations purement acoustiques qui nous donnent des indices sur le niveau hormonal du locuteur. Je pense que cela pourrait avoir des conséquences énormes, bon ou mauvais en termes de détection, d'éthique et d'espionnage."
Plusieurs études menées par Nathan Pipitone et Gordon Gallup ont montré que les auditeurs peuvent détecter où se trouve une locutrice dans son cycle menstruel, en demandant aux participants masculins d'évaluer les voix en termes d'attractivité. Du premier en 2008 à l'Université d'État d'Albany, ils ont écrit: "Les résultats ont montré une augmentation significative des cotes d'attractivité de la voix alors que le risque de conception augmentait tout au long du cycle menstruel chez les femmes naturellement cyclables."
Ensuite, il y a le fait, comme le dit Kleinberger dans son TED Talk, qu'un jour les assistants vocaux pourraient savoir que vous êtes enceinte avant vous. Encore une fois, cela est très basé sur de vraies recherches.
Des études menées en 2012 à l' hôpital Italiano de Buenos Aires, en Argentine et en 2008 au centre médical de Beyrouth, au Liban, ont révélé des différences entre les voix des groupes témoins et des groupes de femmes enceintes. L'étude de Beyrouth a trouvé à la fois des similitudes et quelques différences : "Il n'y avait pas de différences significatives dans l'incidence des symptômes vocaux chez les femmes enceintes par rapport aux témoins. Cependant, la fatigue vocale était plus répandue dans le groupe des femmes enceintes. En ce qui concerne les paramètres acoustiques, il y avait une diminution significative du MPT (temps de phonation maximum) à terme."
Le Dr Alexa va vous entendre maintenant
Une personne avec qui vous aimeriez peut-être partager vos conversations quotidiennes est votre médecin. Il s'avère que la méthode médicale d'écoute du corps est pratiquée depuis des milliers d'années – et qu'elle est au milieu d'une mise à jour en ce qui concerne la voix.
"Le mot auscultation était utilisé par les anciens Grecs", explique Kleinberger. "C'est cette notion de comprendre le corps par le son provenant du corps. Donc, fondamentalement, lorsque le médecin met le stéthoscope pour écouter votre cœur, c'est un type d'auscultation. L'utilisation de la voix comme outil d'auscultation a été utilisée pour les maladies cardiaques et maladie pulmonaire depuis longtemps, en écoutant le souffle de la voix du patient. Mais maintenant, nous commençons vraiment à faire de l'auscultation modulée par machine.
Des recherches récentes sur les maladies que nous pouvons détecter par la voix ont inclus des études sur la dépression et la maladie de Parkinson. Max Little, mathématicien et maintenant professeur agrégé à l'Université d'Aston, a découvert qu'en analysant les voix des gens à partir d'un appel téléphonique de 30 secondes, les algorithmes pouvaient capter des turbulences subtiles et des changements de texture. Ceux-ci semblent naturels à l'oreille humaine, mais Little a pu les utiliser pour détecter la maladie de Parkinson très tôt, avec des taux de précision d'environ 99 %. Kleinberger explique qu'il est très difficile pour une personne atteinte de la maladie de Parkinson de tenir une conversation car sa voix se fatigue et n'est pas aussi facilement contrôlable que les non-malades.
Lorsqu'il s'agit de dépression, la sagesse conventionnelle veut que les gens parlent simplement plus lentement : « C'est en fait plus complexe que cela, mais cela a toujours à voir avec le tempo. Pour le travail que j'ai fait sur la dépression, ce qui est intéressant, c'est la variation de tempo d'un mot à l'autre, et des syllabes individuelles, dans ces mots."
Nous savons que les ambitions de la Silicon Valley en matière de santé ne connaissent pas de limites. Alphabet a sa propre spin-off Verily Life Sciences qui fabrique des lentilles de contact de surveillance de la glycémie et des montres de santé de qualité médicale. Pendant ce temps, Amazon semble avoir une équipe secrète de santé et de bien-être au sein de sa division Alexa, sous les domaines Alexa convenablement nommés vaguement.
En théorie, un assistant domestique intelligent ambiant toujours allumé qui sait que nous sommes malades avant nous et peut nous inciter à consulter un médecin, avec des raisons spécifiques, pourrait sauver des millions de vies.
"Avec les appareils domestiques, que peuvent-ils faire des enregistrements vocaux qui pourraient être bons ou mauvais pour nous ? Je ne suis pas sûr", déclare Kleinberger. "S'ils nous aident, dites" peut-être que vous devriez aller voir un médecin pour un contrôle "- peut-être que ça pourrait être bien. S'ils l'utilisent pour les bénéfices de l'entreprise, c'est peut-être un peu moins bien. C'est pourquoi informer le public du potentiel, que ce soit ce qui se passe aujourd'hui ou dans deux, cinq ou dix ans, je pense que c'est tellement important de savoir. Nous parlons tout le temps de données, eh bien, vous avez beaucoup de données dans votre voix. Ce n'est pas seulement ce que vous dites.
L'avenir est le mimétisme
En effet, lorsque nous parlons de confidentialité dans la maison intelligente en 2018, nous nous concentrons uniquement sur le contenu de ces enregistrements et transcriptions vocaux, ce qu'ils pourraient valoir pour les annonceurs, comment ils peuvent être combinés avec d'autres informations qu'Amazon, Google et Apple collectent à notre sujet. à partir de services tels que Google Maps, Gmail, Amazon Prime, iTunes, recherche Google, iOS et Android, etc.
Cela s'ajoute à une suspicion croissante du public selon laquelle tout le monde de Facebook, Instagram, Amazon écoute nos conversations via des microphones de smartphone (les entreprises technologiques en question le nient) et des brevets illustrant qu'Amazon a des conceptions sur toutes nos conversations, pas seulement celles commençant par un mot de réveil.
L'autre moitié du puzzle en ce qui concerne les assistants vocaux, dit Kleinberger, ce sont les voix d'Alexa, d'Assistant et de Siri. Nous savons que les entreprises technologiques choisissent des voix amicales, principalement féminines, qui ne sont "pas trop aiguës mais pas trop graves" et "pas trop dominantes". Pour le moment, nous ne leur parlons pas comme nous parlons à d'autres humains – j'ai une "voix d'instruction" très spécifique que j'utilise pour Alexa et Google Assistant. C'est légèrement plus fort, légèrement plus sévère, à la limite de la condescendance et je regarde généralement le haut-parleur ou l'appareil intelligent lorsque je parle pour vérifier qu'il l'a attrapé.
"La plupart des recherches et la plupart de la population montrent que nous utilisons une voix différente lorsque nous parlons à la machine", dit-elle. "Je n'ai pas fait de recherche à ce sujet et ce n'est pas prouvé, mais je soupçonne que c'est plus proche de la façon dont une personne grossière et snob parlerait à un serveur dans un restaurant. Y aurait-il un intérêt pour les entreprises à aller plus loin et à passer l'étrange vallée " C'est un peu un test de Turing en termes de texture vocale. Que faudrait-il pour créer une voix qui réponde qui soit suffisante pour nous faire considérer cette technologie comme humaine ?"
Commençant par la parole dirigée par l'enfant, puis la parole dirigée par le robot et la machine, c'est un domaine de recherche qui se développe – Kleinberger a récemment passé du temps au zoo de San Diego pour étudier la parole dirigée par les animaux et inter-espèces. Mais, dit-elle, on ne sait pas comment un assistant vocal qui ressemble beaucoup plus à un humain et pourrait analyser nos émotions en temps réel via notre voix, profiterait… aux humains.
"Cela va dans le sens du mimétisme. En tant qu'êtres humains, nous imitons tout le temps les paramètres vocaux des autres. Les accents et le bégaiement sont contagieux. Serait-ce une bonne ou une mauvaise chose si les machines commençaient à faire ça ?"
"Je pense que la technologie va bientôt aller dans cette direction. Si les gens sont conscients que cela se produit, cela ne doit pas être une mauvaise chose. Peut-être que cela rendra une partie de cette technologie un peu moins frustrante. Si votre voix est manifestement bouleversé, la machine le détecte et au lieu de dire "oh, tu as l'air bouleversé", si la machine commence à parler dans le même mode vocal que toi, est-ce que ça va aider ou pas ? S'il passe plus en mode manipulation, c'est une question délicate mais intéressante."
En fin de compte, tout dépend de l'équilibre des pouvoirs entre vous et l'entreprise de plusieurs millions de dollars qui a développé l'assistant vocal auquel vous parlez. Ils connaissent la puissance des signaux que nos voix envoient, donc plus nous sommes conscients de ce que les humains et les machines peuvent détecter à partir de nos voix et diffuser à partir de la leur, mieux c'est.