Die versteckten Sprachsignale, die Ihr Smart Speaker hören könnte
Wenn Sie sich jemals entschieden haben, Ihre Interaktionen mit einem Sprachassistenten wie Alexa oder Google Assistant zu überprüfen, werden Sie feststellen, dass Sie nicht nur Transkripte Ihrer Befehle und Fragen sehen (und löschen) können, sondern auch die tatsächliche Stimme wiedergeben können Aufnahmen.
Es ist eine seltsame Erfahrung, sich die Songs anzuhören, die Sie vor sechs Monaten angefordert haben. Viel mehr, als nur die Transkripte zu lesen. Du bekommst an diesem Tag ein echtes Gefühl von „dich”, vielleicht hast du nur mit deiner Familie gelacht und das blutet hinein oder du klingst zu Tode gelangweilt.
Lesen Sie hier: So nutzen Amazon, Google und Apple Ihre Smart Speaker-Daten
Das ist nur der Anfang, sagt Rébecca Kleinberger, wissenschaftliche Mitarbeiterin in der Gruppe „Opera of the Future” des MIT Media Lab. Für ihre Doktorarbeit kombiniert sie Forschung in Neurologie, Physiologie, Musik, Sprachcoaching und mehr, um „die unterbewussten Hinweise, die wir bei jedem Gespräch ausdrücken” zu untersuchen, wie wir Menschen ihre eigene Stimme bewusster machen und neue Erfahrungen damit machen können die Stimme.
Im Laufe von sechs Jahren der Erforschung unserer Stimmen umfasste ihre Arbeit die Erforschung der physischen Schwingungen, die unser Körper erzeugt, und wie sich dies auf die Schwingungstherapie auswirkt; warum wir den Klang unserer eigenen Stimme nicht mögen; wie wir unsere Muskeln abbilden, um Klänge zu erzeugen (unsere „Stimmhaltung”); und wie Deep Learning verwendet werden kann, um eine Sprecheridentifikation in Echtzeit durchzuführen, selbst bei Personen, die mehrere Sprachen sprechen.
Mit dem Aufkommen intelligenter Lautsprecher in unseren Häusern, die unsere Stimmen jedes Mal aufzeichnen, wenn wir diese magischen Weckwörter sagen, hielten wir es für sinnvoll, zu untersuchen, was wir Menschen und Maschinen durch Sprache übermitteln. Und Kleinberger sagt, ob wir es realisieren oder nicht: „Das menschliche Gehirn hat sich so entwickelt, dass es extrem gut darin ist, all diese verborgenen Elemente der Stimme zu analysieren. Wenn sie von Maschinen erkannt werden können, bedeutet dies, dass unser Gehirn sie irgendwie anhand der Stimmen anderer Menschen erkennt ."
Sie schlägt vor, diese unbewussten Elemente als „die Pheromone der Stimme, fast akustische Pheromone, die uns in vielerlei Hinsicht beeinflussen, ohne dass wir uns dessen bewusst sind”, zu betrachten.
Die Signale, die Ihre Stimme aussendet
Mit wem du sprichst
Unsere Stimme ändert sich je nach Gesprächspartner und Kontext, so dass Forscher und ihre Algorithmen feststellen können, ob Sie mit Ihrer Mutter, Ihrem Chef oder Ihrem Freund sprechen. Sie könnten sogar das Alter der Person erkennen, mit der Sie sprechen.
"Selbst wenn Sie versuchen, normal zu sprechen, wenn Sie mit einem kleinen Kind sprechen, ändert sich Ihre Stimme", sagt Kleinberger. "Die Prosodie, die Musikalität, die Sie in Ihrer Stimme verwenden, ist ganz anders als wenn Sie mit Erwachsenen sprechen."
Deine Stimmung
Wir wissen, dass die Alexa-Teams von Amazon bereits an der Sprachanalyse forschen, die beispielsweise erkennen kann, wenn die sprechende Person in Eile ist und schnell Informationen benötigt. Auch Google setzt auf emotionale KI, die sich an der Stimmung des Nutzers orientiert, als Teil seiner Zukunft.
Und es ist möglich. Im Jahr 2014 brachte ein Team von Informatikern an der University of Michigan eine Smartphone-App namens Priori auf den Markt, die Telefonanrufe überwachen sollte, um frühe Anzeichen von Stimmungsschwankungen bei Menschen mit bipolarer Störung zu erkennen. „Diese Ergebnisse der Pilotstudie liefern uns einen vorläufigen Beweis für das Konzept, dass wir Stimmungszustände in normalen Telefongesprächen erkennen können, indem wir breite Merkmale und Eigenschaften der Sprache analysieren, ohne die Privatsphäre dieser Gespräche zu verletzen”, sagte Projektleiter Zahi Karam.
Wie lange Ihre Beziehung dauern wird
Das hier ist ziemlich verrückt. In ihrem TED -Vortrag darüber, warum wir unsere eigenen Stimmen nicht mögen, den ich Ihnen dringend ans Herz legen möchte, weist Kleinberger darauf hin, dass die maschinelle Analyse von Gesprächen zwischen Ehepaaren verwendet werden kann, um vorherzusagen, ob und wann Sie sich scheiden lassen.
Letztes Jahr veröffentlichte ein Team an der University of Southern California eine Studie, die zeigte, dass die KI-Analyse von Tonhöhe, Variation der Tonhöhe und Intonation in Gesprächen zwischen 134 Paaren, die an einer Therapie teilnahmen, eine Genauigkeit von 79,3 % bei der Vorhersage der Eheergebnisse hatte, dh ob oder nicht Beziehung würde dauern. Das ist tatsächlich etwas mehr als menschliche Experten, die in 75,6 % der Fälle richtig lagen.
Wenn Sie Ihre Periode haben … oder schwanger sind
„Ich finde den Zusammenhang zwischen Hormonspiegel und Stimme faszinierend”, sagt Kleinberger. „Wir wissen, dass es eine Wirkung hat. Wir wissen, dass sogar unser Gehirn es bewusst wahrnimmt, ohne dass wir es wirklich klar verstehen können. Es sind rein akustische Informationen, die uns Hinweise auf den Hormonspiegel des Sprechers geben. Ich denke, das könnte enorme Konsequenzen haben,” gut oder schlecht in Bezug auf Erkennung, Ethik und Spionage."
Mehrere Studien von Nathan Pipitone und Gordon Gallup haben gezeigt, dass Zuhörer erkennen können, wo sich eine weibliche Sprecherin in ihrem Menstruationszyklus befindet, indem sie männliche Teilnehmer bitten, Stimmen in Bezug auf Attraktivität zu bewerten. Über die erste im Jahr 2008 an der Albany State University schrieben sie: „Die Ergebnisse zeigten einen signifikanten Anstieg der Stimmattraktivitätsbewertungen, da das Risiko einer Empfängnis über den Menstruationszyklus bei Frauen mit natürlichem Zyklus zunahm.”
Hinzu kommt, wie Kleinberger in ihrem TED-Talk sagt, dass Sprachassistenten eines Tages wissen könnten, dass Sie schwanger sind, bevor Sie es wissen. Auch dies basiert sehr stark auf echter Forschung.
Studien im Jahr 2012 am Hospital Italiano de Buenos Aires, Argentinien und 2008 am Beirut Medical Center, Libanon, fanden Unterschiede zwischen den Stimmen von Kontrollgruppen und Gruppen schwangerer Frauen. Die Beiruter Studie fand sowohl Ähnlichkeiten als auch einige Unterschiede: „Es gab keine signifikanten Unterschiede in der Häufigkeit von stimmlichen Symptomen bei schwangeren Frauen gegenüber Kontrollen. Stimmliche Ermüdung war jedoch in der schwangeren Gruppe häufiger. In Bezug auf die akustischen Parameter gab es eine signifikante Abnahme der MPT (maximale Phonationszeit) am Termin."
Dr. Alexa wird Sie jetzt hören
Eine Person, mit der Sie Ihre täglichen Gespräche teilen möchten, ist Ihr Arzt. Es stellt sich heraus, dass die medizinische Methode, auf den Körper zu hören, seit Tausenden von Jahren praktiziert wird – und sie befindet sich mitten in einem Update, wenn es um die Stimme geht.
„Das Wort Auskultation wurde schon von den alten Griechen verwendet”, sagt Kleinberger. „Es ist diese Vorstellung, den Körper durch die Geräusche zu verstehen, die aus dem Körper kommen. Wenn der Arzt also das Stethoskop hält, um auf Ihr Herz zu hören, ist das im Grunde eine Art Auskultation. Die Verwendung der Stimme als Auskultationsinstrument wurde bei Herzerkrankungen und verwendet Lungenkrankheit und lauschten der Hauch der Stimme des Patienten. Aber jetzt fangen wir wirklich an, maschinell modulierte Auskultation zu machen.”
Die jüngste Forschung darüber, welche Krankheiten wir über die Stimme erkennen können, umfasst Studien zu Depressionen und Parkinson. Max Little, ein Mathematiker und jetzt außerordentlicher Professor an der Aston University, fand heraus, dass Algorithmen durch die Analyse der Stimmen von Menschen in einem 30-Sekunden-Telefonat subtile Turbulenzen und Texturänderungen erkennen konnten. Diese klingen für das menschliche Ohr natürlich, aber Little konnte sie verwenden, um die Parkinson-Krankheit frühzeitig zu erkennen, mit einer Genauigkeitsrate von etwa 99 %. Kleinberger erklärt, dass es für eine an Parkinson erkrankte Person sehr schwierig ist, ein Gespräch zu führen, da ihre Stimme ermüdet und nicht so gut kontrollierbar ist wie bei Nicht-Erkrankten.
Wenn es um Depressionen geht, ist die gängige Meinung, dass die Leute einfach langsamer sprechen: „Es ist eigentlich komplexer, aber es hat immer noch mit dem Tempo zu tun. Für die Arbeit, die ich über Depressionen gemacht habe, ist das Interessante die Variation von Tempo von einem Wort zum anderen und von einzelnen Silben, in diesen Wörtern."
Wir wissen, dass die Ambitionen des Silicon Valley in Sachen Gesundheit keine Grenzen kennen. Alphabet hat sein eigenes Spin-off Verily Life Sciences, das Kontaktlinsen zur Glukoseüberwachung und medizinische Gesundheitsuhren herstellt. Amazon scheint inzwischen ein geheimes Gesundheits- und Wellness-Team innerhalb seiner Alexa-Abteilung unter den passend vage benannten Alexa-Domains zu haben.
Theoretisch könnte ein immer eingeschalteter Smart-Home-Assistent, der weiß, dass wir krank sind, bevor wir es tun, und uns aus bestimmten Gründen auffordern kann, einen Arzt aufzusuchen, Millionen von Menschenleben retten.
„Was können Heimgeräte mit den Sprachaufnahmen machen, die gut oder schlecht für uns sein könnten? Ich bin mir nicht sicher”, sagt Kleinberger. „Wenn sie uns helfen, sagen Sie ‚Vielleicht sollten Sie zu einem Arzt gehen und sich untersuchen lassen' – vielleicht könnte das gut sein. Wenn sie es für Unternehmensgewinne verwenden, ist das vielleicht etwas weniger gut. Deshalb informieren Sie die Öffentlichkeit über das Potenzial, Ob das heute oder in zwei, fünf oder zehn Jahren passiert, ich denke, es ist so wichtig zu wissen. Wir sprechen die ganze Zeit über Daten, nun, Sie haben viele Daten in Ihrer Stimme. Es ist nicht nur das, was Sie sagen.
Die Zukunft ist Mimikry
Wenn wir 2018 über Datenschutz im Smart Home sprechen, konzentrieren wir uns ausschließlich auf den Inhalt dieser Sprachaufzeichnungen und Transkripte, was sie für Werbetreibende wert sein könnten und wie sie mit anderen Informationen kombiniert werden können, die Amazon, Google und Apple über uns sammeln von Diensten wie Google Maps, Gmail, Amazon Prime, iTunes, Google-Suche, iOS und Android usw. usw.
Hinzu kommt ein wachsender öffentlicher Verdacht, dass alle von Facebook, Instagram und Amazon unsere Gespräche über Smartphone-Mikrofone (die betreffenden Technologieunternehmen bestreiten es) und Patente abhören, die veranschaulichen, dass Amazon Pläne für alle unsere Gespräche hat, nicht nur für die, die mit beginnen ein Weckwort.
Die andere Hälfte des Puzzles, wenn es um Sprachassistenten geht, sind laut Kleinberger die Stimmen von Alexa, Assistant und Siri. Wir wissen, dass Technologieunternehmen freundliche, meist weibliche Stimmen wählen, die „nicht zu hoch, aber nicht zu tief” und „nicht zu dominant” sind. Im Moment sprechen wir mit ihnen nicht wie mit anderen Menschen – ich habe eine sehr spezifische „Anweisungsstimme”, die ich für Alexa und Google Assistant verwende. Es ist etwas lauter, etwas strenger, grenzt an Bevormundung, und ich schaue normalerweise auf den intelligenten Lautsprecher oder das Gerät, wenn ich spreche, um zu überprüfen, ob es verstanden wurde.
"Die meisten Forschungsergebnisse und der Großteil der Bevölkerung zeigen, dass wir eine andere Stimme verwenden, wenn wir mit der Maschine sprechen", sagt sie. „Ich habe dazu keine Nachforschungen angestellt und es ist nicht bewiesen, aber ich vermute, dass es eher dem entspricht, wie eine unhöfliche, snobistische Person mit einem Kellner in einem Restaurant sprechen würde. Besteht ein Interesse für Unternehmen, weiter zu gehen und das unheimliche Tal zu passieren?? Es ist ein bisschen wie ein Turing-Test in Bezug auf die Stimmtextur. Was wäre nötig, um eine antwortende Stimme zu erzeugen, die ausreicht, um uns diese Technologie als menschlich betrachten zu lassen?”
Beginnend mit kindgerechter Sprache, dann roboter- und maschinengesteuerter Sprache, ist dies ein wachsendes Forschungsgebiet – Kleinberger verbrachte kürzlich Zeit im Zoo von San Diego, um tiergerichtete und artübergreifende Sprache zu untersuchen. Aber, sagt sie, es ist nicht klar, wie ein Sprachassistent, der viel mehr wie ein Mensch klingt und unsere Emotionen in Echtzeit über unsere Stimme analysieren könnte, … Menschen nützen würde.
„Es geht in Richtung Nachahmung. Als Menschen ahmen wir ständig unbewusst die Stimmparameter anderer Menschen nach. Akzente und Stottern sind ansteckend. Wäre das gut oder schlecht, wenn Maschinen damit anfangen würden?
„Ich denke, die Technologie wird ziemlich bald in diese Richtung gehen. Wenn die Leute wissen, dass es passiert, muss es keine schlechte Sache sein. Vielleicht wird es einige dieser Technologien etwas weniger frustrierend machen. Wenn Ihre Stimme offensichtlich ist verärgert, die Maschine erkennt das und anstatt zu sagen „oh, du klingst verärgert", wenn die Maschine anfängt, im gleichen Stimmmodus wie du zu sprechen, wird das helfen oder nicht? Wenn sie eher in einen Manipulationsmodus wechselt, ist es das eine knifflige Frage, aber eine interessante."
Am Ende kommt es auf das Kräfteverhältnis zwischen Ihnen und dem Multi-Millionen-Dollar-Unternehmen an, das den Sprachassistenten entwickelt hat, mit dem Sie sprechen. Sie kennen die Kraft der Signale, die unsere Stimmen aussenden. Je mehr wir also wissen, was Menschen und Maschinen anhand unserer Stimmen erkennen und was sie aussenden, desto besser.