De dolda röstsignalerna som din smarta högtalare kan lyssna på
Om du någonsin har bestämt dig för att ta en titt på dina interaktioner med en röstassistent som Alexa eller Google Assistant, kommer du att märka att du inte bara kan se (och ta bort) utskrifter av dina kommandon och frågor utan också spela upp den faktiska rösten inspelningar.
Det är en märklig sak att uppleva att lyssna på låtarna du efterfrågade för ett halvår sedan. Mycket mer än att bara läsa utskrifterna. Du får en verklig känsla av "du" den dagen, kanske skrattade du bara med din familj och det blöder in i den eller så låter du uttråkad ur skallen.
Läs det här: Hur Amazon, Google och Apple använder dina smarta högtalardata
Det är bara början, enligt Rébecca Kleinberger, forskningsassistent vid MIT Media Labs Opera of the Future-grupp. För sin doktorsexamen kombinerar hon forskning inom neurologi, fysiologi, musik, röstcoaching med mera för att titta på "de undermedvetna ledtrådarna vi uttrycker varje gång vi pratar", hur vi kan göra människor mer medvetna om sina egna röster och bygga nya upplevelser kring rösten.
Under loppet av sex år med forskning om våra röster har hennes arbete inkluderat forskning om de fysiska vibrationer som våra kroppar producerar och hur det relaterar till vibrationsterapi; varför vi inte gillar ljudet av vår egen röst; hur vi kartlägger våra muskler för att producera ljud (vår "vokala hållning"); och hur djupinlärning kan användas för att identifiera talare i realtid, även för personer som talar flera språk.
Med framväxten av smarta högtalare i våra hem, som spelar in våra röster varje gång vi säger dessa magiska vakna ord, tyckte vi att det var värt att undersöka vad vi förmedlar genom röst till människor och maskiner. Och Kleinberger säger att oavsett om vi inser det eller inte, "den mänskliga hjärnan har utvecklats till att vara extremt bra på att analysera alla dessa dolda element från rösten. Om de är detekterbara via maskiner betyder det att på något sätt vår hjärna upptäcker dem från andra människors röster. ."
Hon föreslår att man tänker på dessa omedvetna element som "röstens feromoner, nästan akustiska feromoner, som påverkar oss på många sätt utan att vi är medvetna om det."
Signalerna din röst sänder ut
Vem du pratar med
Vår röst förändras beroende på vem vi pratar med och sammanhanget, så mycket att forskare och deras algoritmer kan se om du pratar med din mamma, din chef eller din vän. De kan till och med upptäcka åldern på personen du pratar med.
"Även när du försöker prata normalt, när du pratar med ett litet barn, förändras din röst", säger Kleinberger. "Prosodin, musikaliteten som du använder i din röst är väldigt annorlunda än när du pratar med vuxna."
Ditt humör
Vi vet att Amazons Alexa-team redan inriktar forskning på röstanalys som kan upptäcka till exempel när personen som talar har bråttom och behöver information snabbt. Även Google tittar på känslomässig AI som styrs av användarens humör som en del av sin framtid.
Och det är möjligt. 2014 lanserade ett team av datavetare vid University of Michigan en smartphone-app som heter Priori som var designad för att övervaka telefonsamtal för att upptäcka tidiga tecken på humörförändringar hos personer som lider av bipolär sjukdom. "Dessa pilotstudieresultat ger oss preliminära bevis på konceptet att vi kan upptäcka humörtillstånd i vanliga telefonsamtal genom att analysera breda egenskaper och egenskaper hos tal, utan att kränka integriteten för dessa samtal", sa projektledaren Zahi Karam.
Hur länge ert förhållande kommer att vara
Den här är ganska galen. I hennes TED Talk om varför vi inte gillar våra egna röster, som jag uppmanar dig att titta på eller lyssna på, påpekar Kleinberger att maskinanalys av samtal mellan gifta par kan användas för att förutsäga om och när du kommer att skiljas.
Förra året publicerade ett team vid University of Southern California en studie som visade att AI-analys av tonhöjd, variation av tonhöjd och intonation i samtal mellan 134 par som deltog i terapi hade 79,3 % noggrannhet när det gällde att förutsäga de äktenskapliga resultaten, dvs. förhållandet skulle hålla. Det är faktiskt något högre än mänskliga experter som hade rätt 75,6 % av gångerna.
Om du har mens… eller gravid
"Jag tycker att kopplingen mellan hormonnivåer och rösten är fascinerande", säger Kleinberger. "Vi vet att det har en effekt. Vi vet att även våra hjärnor medvetet upptäcker det utan att vi riktigt kan förstå klart. Det är rent akustisk information som ger oss ledtrådar om talarens hormonnivå. Jag tror att detta kan få enorma konsekvenser, vi vet att det har en effekt. bra eller dåligt när det gäller upptäckt, etik och spionage."
Flera studier av Nathan Pipitone och Gordon Gallup har visat att lyssnare kan upptäcka var en kvinnlig talare befinner sig i sin menstruationscykel genom att be manliga deltagare att betygsätta röster i termer av attraktivitet. Av de första 2008 vid Albany State University skrev de: "Resultaten visade en signifikant ökning av röstattraktionsvärden eftersom risken för befruktning ökade under menstruationscykeln hos kvinnor som cyklar naturligt."
Sedan är det faktum, som Kleinberger säger i sitt TED Talk, att röstassistenter en dag kunde veta att du är gravid innan du gör det. Återigen är detta mycket baserat på verklig forskning.
Studier 2012 vid Hospital Italiano de Buenos Aires, Argentina och 2008 vid Beirut Medical Center, Libanon fann skillnader mellan rösterna hos kontrollgrupper och grupper av gravida kvinnor. Beirut-studien fann både likheter och vissa skillnader: "Det fanns inga signifikanta skillnader i förekomsten av röstsymtom hos gravida kvinnor jämfört med kontroller. Däremot var rösttrötthet mer utbredd i den gravida gruppen. När det gäller de akustiska parametrarna fanns en betydande minskning av MPT (maximal fonationstid) vid termin."
Dr Alexa kommer att höra dig nu
En person som du kanske skulle vilja dela dina dagliga samtal med är din läkare. Det visar sig att den medicinska metoden att lyssna på kroppen har praktiserats i tusentals år – och det är mitt i en uppdatering när det kommer till rösten.
"Ordet auskultation användes av de gamla grekerna", säger Kleinberger. "Det är denna uppfattning om att förstå kroppen genom ljudet som kommer från kroppen. Så i princip när läkaren sätter stetoskopet för att lyssna på ditt hjärta, det är en typ av auskultation. Att använda rösten som ett auskultationsverktyg har använts för hjärtsjukdomar och lungsjukdom under lång tid, lyssna på andningen från patientens röst. Men nu börjar vi verkligen göra maskinmodulerad auskultation."
Nyare forskning om vilka sjukdomar vi kan upptäcka via röst har inkluderat studier av depression och Parkinsons. Max Little, matematiker och nu docent vid Aston University, fann att genom att analysera människors röster från ett 30 sekunders telefonsamtal kunde algoritmer fånga upp subtila turbulenser och förändringar i textur. Dessa låter naturligt för det mänskliga örat men Little kunde använda dem för att upptäcka Parkinsons sjukdom tidigt, med en noggrannhet på cirka 99 %. Kleinberger förklarar att det är mycket svårt för en person som lider av Parkinson att föra en konversation eftersom deras röst blir trött och inte är lika lätt att kontrollera som icke-drabbade.
När det kommer till depression är den konventionella visdomen att människor helt enkelt talar långsammare: "Det är faktiskt mer komplext än så men det har fortfarande att göra med tempot. För det arbete jag har gjort med depression är det intressanta variationen av tempo från ett ord till ett annat, och från enskilda stavelser, i dessa ord."
Vi vet att Silicon Valleys ambitioner när det kommer till hälsa inga gränser. Alphabet har sina egna Verily Life Sciences spin-off-byggande kontaktlinser för glukosövervakning och hälsoklockor av medicinsk kvalitet. Amazon verkar under tiden ha ett hemligt hälso- och välmåendeteam inom sin Alexa-division, under det lämpligt vagt namngivna Alexa Domains.
I teorin kan en alltid-på, omgivande smart hemassistent som vet att vi är sjuka innan vi gör det och kan uppmana oss att söka läkarvård, med särskilda skäl, rädda miljontals liv.
"Med hemenheter, vad kan de göra med röstinspelningarna som kan vara antingen bra eller dåliga för oss? Jag är inte säker", säger Kleinberger. "Om de hjälper oss, säg "du kanske borde gå till en läkare för en kontroll" – det kanske kan vara bra. Om de använder det för företagets vinster, kanske det är något mindre bra. Det är därför du informerar allmänheten om potentialen, om det är vad som händer idag eller två, fem eller tio år, jag tror att det är så viktigt att veta. Vi pratar om data hela tiden, ja man har mycket data i rösten. Det är inte bara vad man säger."
Framtiden är mimik
Faktum är att när vi pratar om integritet i det smarta hemmet 2018 fokuserar vi enbart på innehållet i dessa röstinspelningar och transkriptioner, vad de kan vara värda för annonsörer, hur de kan kombineras med annan information som Amazon, Google och Apple samlar in om oss från tjänster som Google Maps, Gmail, Amazon Prime, iTunes, Google sök, iOS och Android etc etc.
Det läggs till en växande misstanke hos allmänheten att alla från Facebook, Instagram, Amazon lyssnar på våra konversationer via smartphonemikrofoner (teknikföretagen i fråga förnekar det) och patent som visar att Amazon har design på alla våra konversationer, inte bara de som börjar med ett vaket ord.
Den andra halvan av pusslet när det kommer till röstassistenter, säger Kleinberger, är rösterna från Alexa, Assistant och Siri. Vi vet att teknikföretag väljer vänliga, mestadels kvinnliga röster som är "inte för högt men inte för lågt" och "inte för dominerande". Just nu pratar vi inte med dem som vi pratar med andra människor – jag har en mycket specifik "instruerande röst" som jag använder för Alexa och Google Assistant. Det är något högre, något strängare, på gränsen till nedlåtande och jag brukar titta på den smarta högtalaren eller enheten när jag pratar för att kontrollera att den har fångat den.
"Det mesta av forskningen och större delen av befolkningen visar att vi använder en annan röst när vi pratar med maskinen", säger hon. "Jag har inte forskat om detta och det är inte bevisat men jag misstänker att det är närmare hur en oförskämd, snobbig person skulle prata med en servitör på en restaurang. Skulle det finnas ett intresse för företag att gå längre och passera den kusliga dalen? Det är lite av ett Turing-test när det gäller rösttextur. Vad skulle det krävas för att skapa en svarande röst som räcker för att få oss att betrakta den här tekniken som mänsklig?"
Börjar med barnriktat tal, sedan robot- och maskinriktat tal, detta är ett forskningsområde som växer – Kleinberger har nyligen tillbringat tid på San Diego Zoo för att studera tal som riktar sig mot djur och olika arter. Men, säger hon, det är inte klart hur en röstassistent som låter mycket mer som en människa och kan analysera våra känslor i realtid via vår röst, skulle gynna … människor.
"Det går i riktning mot mimik. Som människor gör vi omedveten mimik av andra människors röstparametrar hela tiden. Accenter och stamning smittar av sig. Skulle det vara bra eller dåligt om maskiner börjar göra det?
"Jag tror ganska snart att tekniken kommer att gå i den här riktningen. Om folk är medvetna om att det händer behöver det inte vara en dålig sak. Kanske kommer det att göra en del av den här tekniken lite mindre frustrerande. Om din röst uppenbarligen är upprörd, maskinen upptäcker det och istället för att säga "åh, du låter upprörd", om maskinen börjar tala i samma röstläge som du, kommer det att hjälpa eller inte? Om den går in i ett mer manipulationsläge, är det en knepig fråga men intressant."
I slutändan handlar det om maktbalansen mellan dig och det mångmiljonföretag som har utvecklat röstassistenten du pratar med. De vet kraften i de signaler som våra röster skickar ut så ju mer vi är medvetna om vad människor och maskiner kan upptäcka från våra röster och sända från sina egna, desto bättre.