Приховані голосові сигнали, які може слухати ваша розумна колонка
Якщо ви коли-небудь вирішили поглянути на свою взаємодію з голосовим помічником, таким як Alexa або Google Assistant, ви помітите, що ви можете не лише переглядати (і видаляти) розшифровки своїх команд і запитань, але й відтворювати справжній голос записи.
Дивно відчувати це, слухаючи пісні, які ви запитували півроку тому. Набагато більше, ніж просто читати стенограми. Того дня ви відчуваєте справжнє «ви», можливо, ви просто сміялися зі своєю сім'єю, і це проливається кров’ю, або ви звучите нудьгуючим.
Прочитайте це: як Amazon, Google і Apple використовують дані ваших розумних колонок
За словами Ребекки Кляйнбергер, наукового співробітника групи «Опера майбутнього» медіа-лабораторії MIT, це лише початок. Для свого доктора філософії вона поєднує дослідження в неврології, фізіології, музиці, голосовому коучингу тощо, щоб дослідити «підсвідомі підказки, які ми висловлюємо щоразу, коли розмовляємо», як ми можемо зробити так, щоб люди краще усвідомлювали свій власний голос і створювали новий досвід навколо голос.
Протягом шести років дослідження наших голосів її робота включала дослідження фізичних вібрацій, які виробляє наше тіло, і їхнього відношення до вібраційної терапії; чому нам не подобається звучання власного голосу; як ми налаштовуємо наші м’язи на звуки (наша «голосова поза»); і як глибоке навчання можна використовувати для ідентифікації мовців у реальному часі, навіть серед людей, які розмовляють кількома мовами.
З появою розумних динаміків у наших домівках, які записують наш голос щоразу, коли ми вимовляємо ці чарівні пробуджувальні слова, ми подумали, що варто вивчити те, що ми передаємо голосом людям і машинам. І Клайнбергер каже, що незалежно від того, усвідомлюємо ми це чи ні, «людський мозок розвинувся так, що вміє надзвичайно добре аналізувати всі ці приховані елементи голосу. Якщо їх можна виявити за допомогою машин, це означає, що якимось чином наш мозок виявляє їх із голосів інших людей. ."
Вона пропонує думати про ці несвідомі елементи як про «феромони голосу, майже акустичні феромони, які впливають на нас різними способами, навіть не знаючи про це».
Сигнали, які надсилає ваш голос
з ким ти розмовляєш
Наш голос змінюється залежно від того, з ким ми розмовляємо, і контексту настільки, що дослідники та їхні алгоритми можуть визначити, чи розмовляєте ви з матір’ю, босом чи другом. Вони можуть навіть визначити вік людини, з якою ви розмовляєте.
"Навіть коли ви намагаєтеся говорити нормально, коли ви говорите з маленькою дитиною, ваш голос змінюється", – каже Клейнбергер. «Просодія, музичність, яку ви використовуєте у своєму голосі, дуже відрізняється від того, коли ви розмовляєте з дорослими».
Ваш настрій
Ми знаємо, що команда Amazon Alexa вже проводить дослідження з аналізу голосу, який може виявити, наприклад, коли людина, що говорить, поспішає та швидко потребує інформації. Google також шукає емоційний ШІ, який керується настроєм користувача, як частину свого майбутнього.
І це можливо. У 2014 році команда комп’ютерних вчених з Мічиганського університету запустила додаток для смартфонів під назвою Priori, який був розроблений для моніторингу телефонних дзвінків для виявлення ранніх ознак зміни настрою у людей, які страждають на біполярний розлад. «Ці результати пілотного дослідження дають нам попередній доказ концепції того, що ми можемо виявляти стани настрою під час звичайних телефонних дзвінків, аналізуючи широкі характеристики та властивості мови, не порушуючи конфіденційності цих розмов», — сказав керівник проекту Захі Карам.
Як довго триватимуть ваші стосунки
Цей дуже божевільний. У своїй розмові на TED про те, чому нам не подобаються наші власні голоси, яку я закликаю вас подивитися або послухати, Кляйнбергер зазначає, що машинний аналіз розмов між подружніми парами можна використовувати, щоб передбачити, чи й коли ви розлучитеся.
Минулого року команда з Університету Південної Каліфорнії опублікувала дослідження, яке показало, що ШІ-аналіз висоти, варіації висоти та інтонації в розмовах між 134 парами, які брали участь у терапії, мав точність 79,3% у прогнозуванні наслідків подружжя, тобто чи ні відносини будуть тривати. Це фактично трохи більше, ніж експерти-люди, які були правильні у 75,6% випадків.
Якщо у вас місячні… або вагітна
"Я вважаю зв'язок між рівнем гормонів і голосом захоплюючим", – каже Кляйнбергер. «Ми знаємо, що це має ефект. Ми знаємо, що навіть наш мозок свідомо виявляє це, але ми не можемо чітко зрозуміти. Це суто акустична інформація, яка дає нам підказки про рівень гормонів мовця. Я думаю, це може мати величезні наслідки, добре чи погано з точки зору виявлення, етики та шпигунства».
Численні дослідження, проведені Натаном Піпітоном і Гордоном Геллапом, показали, що слухачі можуть визначити, де знаходиться співрозмовниця в її менструальному циклі, попросивши учасників-чоловіків оцінити голоси з точки зору привабливості. Про перший у 2008 році в Університеті штату Олбані вони написали: «Результати показали значне підвищення оцінок привабливості голосу, оскільки ризик зачаття підвищувався протягом менструального циклу у жінок, які природно їздять на велосипеді».
Крім того, є факт, як каже Кляйнбергер у своїй розмові на TED, що одного дня голосові помічники можуть знати, що ви вагітні раніше, ніж ви. Знову ж таки, це багато в чому базується на реальних дослідженнях.
Дослідження, проведені в 2012 році в лікарні Italiano de Buenos Aires, Аргентина, і в 2008 році в медичному центрі Бейрута, Ліван, виявили відмінності між голосами контрольних груп і груп вагітних жінок. Дослідження в Бейруті виявило як схожість, так і деякі відмінності: «Не було суттєвих відмінностей у частоті вокальних симптомів у вагітних жінок порівняно з контрольною групою. Проте вокальна втома була більш поширеною в групі вагітних. Що стосується акустичних параметрів, існував значне зниження MPT (максимального часу фонації) у термін».
Доктор Алекса зараз вас почує
Одна людина, з якою ви можете поділитися своїми повсякденними розмовами, це ваш лікар. Виявилося, що медичний метод прослуховування тіла практикувався тисячі років – і він знаходиться в середині оновлення, коли справа стосується голосу.
«Слово «аускультація» використовували стародавні греки, — каже Кляйнбергер. «Це поняття розуміння тіла за звуком, що виходить із тіла. Тож, в основному, коли лікар ставить стетоскоп, щоб прослухати ваше серце, це є різновидом аускультації. Використання голосу як інструменту аускультації використовувалося для хвороб серця та захворювання легенів протягом тривалого часу, прислухаючись до придихання голосу пацієнта. Але зараз ми справді починаємо робити машинно-модульовану аускультацію».
Недавнє дослідження того, які хвороби ми можемо виявити за допомогою голосу, включало дослідження депресії та хвороби Паркінсона. Макс Літтл, математик, а нині доцент Астонського університету, виявив, що, аналізуючи голоси людей під час 30-секундної телефонної розмови, алгоритми можуть вловлювати тонкі турбулентності та зміни текстури. Це звучить природно для людського вуха, але Літтл зміг використати їх для раннього виявлення хвороби Паркінсона з точністю близько 99%. Клейнбергер пояснює, що людині, яка страждає на хворобу Паркінсона, дуже важко підтримувати розмову, оскільки її голос втомлюється і його не так легко контролювати, як у тих, хто не страждає.
Коли справа доходить до депресії, загальноприйнята думка полягає в тому, що люди просто говорять повільніше: «Це насправді складніше, але все одно залежить від темпу. Щодо роботи, яку я провів над депресією, цікавим є варіація темп від одного слова до іншого та від окремих складів у цих словах».
Ми знаємо, що амбіції Кремнієвої долини щодо здоров’я не знають меж. Alphabet має власну дочірню компанію Verily Life Sciences, яка створює контактні лінзи для вимірювання глюкози та медичні годинники. Тим часом Amazon, схоже, має секретну команду здоров’я та здоров’я у своєму підрозділі Alexa під відповідною нечіткою назвою Alexa Domains.
Теоретично, постійно ввімкнений розумний домашній помічник, який дізнається про те, що ми хворі, ще до нас, і може спонукати нас звернутися до лікаря з конкретними причинами, може врятувати мільйони життів.
«З домашніми пристроями, що вони можуть робити із записами голосу, які можуть бути або хорошими, або поганими для нас? Я не впевнений», — каже Клейнбергер. «Якщо вони нам допоможуть, скажіть «може, вам варто піти до лікаря для обстеження» — можливо, це буде добре. Якщо вони використовують це для прибутку компанії, можливо, це буде трохи менш добре. Ось чому інформування громадськості про потенціал, незалежно від того, що відбувається сьогодні, через два, п’ять чи десять років, я вважаю, що це дуже важливо знати. Ми постійно говоримо про дані, добре, у вашому голосі багато даних. Важливо не лише те, що ви говорите».
Майбутнє – це мімікрія
Дійсно, коли ми говоримо про конфіденційність у розумному домі в 2018 році, ми зосереджуємося виключно на вмісті цих голосових записів і розшифровок, на те, яку цінність вони можуть мати для рекламодавців, як їх можна поєднати з іншою інформацією, яку Amazon, Google і Apple збирають про нас. із таких служб, як Google Maps, Gmail, Amazon Prime, iTunes, пошук Google, iOS і Android тощо.
Це доповнює зростаючу громадську підозру, що всі з Facebook, Instagram, Amazon підслуховують наші розмови через мікрофони смартфонів (технічні компанії, про які йде мова), і патенти, які демонструють, що Amazon має проекти для всіх наших розмов, а не лише тих, що починаються з тривожне слово.
Інша половина головоломки, коли справа доходить до голосових помічників, каже Клейнбергер, це голоси Alexa, Assistant і Siri. Ми знаємо, що технологічні компанії обирають доброзичливі, переважно жіночі голоси, які «не надто високі, але й не надто низькі» та «не надто домінуючі». Наразі ми не розмовляємо з ними так, як з іншими людьми – у мене є дуже специфічний «інструктажний голос», який я використовую для Alexa та Google Assistant. Він трохи голосніший, трохи суворіший, на межі зневажливого, і я зазвичай дивлюся на розумний динамік або пристрій, коли розмовляю, щоб перевірити, чи він його вловив.
«Більшість досліджень і більшість населення показують, що ми використовуємо інший голос, коли розмовляємо з машиною», — каже вона. «Я не проводив дослідження з цього приводу, і це не доведено, але я підозрюю, що це ближче до того, як груба, снобістська людина розмовлятиме з офіціантом у ресторані. Чи будуть компанії зацікавлені піти далі та пройти ту дивовижну долину? Це трохи тест Тюрінга з точки зору вокальної текстури. Що знадобиться, щоб створити відповідний голос, якого достатньо, щоб ми могли вважати цю технологію людською?"
Починаючи з мовлення, спрямованого на дітей, потім мовлення роботів і машин, ця область досліджень зростає – Клейнбергер нещодавно проводив час у зоопарку Сан-Дієго, щоб вивчати мовлення тварин і міжвидове мовлення. Але, каже вона, незрозуміло, як голосовий помічник, який звучить більше як людський і може аналізувати наші емоції в реальному часі за допомогою нашого голосу, принесе користь… людям.
«Це йде в напрямку мімікрії. Як люди, ми весь час несвідомо імітуємо вокальні параметри інших людей. Акценти та заїкання заразні. Чи буде це добре чи погано, якщо машини почнуть це робити?
«Я думаю, що досить скоро технології підуть у цьому напрямку. Якщо люди знають, що це відбувається, це не повинно бути погано. Можливо, це зробить деякі з цих технологій трохи менш розчаровуючими. Якщо ваш голос очевидно засмучений, машина це виявляє, і замість того, щоб сказати «о, ти засмучений», якщо машина починає говорити в тому самому голосовому режимі, що й ти, це допоможе чи ні? Якщо вона перейде в режим маніпулювання, це складне, але цікаве запитання».
Зрештою, все зводиться до балансу сил між вами та багатомільйонною компанією, яка розробила голосового помічника, з яким ви розмовляєте. Вони знають потужність сигналів, які надсилає наш голос, тому чим більше ми знаємо про те, що люди й машини можуть виявляти з наших голосів і транслювати зі своїх власних, тим краще.