Скрытые голосовые сигналы, которые может прослушивать ваш умный динамик
Если вы когда-нибудь решали взглянуть на свое взаимодействие с голосовым помощником, таким как Alexa или Google Assistant, вы заметите, что можете не только просматривать (и удалять) стенограммы своих команд и вопросов, но и воспроизводить реальный голос. записи.
Странно переслушивать песни, которые вы просили полгода назад. Гораздо больше, чем просто чтение стенограмм. В тот день вы по-настоящему ощутите «себя», может быть, вы просто смеялись со своей семьей, и это проникает в это, или вы звучите скучно из своего черепа.
Прочтите это: Как Amazon, Google и Apple используют данные ваших умных динамиков
Это только начало, по словам Ребекки Кляйнбергер, научного сотрудника группы Opera of the Future в MIT Media Lab. Для своей докторской диссертации она объединяет исследования в области неврологии, физиологии, музыки, голосового обучения и многого другого, чтобы изучить «подсознательные подсказки, которые мы выражаем каждый раз, когда мы говорим», как мы можем сделать людей более осведомленными о своих собственных голосах и создать новый опыт вокруг них. голос.
В течение шести лет исследований наших голосов ее работа включала исследование физических вибраций, производимых нашим телом, и того, как это связано с вибрационной терапией; почему нам не нравится звук собственного голоса; как мы сопоставляем наши мышцы, чтобы производить звуки (наша «вокальная поза»); и как можно использовать глубокое обучение для идентификации говорящего в реальном времени, даже среди людей, говорящих на нескольких языках.
С появлением умных динамиков в наших домах, записывающих наш голос каждый раз, когда мы произносим эти волшебные слова пробуждения, мы подумали, что стоит изучить то, что мы передаем через голос людям и машинам. И Кляйнбергер говорит, что независимо от того, осознаем мы это или нет, «человеческий мозг эволюционировал, чтобы очень хорошо анализировать все эти скрытые элементы голоса. Если их можно обнаружить с помощью машин, это означает, что наш мозг каким-то образом обнаруживает их по голосам других людей. ."
Она предлагает думать об этих бессознательных элементах как о «феромонах голоса, почти акустических феромонах, которые во многом влияют на нас, даже не осознавая этого».
Сигналы, которые посылает ваш голос
с кем ты разговариваешь
Наш голос меняется в зависимости от того, с кем мы разговариваем, и от контекста настолько сильно, что исследователи и их алгоритмы могут определить, разговариваете ли вы с матерью, начальником или другом. Они могут даже определить возраст человека, с которым вы разговариваете.
«Даже когда вы пытаетесь говорить нормально, когда вы разговариваете с маленьким ребенком, ваш голос меняется», — говорит Клейнбергер. «Просодия, музыкальность, которую вы используете в своем голосе, сильно отличаются от того, когда вы говорите со взрослыми».
Твое настроение
Мы знаем, что команды Amazon Alexa уже направляют исследования в области анализа голоса, который может определить, например, когда говорящий спешит и ему срочно нужна информация. Google тоже рассматривает эмоциональный ИИ, который руководствуется настроением пользователя, как часть своего будущего.
И это возможно. В 2014 году группа ученых-компьютерщиков из Мичиганского университета запустила приложение для смартфонов под названием Priori, предназначенное для отслеживания телефонных звонков и выявления ранних признаков изменения настроения у людей, страдающих биполярным расстройством. «Результаты этого пилотного исследования дают нам предварительное доказательство того, что мы можем определять состояния настроения в обычных телефонных звонках, анализируя общие черты и свойства речи, не нарушая конфиденциальность этих разговоров», — сказал руководитель проекта Захи Карам.
Как долго продлятся ваши отношения
Это довольно сумасшедший. В своем выступлении на TED о том, почему нам не нравятся наши собственные голоса, которое я призываю вас посмотреть или послушать, Кляйнбергер отмечает, что машинный анализ разговоров между супружескими парами может быть использован для предсказания того, разведетесь ли вы и когда.
В прошлом году команда из Университета Южной Калифорнии опубликовала исследование, показывающее, что ИИ-анализ высоты тона, вариации тона и интонации в разговорах между 134 парами, принимавшими участие в терапии, имел точность 79,3% при прогнозировании исхода брака, т.е. отношения будут продолжаться. На самом деле это немного выше, чем у экспертов-людей, которые были правы в 75,6% случаев.
Если у вас менструация… или вы беременны
«Я нахожу связь между уровнем гормонов и голосом захватывающей», — говорит Кляйнбергер. «Мы знаем, что это имеет эффект. Мы знаем, что даже наш мозг сознательно обнаруживает это, но мы действительно не в состоянии ясно понять. Это чисто акустическая информация, которая дает нам подсказки об уровне гормонов говорящего. Я думаю, что это может иметь огромные последствия, хорошо это или плохо с точки зрения обнаружения, этики и шпионажа».
Многочисленные исследования Натана Пипитона и Гордона Гэллапа показали, что слушатели могут определить, на каком этапе менструального цикла находится говорящая женщина, попросив участников-мужчин оценить голоса с точки зрения привлекательности. О первом в 2008 году в Университете штата Олбани они написали: «Результаты показали значительное повышение оценок привлекательности голоса, поскольку риск зачатия увеличивался в течение менструального цикла у женщин с естественным циклом».
Кроме того, как говорит Клейнбергер в своем выступлении на TED Talk, однажды голосовые помощники смогут узнать, что вы беременны, раньше, чем вы это сделаете. Опять же, это во многом основано на реальных исследованиях.
Исследования, проведенные в 2012 году в Итальянской больнице Буэнос-Айреса, Аргентина, и в 2008 году в Бейрутском медицинском центре, Ливан, выявили различия между голосами контрольных групп и групп беременных женщин. Бейрутское исследование выявило как сходство, так и некоторые различия: «Не было выявлено существенных различий в частоте голосовых симптомов у беременных женщин по сравнению с контрольной группой. Однако голосовая усталость была более распространена в группе беременных. Что касается акустических параметров, значительное снижение MPT (максимального времени фонации) в срок».
Доктор Алекса услышит вас сейчас
Один человек, с которым вы могли бы поделиться своими повседневными разговорами, — это ваш врач. Оказывается, медицинский метод прослушивания тела практиковался тысячи лет — и он находится в процессе обновления, когда речь идет о голосе.
«Слово аускультация использовалось древними греками, — говорит Клейнбергер. «Это представление о понимании тела по звуку, исходящему от тела. Так что, в основном, когда врач прикладывает стетоскоп, чтобы прослушать ваше сердце, это своего рода аускультация. Использование голоса в качестве инструмента аускультации использовалось при сердечных заболеваниях и болезнь легких в течение длительного времени, прислушиваясь к придыханию голоса пациента. Но теперь мы действительно начинаем делать аускультацию с машинной модуляцией».
Недавнее исследование того, какие болезни мы можем обнаружить по голосу, включало изучение депрессии и болезни Паркинсона. Макс Литтл, математик, а ныне доцент Астонского университета, обнаружил, что, анализируя голоса людей по 30-секундному телефонному звонку, алгоритмы могут улавливать едва уловимые колебания и изменения текстуры. Это звучит естественно для человеческого уха, но Литтл смог использовать их для раннего выявления болезни Паркинсона с точностью около 99%. Клейнбергер объясняет, что человеку, страдающему болезнью Паркинсона, очень трудно поддерживать разговор, поскольку его голос устает и его не так легко контролировать, как у здоровых людей.
Когда дело доходит до депрессии, общепринятое мнение состоит в том, что люди просто говорят медленнее: «На самом деле это сложнее, но это все равно связано с темпом. темп от одного слова к другому и от отдельных слогов в этих словах».
Мы знаем, что амбиции Силиконовой долины в отношении здоровья не знают границ. У Alphabet есть собственное дочернее предприятие Verily Life Sciences, производящее контактные линзы для мониторинга уровня глюкозы и медицинские часы для здоровья. Тем временем у Amazon, по-видимому, есть секретная команда по здоровью и благополучию в подразделении Alexa под соответствующим расплывчатым названием Alexa Domains.
Теоретически постоянно включенный умный домашний помощник, который знает, что мы заболели раньше, чем мы, и может подсказать нам обратиться за медицинской помощью по конкретным причинам, может спасти миллионы жизней.
«Что они могут сделать с домашними устройствами с голосовыми записями, которые могут быть для нас хорошими или плохими? Я не уверен», — говорит Клейнбергер. «Если они помогут нам, скажите: «Может, вам стоит сходить к врачу на обследование» — может быть, это будет хорошо. Если они используют это для прибыли компании, может быть, это немного менее хорошо. Поэтому информирование общественности о потенциале, происходит ли это сегодня или через два, пять или десять лет, я думаю, это очень важно знать. Мы все время говорим о данных, ну, в вашем голосе много данных. Дело не только в том, что вы говорите».
Будущее за мимикрией
Действительно, когда мы говорим о конфиденциальности в умном доме в 2018 году, мы фокусируемся исключительно на содержании этих голосовых записей и расшифровок, их ценности для рекламодателей, как их можно сочетать с другой информацией, которую Amazon, Google и Apple собирают о нас. из таких сервисов, как Google Maps, Gmail, Amazon Prime, iTunes, поиск Google, iOS и Android и т. д. и т. д.
Это добавляет к растущему общественному подозрению, что все из Facebook, Instagram, Amazon подслушивают наши разговоры через микрофоны смартфонов (данные технологические компании отрицают это) и патенты, иллюстрирующие, что у Amazon есть проекты для всех наших разговоров, а не только тех, которые начинаются с пробуждающее слово.
Другая половина головоломки, когда дело доходит до голосовых помощников, говорит Кляйнбергер, — это голоса Alexa, Assistant и Siri. Мы знаем, что технологические компании выбирают дружелюбные, в основном женские голоса, которые «не слишком высокие, но и не слишком низкие» и «не слишком доминирующие». Прямо сейчас мы не разговариваем с ними, как с другими людьми — у меня есть очень специфический «инструктирующий голос», который я использую для Alexa и Google Assistant. Он немного громче, немного строже, граничащий с покровительственным, и я обычно смотрю на умный динамик или устройство, когда говорю, чтобы убедиться, что он его поймал.
«Большинство исследований и большая часть населения показывают, что мы используем другой голос, когда разговариваем с машиной», — говорит она. «Я не проводил исследований по этому поводу, и это не доказано, но я подозреваю, что это ближе к тому, как грубый, снобист разговаривает с официантом в ресторане. Будет ли интерес для компаний идти дальше и пройти через зловещую долину? «Это что-то вроде теста Тьюринга с точки зрения текстуры голоса. Что нужно для создания отвечающего голоса, которого достаточно, чтобы заставить нас рассматривать эту технологию как человеческую?»
Начиная с речи, управляемой детьми, затем речью роботов и машин, эта область исследований растет: недавно Кляйнбергер проводил время в зоопарке Сан-Диего, изучая речь животных и межвидовую речь. Но, по ее словам, неясно, как голосовой помощник, который звучит гораздо больше как человек и может анализировать наши эмоции в реальном времени с помощью нашего голоса, принесет пользу… людям.
«Это происходит в направлении мимикрии. Как люди, мы все время бессознательно имитируем вокальные параметры других людей. Акценты и заикание заразительны. Хорошо это или плохо, если машины начнут это делать?
«Я думаю, что очень скоро технология пойдет в этом направлении. Если люди знают, что это происходит, это не должно быть чем-то плохим. расстроена, машина обнаруживает это и вместо того, чтобы сказать «о, ты кажешься расстроенной», если машина начинает говорить в том же вокальном режиме, что и ты, поможет это или нет? сложный вопрос, но интересный».
В конце концов, все сводится к балансу сил между вами и многомиллионной компанией, разработавшей голосового помощника, с которым вы разговариваете. Они знают силу сигналов, которые посылают наши голоса, поэтому, чем больше мы знаем о том, что люди и машины могут улавливать по нашим голосам и транслировать по своим, тем лучше.