Neue Studie untersucht die Intelligenz von Sprachassistenten
Eine neue Studie über Sprachassistenten hat die Fähigkeit von Amazon Alexa, Google Assistant und Siri getestet, die Fragen der Menschen zu beantworten – und die Ergebnisse sind nicht brillant.
Die Nielsen Norman Group (NNG) hat einen umfangreichen – wenn auch weniger als wissenschaftlichen Test – durchgeführt, bei dem nicht nur die Reaktion, sondern auch die Erwartungen der Benutzer gemessen wurden. Es brachte 17 Teilnehmer aus New York und San Francisco zusammen, die alle erfahrene Benutzer von Sprachassistenten waren, und brachte sie in ein Labor, um eine Reihe von Smart-Speaker-Aufgaben durchzuführen, und befragte sie zu ihren Erwartungen und der Qualität der Ergebnisse.
Während es die Spracheingabe für die Benutzer als gute Erfahrung bewertete und feststellte, dass sich die Unterstützung für Akzente verbesserte, bewertete es die meisten anderen Elemente als „schlecht”. Dazu gehören die Verwendung natürlicher Sprache, die Sprachausgabe von Sprachassistenten und die Möglichkeit, sich darauf einzulassen Benutzerdienste (Kalender, E-Mail, To-Do-Listen) und ziehen nützliche Informationen heraus.
Die Studie ergab, dass die natürliche Sprache eine der größten Barrieren war, da Sprachassistenten regelmäßig durch Sätze mit mehreren Ursachen ins Stolpern gerieten:
„Die Mehrheit der Teilnehmer war der Meinung, dass komplexe, aus mehreren Sätzen bestehende Sätze (wie „Wann sollte ich am Samstag nach Moss Beach aufbrechen, wenn ich Verkehr vermeiden möchte?” oder „Finden Sie den Flugstatus eines Fluges von London nach Vancouver, der um 16:55 Uhr heute”) wurden von den Assistenten wahrscheinlich nicht verstanden”, heißt es in der Studie.
Die richtige Sprache zu finden, war ein Thema der Studie, und die Fähigkeiten von Alexa wurden von den Teilnehmern unter Beschuss genommen. Die Forderung, dass sich die Benutzer den genauen Namen einer bestimmten Fähigkeit merken müssen, war ein Hauptkritikpunkt, und die spezifischen Anforderungen an die Formulierung von Befehlen.
„Die Mehrheit der Alexa-Benutzer wusste nicht, was Skills sind; Einige waren ihnen schon einmal begegnet, hatten ein oder zwei installiert und dann ihre Existenz völlig vergessen.”
Während die NNG-Umfrage alles andere als wissenschaftlich ist und keine wirklich klaren oder aussagekräftigen Schlussfolgerungen hervorbringt, ist es für eine Studie erfrischend, Wert auf die Erwartungen der Benutzer zu legen. Sprachassistenten-Tests bedeuten normalerweise, den Sprechern dieselben Fragen nachzuplappern, aber dies ist besser darauf ausgelegt, eine offene Einschätzung der Herausforderungen zu sein, denen sich Unternehmen wie Amazon, Google und Apple gegenübersehen, um einen echten digitalen Assistenten zu entwickeln.