Ny studie panorerar intelligensen hos röstassistenter
En ny studie av röstassistenter har testat kapaciteten hos Amazon Alexa, Google Assistant och Siri för att hjälpa till att tillfredsställa människors frågor – och resultaten är inte lysande.
Nielsen Norman Group (NNG) har utfört ett omfattande – om än mindre än vetenskapligt test – som mäter inte bara responsen utan även användarnas förväntningar. Den samlade 17 deltagare från New York och San Francisco, som alla var erfarna röstassistentanvändare, och satte dem i ett labb för att utföra ett antal smarta högtalaruppgifter, och intervjuade dem om deras förväntningar och kvaliteten på resultaten.
Även om den bedömde röstinmatning som en bra upplevelse för användarna och noterade att stödet för accenter förbättrades, bedömde den de flesta andra element som "dåliga". Dessa inkluderar att använda naturligt språk, rösten från röstassistenter och möjligheten att utnyttja användarnas tjänster (kalendrar, e-post, att-göra-listor) och dra ut användbar information.
Studien fann att naturligt språk var en av de största barriärerna, med röstassistenter som regelbundet snubblade upp av meningar med flera orsaker:
"Majoriteten av deltagarna ansåg att komplexa meningar med flera klausuler (som "Vilken tid ska jag åka till Moss Beach på lördag om jag vill undvika trafik?" eller "Hitta flygstatus för ett flyg från London till Vancouver som avgår kl. 16:55 idag") var osannolikt att förstås av assistenterna”, står det i studien.
Att få språket rätt var ett tema för studien och Alexas färdigheter hamnade under eld från deltagarna. Att kräva att användare ska komma ihåg det exakta namnet på en given färdighet var en stor kritik, och de specifika kraven för fraseringskommandon.
"Majoriteten av Alexa-användarna visste inte vad färdigheter var; några hade stött på dem tidigare, installerat en eller två och sedan helt glömt bort deras existens.”
Även om NNG-undersökningen är långt ifrån vetenskaplig och egentligen inte genererar några tydliga eller meningsfulla slutsatser, är det uppfriskande för en studie att sätta värde på användarnas förväntningar. Röstassistenttester innebär vanligtvis att man ställer samma frågor på högtalarna, men detta är bättre utformat för att vara en uppriktig bedömning av utmaningarna som Amazon, Google och Apple står inför för att producera en riktig digital assistent.