Tänk om din verksamhet systematiskt och blixtsnabbt skulle kunna utläsa själva essensen av många tusen kommentarer som skrivits i samband med undersökningar, på sociala medier, Trustpilot, Glassdoor m.m.? Till på köpet på ett systematiskt sätt – exempelvis varje vecka eller månad – och på tvärs över kommentarer som skrivits på många olika språk. Vad pratar folk om? Har det tillkommit nya ämnen som du behöver göra något åt? Och talar medarbetarna mindre om vissa ämnen efter det att du har dragit igång aktiviteter?
Om du arbetar med undersökningar, känner du säkert igen det här. Du har fått resultaten av den senaste undersökningen tillsammans med ett pärlband av tillhörande kommentarer, som upptagna människor har tagit sig tid att lämna.
Och kommentarerna är värdefulla – de ger liv åt de många KPI-talen. De talar till magkänslan och hjärtat och det är ofta i dem som du hittar orsaken till varför saker går bra eller mindre bra.
Svårt att överblicka kommentarer
Problemet är att det ofta finns tusentals kommentarer, av vilka en del är mycket långa. Det är omöjligt för dig att läsa igenom dem alla – för att inte tala om att hitta själva kärnan och den gemensamma nämnaren i dem. Dessutom är vissa kommentarer kanske skrivna på ett språk du inte förstår.
Historiskt sett har de flesta undersökningar till 99 procent bestått av stängda frågor, där svarspersonen ska svara på en skala från exempelvis 1-10. De öppna kvalitativa frågorna har det kanske bara funnits en av - eller två som mest!
Detta beror på att vi har haft statistiska verktyg för att behandla många kvantitativa data, så att vi har kunnat rapportera KPI:er. Det har inte funnits några tekniker för att hantera många öppna kommentarer.
Fler upptäcker nu värdet av kvalitativa insikter
Hos Ennova ser vi nu en tendens mot att antalet kvalitativa frågor i undersökningar ökar. En del verksamheter vill t.o.m. ha övervägande öppna kommentarsfrågor i sina undersökningar.
Det är i synnerhet två faktorer som bidrar till denna tendens:
- Allt fler inser nödvändigheten av en mer balanserad inblick i kunderna med small/thick-data på ena sidan och big data på den andra
- Vi börjar nu ha några tekniker till vårt förfogande som kan behandla de många kommentarerna med ett acceptabelt resultat
Den första är efterlängtad efter en lång period då big data i princip har varit svaret på alla problem. Erfarenheten har nämligen visat att även om stora datamängder onekligen kan bidra med en uppsjö av nya och spännande insikter, saknar vi ofta inblick i orsakerna. Vi har kunnat svara på vad och hur, men inte haft haft svaren på varför.
Här möter behovet den andra faktorn, vilken är de allt mer välutvecklade teknikerna. De tekniker som nu finns tillgängliga på marknaden, där "Text analytics" inrättas under upphaussade termer som "Machine Learning" och "Artificial intelligence", har kommit långt. Vi som använder och utvecklar teknikerna arbetar dock fortfarande för högtryck för att förbättra och förfina dem.
Några av de element som påverkar kvaliteten i analyserna är:
- Stavfel, humor, ironi, sarkasm och liknande
- Hur frågan är formulerad
- Möjligheten att översätta kommentarerna på maskinell väg
Låt mig utveckla dessa tre punkter lite.
Hantering av stavfel och humor
Kommentarerna innehåller ofta stavfel som gör det svårt för systemen att hantera texterna. Detta kan relativt enkelt lösas med stavningskontroll inom översättning och analys. Däremot är det betydligt svårare att hantera t.ex. ironi, sarkasm och humor. Dessa element skiljer sig ofta åt mellan olika kulturer och länder och kräver en grundläggande förståelse av den specifika kontext som svarspersonen ingår i.
Just därför att den kulturella förförståelsen är en variabel som ligger utanför själva texten, blir det enormt komplext. Tänk bara på hur snabbt kommunikation kan bli otydlig t.ex. i sociala medier, där vi inte kan avläsa mimik och tonfall.
När det gäller att kunna avkoda ironi, sarkasm och humor på maskinell väg, återstår tyvärr mycket arbete.
Kvaliteten på frågan är avgörande
Nästa utmaning är själva formuleringen av den öppna frågan.
Kvaliteten på frågan är avgörande, men kraftigt underskattad. Den utgör hela grundvalen för den analys som du i efterhand gör av alla kommentarer.
De flesta ställer frågor som t.ex. "Om du vill lägga till något kan du skriva det här" eller "Vi ber dig att förklara varför du vill/inte vill rekommendera verksamheten."
Men detta är varken särskilt engagerande och motiverande för en kund att lägga ner tid på.
Hos Ennova har vi experimenterat med andra typer av kvalitativa frågor med ett särskilt fokus på att vässa dem.
Ett exempel som har gett bra respons är: "Om du skulle bli VD för denna verksamhet i morgon, vilka tre saker skulle du göra först?"
Fördelen med denna fråga är att svarspersonen förhåller sig till en konkret situation, även om det naturligtvis är ett tänkt scenario. Detta gör det lättare för svarspersonen att komma på något att skriva. En annan fördel är att frågan inte är reducerad till en uppföljningsfråga, utan att den tvärtom är fristående. På grund av detta upplevs frågan som mer obligatorisk och svarspersonen kommer att vara mer benägen att svara.
Nackdelen är att vi begränsar vad svarspersonen kan kommentera, och därmed går vi miste om vissa typer av kommentarer. Frågan är emellertid fortfarande öppen för många olika kommentarer.
Om du vill arbeta seriöst med kvalitativ analys av kommentarer i undersökningar, är det nödvändigt att du grundligt tänker igenom den fråga du ställer – på samma sätt som du (förhoppningsvis) redan gör med dina skalfrågor.
Kommentarer på olika språk
Nästa utmaning är att låta översätta alla kommentarer till samma språk med en kvalitet så att du kan analysera dem i samlad form.
I Ennova har vi utvecklat ett maskinellt och därmed automatiserat textanalysverktyg i version 1.0. Vi har använt detta verktyg i globala medarbetarundersökningar och vi har även börjat använda det i utvalda kundnöjdhetsprojekt. Vi är i stånd att i genomsnitt klassificera över 75 procent av alla kommentarer i olika teman samt att markera huruvida en kommentar är positivt eller negativt laddad, via en "deep learning"-algoritm. Detta ger möjlighet att fördjupa sig i många tusen kommentarer på åtskilliga språk.
Produkten är under fortlöpande utveckling och vi kommer förmodligen aldrig få ett lika exakt facit, som vi kan få med kvantitativt insamlade KPI:er. Den är en maskinell resurs när det handlar om att se huvudlinjerna. Därmed är det fortfarande mycket givande att själv läsa igenom en massa kommentarer, så att du verkligen kan höra kundens röst. Underskatta inte värdet av detta. Men den maskinella analysen ger ett gediget fundament för att förstå hur de kommentarer du läser igenom passar in i de teman som återkommer i din undersökning. På det viset får du en ovärderlig nyckel till att hitta de skatter som ligger begravda i de många utsagorna.
