Maskinlæring kan gjøre kommentarer til en gullgruve

Forfatter - Søren Smit. Director

Forestill deg at virksomheten din systematisk og lynraskt kunne hente ut essensen fra tusenvis av kommentarer som skrives i forbindelse med undersøkelser, på sosiale medier, Trustpilot, Glassdoor osv.? Gjort på en systematisk måte – slik som ukentlig eller månedlig – og på tvers av kommentarer skrevet på mange forskjellige språk. Hva snakker folk om? Har det kommet noen nye emner du bør gjøre noe med? Snakker folk mindre om bestemte emner etter at du har igangsatt aktiviteter?

 

Du kjenner sikkert til dette dersom du arbeider med undersøkelser. Du har fått resultatene fra den nyeste undersøkelsen med en mengde tilhørende kommentarer, som travle personer har tatt seg tid til å skrive.

Kommentarene er verdifulle – de gir liv til de mange KPIene. De kommer fra magen og hjertet, og det er ofte her du finner årsaken til hvorfor det går bra eller mindre bra.

Vanskelig å få oversikt over kommentarene

Problemet er at det ofte er tusenvis av kommentarer, og noen av dem er svært lange. Du klarer ikke å lese alle sammen, for ikke å snakke om å finne essensen og fellesnevneren fra dem. Kanskje har du også fått kommentarer skrevet på et språk du ikke forstår.

Historisk består de fleste undersøkelser av 99 prosent lukkede spørsmål, hvor respondenten svarer på en skala fra for eksempel 1 til 10. De åpne kvalitative spørsmålene har det kanskje vært ett av – høyst to.

Det skyldes at vi har hatt de statistiske verktøyene til å behandle de mange kvantitative dataene, slik at vi har kunnet rapportere KPIer. Teknikker for å håndtere mange åpne kommentarer har vært fraværende.

Flere oppdager verdien med kvalitativ innsikt

Hos Ennova ser vi nå en tendens med stadig flere kvalitative spørsmål i undersøkelsene. Noen virksomheter ønsker nettopp flest mulig åpne kommentar spørsmål i undersøkelsene sine.

Denne tendensen skyldes hovedsakelig to faktorer:

  1. Flere innser nødvendigheten av et mer balansert innblikk i kundene, med small/thick data på den ene siden og big data på den andre
  2. Vi begynner å få noen tilgjengelige teknologier, som kan behandle de mange kommentarene med et akseptabelt resultat

Det første er kjærkomment etter en lang periode, hvor big data nærmest har vært svaret på alle problemer. For erfaringer har vist at selv om store datamengder virkelig kan gi et hav av ny og spennende innsikt, så mangler vi ofte innblikk i årsakene. Vi har kunnet svare på hva og hvordan, men har manglet svarene på hvorfor.

Her møtes behovet av den andre faktoren, de stadig mer modne teknologiene. De tilgjengelige teknologiene på markedet, hvor ’Text analytics’ legger seg under hypede emner som ’Machine Learning’ og ’Artificial intelligence’, har kommet langt. Vi som benytter og utvikler teknologiene, arbeider også stadig på høytrykk for å forbedre og raffinere dem.

Noen av elementene som påvirker kvaliteten i analysene er:

  • Skrivefeil, humor, ironi, sarkasme og lignende
  • Formuleringen av spørsmålet vi stiller
  • Muligheten til å maskinelt oversette kommentarene

La meg beskrive disse tre litt nærmere.

Håndtering av skrivefeil og humor

Kommentarene inneholder ofte skrivefeil, som gjør det vanskelig for systemene å håndtere tekstene. Det kan relativt enkelt løses med stavekontroll før oversettelse og analyse. Derimot er det langt vanskeligere å håndtere f.eks. ironi, sarkasme og humor. Disse elementene er som oftest forskjellige på tvers av kulturer og land, og krever en grunnleggende forståelse av den enkelte konteksten som respondenten er en del av.

Dette blir enormt komplekst, fordi den kulturelle underliggende forståelsen er en variabel som ligger utenfor selve teksten. Bare tenk på hvor raskt kommunikasjon kan bli uklar på f.eks. sosiale medier, hvor vi ikke kan lese mimikk og tonefall.

Med tanke på maskinell dekoding av ironi, sarkasme og humor er vi dessverre langt fra målet.

Spørsmålets kvalitet er avgjørende

Den neste utfordringen er selve formuleringen av det åpne spørsmålet.

Spørsmålets kvalitet er essensielt, men sterkt undervurdert. Det er jo hele grunnlaget for analysen du nedlegger for alle de påfølgende kommentarene.

De fleste stiller et spørsmål som “Har du noe å tilføye kan du skrive det her” eller “Vil du utdype hvorfor du anbefaler/ikke anbefaler virksomheten?”

Men dette er ikke spesielt engasjerende og motiverende for en kunde å bruke tiden sin på.

Hos Ennova har vi eksperimentert med andre typer kvalitative spørsmål, med spesiell fokus på å spisse det.

Et spørsmål som har gitt god respons, er “Dersom du ble direktør for denne virksomheten i morgen, hva er de tre første tingene du vil gjøre?”

Fordelen ved dette spørsmålet er at respondenten forholder seg til en konkret situasjon, selv om det naturligvis er et tenkt scenario. Det gjør det lettere å komme på noe å skrive. En annen fordel er at spørsmålet ikke reduseres til et oppfølgende spørsmål, men får derimot lov til å stå alene. Spørsmålet oppleves dermed som mer obligatorisk og respondenten blir mer tilbøyelig til å svare.

Ulempen er at vi avgrenser hva respondenten kan kommentere på, og dermed går vi glipp av bestemte typer kommentarer. Spørsmålet er likevel stadig gjeldende for mange forskjellige kommentarer.

Dersom du vil arbeide seriøst med kvalitativ analyse av kommentarer i undersøkelser, er det nødvendig at du tenker grundig gjennom spørsmålet du stiller – akkurat som du (forhåpentligvis) allerede gjør med skalaspørsmålene dine.

Kommentarer på forskjellige språk

Den neste utfordringen er å få oversatt alle kommentarene til samme språk i felles kvalitet, slik at du kan analysere dem samlet.

Hos Ennova har vi utviklet et maskinelt og dermed automatisert tekstanalyseverktøy i versjon 1.0. Det har vi benyttet i globale medarbeiderundersøkelser, og vi starter å bruke det i utvalgte kundetilfredshetsprosjekter. Vi er i stand til å gjennomsnittsklassifisere over 75 prosent av alle kommentarer i forskjellige temaer, samt å kunne markere om en kommentar er positivt eller negativt ladet, via en deep learning-algoritme. Det gir muligheten for raskt å kunne dykke ned i tusenvis av kommentarer på forskjellige språk.

Produktet er under løpende utvikling, og vi vil nok aldri få en nøyaktig fasit slik som med kvantitativt innsamlede KPIer. Det er en maskinell tilgang som handler om å se det store bildet. Derfor gir det fremdeles god mening å selv lese gjennom mange kommentarer, siden du dermed får kundens stemme helt under huden. Det skal du ikke undervurdere verdien av. Men den maskinelle analysen gir et solid fundament for å forstå hvordan kommentarene du leser passer inn i de tilbakevendende teamene i undersøkelsen din. På den måten får du en uunnværlig nøkkel til å finne de skattene som ligger begravet i de mange betroelsene.

Søren Smit. Director
Forfatter

Søren Smit. Director

Søren brenner for å lære virksomheter å benytte faktabaserte kundeinnsikter og ikke bare stole på magefølelsen. Han er forfatter av boken "Professionel Kundeindsigt – forskellen mellem økonomisk succes og fiasko" og leder Ennovas forretningsutvikling