Hvorfor er det så vanskelig å forklare hva en maskinlæringsrutine gjør?

Et av de mest interessante aspektene ved maskinlæring er såkalt deep learning, en teknikk (av og til, og ikke helt dekkende, kalt nevrale nettverk), som brukes til svært kompliserte oppgaver som f.eks. billed- eller tekstgjenkjenning. Man starter med et datasett – for eksempel et sett bilder eller håndskreven tekst der man vet hva bildene eller teksten inneholder – og deretter lar man maskinen selv finne karakteristika ved bildene eller teksten og gjenkjenne dem.

Fremgangsmåten minner om det som i statistikken kalles faktoranalyse eller principal components analysis, der man forsøker å finne latente variable, det vil si variable som ligger under visse indikatorer. Teknikken brukes mye i spørreskjemaer der man stiller mange spørsmål som sammen klarer å avdekke en persons oppfatning eller innstilling til noe man ikke kan spørre om direkte – litt som de evindelige spørreundersøkelsene man finner på Facebook, om hvilken kjendis man ligner mest på.

Forskjellen ligger i at med deep learning gjør man (for å si det svært enkelt) faktoranalyse på faktoranalyse på faktoranalyse. Resultatet kan bli svært presis kategorisering av komplisert materiale. Ulempen er at man ikke i etterkant kan forklare hvordan maskinen har kommet frem til sin konklusjon. Og det kan være et problem om man f.eks. er en bank og må grunngi hvorfor man har gitt eller avslått en kundes søknad om lån.

Her er en glimrende video om hvordan dette fungerer fra alltid like interessante 3Blue1Brown: