Deep learning får nyt liv
Geoffrey Hinton og hans team viste i 2006, hvordan dybe neurale netværk kunne trænes mere stabilt. Det genoplivede interessen for neurale netværk efter en længere periode med lav aktivitet.
I midten af 2000'erne var neurale netværk ude af fokus, og andre metoder dominerede. Hinton og kolleger viste, at dybe netværk kunne trænes i to trin, så læringen blev mere stabil. Det gav feltet ny energi.
Hvorfor det var svært
Dybe netværk led af det såkaldte vanishing gradient problem. Når fejl blev sendt tilbage gennem mange lag, blev signalet så svagt, at de tidlige lag næsten ikke lærte. Det betød, at netværk med mange lag gav ringe resultater, selv når der var data nok.
Gennembruddet i træning
Løsningen var pre-training i flere trin. Hvert lag blev først trænet for sig på en simpel opgave, og derefter blev hele netværket finjusteret med backpropagation. Det gav bedre startværdier og mere stabil læring. Metoden var ikke perfekt, men den gjorde dybe netværk anvendelige i praksis.
Hvorfor timingen passede
Samtidig blev hardware og data bedre. GPU-beregning og større datasæt gjorde det muligt at udnytte de dybe netværk. Kombinationen af bedre træning og bedre ressourcer satte gang i en udvikling, der få år senere førte til store gennembrud i vision og sprog.
Impact og Betydning
Arbejdet i 2006 gjorde deep learning legitimt igen. Forskere kunne bygge dybere netværk og se, at de faktisk lærte meningsfulde mønstre. Det banede vej for AlexNet og de næste store gennembrud i 2010'erne.