Forklart: Nevrale nettverk

I de siste 10 årene, er det best å utføre kunstig-intelligens systemer — slik som talegjenkjennere på smarttelefoner eller Googles nyeste automatisk oversetter — ha resultert fra en teknikk som kalles «deep læring.»

dybdekunnskap er faktisk et nytt navn for en tilnærming til kunstig intelligens kalt nevrale nettverk, som har gått inn og ut av mote for mer enn 70 år., Nevrale nettverk ble først foreslått i 1944 av Warren McCullough og Walter Pitts, to University of Chicago forskere som flyttet til MIT i 1952 som grunnleggerne av det som noen ganger kalles den første kognitiv vitenskap avdeling.

Nevrale nettene ble en viktig område for forskning både i nevrovitenskap og informatikk frem til 1969, da, i henhold til computer science lore, de ble drept ved MIT matematikere Marvin Minsky og Seymour Papert, som et år senere skulle bli co-regissørene av den nye MIT Artificial Intelligence Laboratory.,

teknikken deretter hatt en oppblomstring på 1980-tallet, falt i eclipse igjen i det første tiåret av det nye århundre, og har kommet tilbake som gangbusters i den andre, i stor grad drevet av økt prosessorkraft og grafikk chips.

«Det er denne ideen om at ideer i vitenskap er litt som epidemier av virus, sier Tomaso Poggio, den Eugene McDermott Professor i Hjernen og Kognitiv Vitenskap ved MIT, en forsker ved MIT’ s McGovern Institute for Brain Research, og direktør ved MIT ‘ s Center for Hjernen, Sinn og Maskiner., «Det er tydeligvis fem eller seks grunnleggende stammer av influensa virus, og tilsynelatende hver og en kommer tilbake med en periode på rundt 25 år. Mennesker blir smittet, og at de utvikler en immunrespons, og slik at de ikke blir smittet for de neste 25 årene. Og så er det en ny generasjon som er klar til å bli smittet av den samme stammen av virus. I vitenskap, folk falle i kjærlighet med en idé, få begeistret for det, hammer til døden, og deretter få vaksineres — de blir lei av det. Slik ideer bør ha samme slags periodisitet!,»

Tungtveiende saker

Nevrale nett er et middel til å gjøre maskinlæring, som en datamaskin lærer å utføre en oppgave ved å analysere opplæring eksempler. Vanligvis, eksemplene er hånd-merket på forhånd. Et objekt gjenkjennelse system, for eksempel, kan bli matet tusenvis av merket bilder av biler, hus, kaffekopper, og så videre, og det ville finne visuelle mønstre i bilder-som alltid korrelerer med særlig etiketter.

Modellert løst på den menneskelige hjernen, en neural net består av tusenvis eller millioner av enkel behandling noder som er tett sammenvevd., De fleste av dagens neural nets er organisert i lag av noder, og de er «feed-forward», som betyr at data går gjennom dem i bare én retning. En enkelt node kan være koblet til flere noder i laget under det, som den mottar data, og flere noder i lag over det, som den sender data.

hver på sin innkommende tilkoblinger, en node vil tilordne et nummer som er kjent som en «vekt.»Når nettverket er aktivt, node mottar en annen data element — et annet nummer — over hver av sine forbindelser og multipliserer det med tilhørende vekt., Det legger så den resulterende produktene sammen, som gir et enkelt tall. Dersom tallet er under en terskel verdi, node går ingen data til neste lag. Hvis antallet overstiger terskelen verdi, node «branner», som i dagens neural nets betyr vanligvis å sende nummer — summen av den vektede innganger — sammen alle sine utgående tilkoblinger.

Når en nevrale nettet er under opplæring, alle sine vekter og terskler er i utgangspunktet satt til tilfeldige verdier., Trening data er matet til botnlaget — input lag — og det passerer gjennom den påfølgende lag, får multiplisert og lagt sammen på komplekse måter, før det til slutt kommer, er radikalt endret, ved utgang lag. Under trening, vekter og terskler er stadig justeres til trening data med de samme etikettene konsekvent gi lignende utganger.

Sinn og maskiner

The neural nets beskrevet av McCullough og Pitts i 1944 hadde terskler og vekter, men de var ikke arrangert i lag, og forskerne ikke angir noen opplæring mekanisme., Hva McCullough og Pitts viste var at en neural net kan i prinsippet beregne noen funksjon som en digital datamaskin kunne. Resultatet ble mer nevrovitenskap enn informatikk: poenget var å foreslå at den menneskelige hjerne kan være tenkt som en dataenhet.

Neural nets fortsette å være et verdifullt verktøy for neuroscientific forskning. For eksempel, spesielt nettverk oppsett eller regler for justering av vekter og terskler har gjengitt observert funksjoner av menneskelig neuroanatomy og erkjennelse, en indikasjon på at de fanger noe om hvordan hjernen behandler informasjon på.,

Den første trenbar nevrale nettverk, Perceptron, ble demonstrert ved Cornell University psykolog Frank Rosenblatt i 1957. Den Perceptron design var mye som den moderne neural net, bortsett fra at den hadde bare ett lag med justerbare vekter og terskler, klemt mellom input-og output-lag.,

Perceptrons var et aktivt område av forskning i både psykologi, og den unge disiplin i informatikk fram til 1959, da Minsky og Papert utgitt en bok med tittelen «Perceptrons,» som viste at å utføre visse ganske vanlig beregninger på Perceptrons ville være upraktisk og tidkrevende.

«selvfølgelig, alle disse begrensningene slags forsvinner hvis du tar maskiner som er litt mer komplisert — aktig, to lag,» Poggio sier. Men på den tiden hadde boken en skremmende effekt på nevrale-net forskning.,

«Du har til å sette disse tingene i historisk sammenheng,» Poggio sier. «De kranglet for programmering — for språk som Lisp. Om ikke mange år før, ble folk fortsatt bruker analoge datamaskiner. Det var ikke klar i det hele tatt på den tiden at programmering var veien å gå. Jeg tror de gikk litt over bord, men som vanlig, det er ikke svart og hvitt. Hvis du tenker på dette som konkurransen mellom analog computing og digital databehandling, de kjempet for hva som på den tiden var det rette.,»

Periodisitet

Av 1980-tallet, men forskerne hadde utviklet algoritmer for å endre neural nets’ vekter og terskler som var effektive nok for nettverk med mer enn ett lag, å fjerne mange av de begrensninger som er identifisert av Minsky og Papert. Feltet hatt en renessanse.

Men intellektuelt, det er noe utilfredsstillende om nevrale nett. Nok trening kan endre innstillingene for nettverket til det punktet at den kan med fordel klassifisere data, men hva gjør disse innstillingene betyr?, Hvilket bilde har er et objekt gjenkjenneren å se på, og hvordan føles det å sette dem sammen til den særegne visuelle signaturer av biler, hus, og kaffekopper? Ser på vektene av person-tilkoblinger, vil ikke svare på det spørsmålet.

I de siste årene, datamaskinen forskere har begynt å komme opp med oppfinnsomme metoder for deducing den analytiske strategier vedtatt av nevrale nett. Men på 1980-tallet, nettverk’ strategier var uforståelige., Så rundt århundreskiftet, nevrale nettverk, ble fortrengt av support vector machines, en alternativ tilnærming til maskinen læring som er basert på noen veldig ren og elegant matematikk.

Den siste oppblomstring i nevrale nettverk — deep-læring revolusjon — kommer courtesy av datamaskin-spill industrien. Den komplekse bilder og raske tempoet i dagens tv-spill krever maskinvare som kan holde opp, og resultatet har vært GPU (graphics processing unit), som pakker tusenvis av relativt enkle prosessorkjerner på en enkelt brikke., Det tok ikke lang tid for forskerne å innse at arkitekturen av en GPU er bemerkelsesverdig som en neural net.

Moderne Gpu-aktiverte ett-lags nettverk av 1960-tallet og de to – til tre-lags nettverk av 1980-tallet å blomstre i den 10-, 15-, selv 50-lags nettverk av i dag. Det er hva den «dyp» i «dyp læring» refererer til — dybden av nettverkets lag. Og i dag, dyp læring er ansvarlig for best ytelse systemer i nesten alle områder av kunstig-intelligens forskning.,

Under panseret

nettverk’ dekkevne er fortsatt urovekkende å teoretikere, men det er fremgang på den fronten også. I tillegg til å dirigere Center for Hjernen, Sinn og Maskiner (CBMM), Poggio fører senterets forskningsprogram i Teoretisk Rammeverk for Intelligens. Nylig, Poggio og hans CBMM kolleger har utgitt en tre-del teoretisk studie av nevrale nettverk.,

Den første delen, som ble publisert forrige måned i International Journal of Automatisering og data, adresser omfanget av beregninger at deep-læring nettverk kan utføre og når dypt nettverk tilbyr fordeler over grunnere seg., Del to og tre, som har vært utgitt som CBMM tekniske rapporter, adresse problemene med global optimalisering, eller som garanterer at et nettverk har funnet innstillingene som er best i samsvar med sin trening data, og overfitting, eller tilfeller der nettverket blir så tilpasset informasjon om sin trening data som det ikke klarer å generalisere til andre forekomster av de samme kategoriene.,

Det er fortsatt nok av teoretiske spørsmål som skal besvares, men CBMM forskerne arbeid kan bidra til å sikre at nevrale nettverk til slutt bryte generasjonsskifte syklus som har brakt dem inn og ut av tjeneste for syv tiår.