Forklarede: Neurale netværk

I de sidste 10 år, med de bedste resultater i kunstig intelligens-systemer — såsom tale genkendere på smartphones eller Google ‘ s nyeste automatiske oversætter, som har resulteret fra en teknik der kaldes “dyb læring.”

dyb læring er faktisk et nyt navn på en tilgang til kunstig intelligens kaldet neurale netværk, som har gået ind og ud af mode i mere end 70 år., Neurale netværk blev først foreslået i 1944 af .arren McCullough og .alter Pitts, to forskere fra University of Chicago, der flyttede til MIT i 1952 som stiftende medlemmer af det, der undertiden kaldes den første kognitive videnskabsafdeling.

Neurale net, var et større område af forskning i begge neurovidenskab og datalogi, indtil 1969, hvor der i henhold til datalogi lore, blev de dræbt af MIT matematikere Marvin Minsky ‘ og Seymour Papert, der et år senere skulle blive co-direktører for det nye MIT Artificial Intelligence Laboratory.,

teknikken nød derefter en genopblussen i 1980 ‘ erne, faldt i formørkelse igen i det første årti af det nye århundrede og er vendt tilbage som gangbusters i det andet, drevet stort set af den øgede processorkraft af grafikchips.

“Der er denne idé om, at ideer i videnskaben er lidt ligesom epidemier af virus,” siger Tomaso Poggio, den Eugene McDermott Professor i Hjernen og de Kognitive Videnskaber ved MIT, forsker på MIT ‘s McGovern Institut for hjerneforskning, og director for MIT’ s Center for Hjerner, Sind og Maskiner., “Der er tilsyneladende fem eller seks grundlæggende stammer af influen .avirus, og tilsyneladende kommer hver enkelt tilbage med en periode på omkring 25 år. Folk bliver smittet, og de udvikler et immunrespons, og så bliver de ikke smittet i de næste 25 år. Og så er der en ny generation, der er klar til at blive inficeret af den samme virusstamme. I videnskab forelsker folk sig i en ID., bliver begejstrede for den, hamrer den ihjel og bliver derefter immuniseret — de bliver trætte af den. Så ideer skal have den samme slags periodicitet!,”

vægtige spørgsmål

neurale net er et middel til at udføre maskinlæring, hvor en computer lærer at udføre en opgave ved at analysere træningseksempler. Normalt er eksemplerne blevet håndmærket på forhånd. Et objekt genkendelse system, for eksempel, kunne fodres tusindvis af mærkede billeder af biler, huse, kaffekopper, og så videre, og det ville finde visuelle mønstre i de billeder, der konsekvent korrelerer med bestemte etiketter.

modelleret løst på den menneskelige hjerne består et neuralt net af tusinder eller endda millioner af enkle behandlingsnoder, der er tæt forbundet., De fleste af dagens neurale net er organiseret i lag af noder, og de er “feed-for .ard”, hvilket betyder, at data bevæger sig gennem dem i kun .n retning. En individuel node kan være forbundet til flere noder i laget under det, hvorfra det modtager data, og flere noder i laget over det, som det sender data til.

til hver af sine indgående forbindelser vil en node tildele et nummer kendt som en “vægt.”Når netværket er aktivt, modtager noden et andet dataelement — et andet nummer-over hver af dens forbindelser og multiplicerer det med den tilknyttede vægt., Det tilføjer derefter de resulterende produkter sammen, hvilket giver et enkelt tal. Hvis dette tal er under en tærskelværdi, passerer noden ingen data til det næste lag. Hvis tallet overstiger tærskelværdien, “brænder” noden, som i dagens neurale net generelt betyder at sende nummeret-summen af de vægtede indgange — langs alle dets udgående forbindelser.

Når et neuralt net trænes, indstilles alle dets vægte og tærskler oprindeligt til tilfældige værdier., Træningsdata føres til bundlaget-inputlaget-og det passerer gennem de efterfølgende lag, bliver multipliceret og tilføjet sammen på komplekse måder, indtil det endelig ankommer, radikalt transformeret, ved outputlaget. Under træningen justeres vægten og tærsklerne løbende, indtil træningsdata med de samme etiketter konsekvent giver lignende output.

sind og maskiner

de neurale net beskrevet af McCullough og Pitts i 1944 havde tærskler og vægte, men de blev ikke arrangeret i lag, og forskerne angav ikke nogen træningsmekanisme., Hvad McCullough og Pitts viste var, at et neuralt net i princippet kunne beregne enhver funktion, som en digital computer kunne. Resultatet var mere neurovidenskab end datalogi: pointen var at antyde, at den menneskelige hjerne kunne betragtes som en computerenhed.

neurale net er fortsat et værdifuldt værktøj til neurovidenskabelig forskning. For eksempel, navnlig netværk layouts eller regler for justering af vægte og tærskelværdier, der er gengivet observeret funktioner af den menneskelige neuroanatomy og kognition, en indikation af, at de fanger noget om, hvordan hjernen bearbejder information.,

det første træningsbare neurale netværk, Perceptronen, blev demonstreret af Cornell University-psykologen Frank Rosenblatt i 1957. Perceptrons design var meget som det moderne neurale net, bortset fra at det kun havde et lag med justerbare vægte og tærskler, sand .ichet mellem input og output lag.,

Perceptrons var et aktivt område for forskning i både psykologi og den spæde disciplin of computer science, indtil 1959, hvor Minsky ‘ og Papert udgivet en bog med titlen “Perceptrons,” der viste, at udførelse af bestemte ret almindelig beregninger på Perceptrons ville være upraktisk og tidskrævende.

” selvfølgelig forsvinder alle disse begrænsninger slags, hvis du tager maskiner, der er lidt mere kompliceret — som to lag,” siger Poggio. Men på det tidspunkt havde bogen en chillende effekt på neurale netundersøgelser.,

“Du skal sætte disse ting i historisk sammenhæng,” siger Poggio. “De argumenterede for programmering-for sprog som Lisp. Ikke mange år før brugte folk stadig analoge computere. Det var slet ikke klart på det tidspunkt, at programmeringen var vejen at gå. Jeg tror, de gik lidt overbord, men som normalt er det ikke sort og hvidt. Hvis du tænker på dette som denne konkurrence mellem analog computing og digital computing, kæmpede de for det, der på det tidspunkt var det rigtige.,”

periodicitet

i 1980′ erne havde forskere imidlertid udviklet algoritmer til ændring af neurale net ‘ vægte og tærskler, der var effektive nok til netværk med mere end et lag, hvilket fjernede mange af de begrænsninger, der blev identificeret af Minsky og Papert. Feltet nød en renæssance.

men intellektuelt er der noget utilfredsstillende om neurale net. Nok træning kan revidere et netværks indstillinger til det punkt, at det med fordel kan klassificere data, men hvad betyder disse indstillinger?, Hvilke billedfunktioner ser en objektgenkendelse på, og hvordan deler den dem sammen i de karakteristiske visuelle signaturer af biler, huse og kaffekopper? Ser man på vægten af individuelle forbindelser vil ikke besvare dette spørgsmål.

i de senere år er computerforskere begyndt at komme med geniale metoder til at udlede de analytiske strategier, der er vedtaget af neurale net. Men i 1980′ erne var netværkets strategier ubeskrivelige., Så omkring århundredeskiftet blev neurale netværk erstattet af supportvektormaskiner, en alternativ tilgang til maskinlæring, der er baseret på nogle meget rene og elegante matematik.

den nylige genopblussen i neurale netværk — den dybe læringsrevolution-kommer med tilladelse fra computerspilindustrien. Det komplekse billedsprog og det hurtige tempo i dagens videospil kræver hard .are, der kan følge med, og resultatet har været graphics processing unit (GPU), der pakker tusinder af relativt enkle behandlingskerner på en enkelt chip., Det tog ikke lang tid for forskere at indse, at arkitekturen i en GPU er bemærkelsesværdigt som et neuralt net.

moderne GPU ‘er gjorde det muligt for etlagsnetværkene i 1960’ erne og de to-til tre – lags netværk i 1980 ‘ erne at blomstre ind i dagens 10 -, 15 -, endda 50-lags netværk. Det er, hvad den “dybe” i “dyb læring” refererer til — dybden af netværkets lag. Og i øjeblikket er deep learning ansvarlig for de bedst præsterende systemer på næsten alle områder af kunstig intelligens forskning.,

Under hætten

netværkets opacitet er stadig foruroligende for teoretikere, men der er også fremskridt på den front. Ud over at lede Center for Brains, Minds og Machines (cbmm) leder Poggio centrets forskningsprogram i teoretiske rammer for intelligens. For nylig har Poggio og hans cbmm-kolleger frigivet en tredelt teoretisk undersøgelse af neurale netværk.,

den første del, der blev offentliggjort i sidste måned i International Journal of Automation and Computing, adresserer rækkevidden af beregninger, som deep-learning-netværk kan udføre, og når dybe netværk tilbyder fordele i forhold til lavere., Del to og tre, der er blevet frigivet som cbmm tekniske rapporter, løse problemerne med global optimering, eller garantere, at et netværk har fundet de indstillinger, der bedst i overensstemmelse med sine træningsdata, og overfitting, eller tilfælde, hvor netværket bliver så afstemt til de særlige forhold i sine træningsdata, at det undlader at generalisere til andre tilfælde af de samme kategorier.,

Der er stadig masser af teoretiske spørgsmål, der skal besvares, men cbmm-forskernes arbejde kan hjælpe med at sikre, at neurale netværk endelig bryder generationscyklussen, der har bragt dem ind og ud af fordel i syv årtier.