În ultimii 10 ani, cele mai bune performante inteligență artificială — sisteme, cum ar fi discursul identificatori pe smartphone-uri sau Google cele mai recente translator automat — au dus la o tehnică numită „învățare profundă.”
învățarea profundă este de fapt un nume nou pentru o abordare a inteligenței artificiale numită rețele neuronale, care au intrat și au ieșit din modă de mai bine de 70 de ani., Rețelele neuronale au fost propuse pentru prima dată în 1944 de Warren McCullough și Walter Pitts, doi cercetători de la Universitatea din Chicago care s-au mutat la MIT în 1952 ca membri fondatori ai ceea ce se numește uneori primul departament de științe cognitive.
rețele Neurale au un domeniu major de cercetare în ambele neuroștiințe și informatică până în 1969, când, potrivit informatică lore, au fost ucise de la MIT matematicieni Marvin Minsky și Seymour Papert, care un an mai târziu, va deveni co-regizori din noul MIT Artificial Intelligence Laboratory.,
tehnica sa bucurat apoi de o renaștere în anii 1980, a căzut în eclipse din nou în primul deceniu al noului secol și a revenit ca gangbusters în al doilea, alimentat în mare parte de puterea de procesare crescută a cipurilor grafice.”există această idee că ideile din știință sunt cam ca epidemiile de viruși”, spune Tomaso Poggio, profesorul de creier și științe Cognitive Eugene McDermott la MIT, investigator la Institutul McGovern pentru cercetarea creierului MIT și director al Centrului MIT pentru creiere, minți și mașini., „Se pare că există cinci sau șase tulpini de bază ale virusurilor gripale și se pare că fiecare se întoarce cu o perioadă de aproximativ 25 de ani. Oamenii se infectează și dezvoltă un răspuns imun, așa că nu se infectează în următorii 25 de ani. Și apoi există o nouă generație care este gata să fie infectată de aceeași tulpină de virus. În știință, oamenii se îndrăgostesc de o idee, se entuziasmează de ea, o ciocnesc până la moarte și apoi se imunizează — se obosesc de ea. Deci ideile ar trebui să aibă același tip de periodicitate!,rețelele neuronale sunt un mijloc de a face învățarea în mașină, în care un computer învață să îndeplinească o anumită sarcină analizând Exemple de instruire. De obicei, exemplele au fost etichetate manual în avans. Un sistem de recunoaștere a obiectelor, de exemplu, ar putea fi alimentat cu mii de imagini etichetate cu mașini, case, cești de cafea și așa mai departe și ar găsi modele vizuale în imagini care se corelează în mod constant cu anumite etichete.modelată vag pe creierul uman, o rețea neurală este formată din mii sau chiar milioane de noduri simple de procesare care sunt dens interconectate., Majoritatea rețelelor neuronale de astăzi sunt organizate în straturi de noduri și sunt „feed-forward”, ceea ce înseamnă că datele se deplasează prin ele într-o singură direcție. Un nod individual poate fi conectat la mai multe noduri din stratul de sub el, de la care primește date și mai multe noduri din stratul de deasupra acestuia, la care trimite date.
pentru fiecare dintre conexiunile sale de intrare, un nod va atribui un număr cunoscut sub numele de „greutate.”Când rețeaua este activă, nodul primește un element de date diferit — un număr diferit-peste fiecare dintre conexiunile sale și îl înmulțește cu greutatea asociată., Apoi se adaugă produsele rezultate împreună, rezultând un singur număr. Dacă acest număr este sub o valoare de prag, nodul nu transmite date la stratul următor. Dacă numărul depășește valoarea pragului, nodul „se aprinde”, ceea ce în rețelele neuronale de astăzi înseamnă, în general, trimiterea numărului — suma intrărilor ponderate — de-a lungul tuturor conexiunilor sale de ieșire.când o rețea neurală este antrenată, toate greutățile și pragurile sale sunt inițial setate la valori aleatorii., Datele de antrenament sunt alimentate în stratul de jos – stratul de intrare-și trec prin straturile următoare, fiind înmulțite și adăugate împreună în moduri complexe, până când ajung în cele din urmă, transformate Radical, la stratul de ieșire. În timpul antrenamentului, greutățile și pragurile sunt ajustate continuu până când datele de antrenament cu aceleași etichete produc în mod constant rezultate similare.rețelele neuronale descrise de McCullough și Pitts în 1944 aveau praguri și greutăți, dar nu erau aranjate în straturi, iar cercetătorii nu au specificat niciun mecanism de antrenament., Ceea ce au arătat McCullough și Pitts a fost că o rețea neurală ar putea, în principiu, să calculeze orice funcție pe care un computer digital ar putea. Rezultatul a fost mai mult neuroștiința decât Informatica: ideea a fost să sugereze că creierul uman ar putea fi gândit ca un dispozitiv de calcul.rețelele neuronale continuă să fie un instrument valoros pentru cercetarea neuroștiințifică. De exemplu, anumite aspecte de rețea sau reguli pentru ajustarea greutăților și pragurilor au reprodus caracteristicile observate ale neuroanatomiei și cunoașterii umane, un indiciu că captează ceva despre modul în care creierul procesează informațiile.,
prima rețea neuronală trainabilă, Perceptronul, a fost demonstrată de psihologul Universității Cornell, Frank Rosenblatt, în 1957. Designul Perceptronului era asemănător cu cel al rețelei neuronale moderne, cu excepția faptului că avea un singur strat cu greutăți și praguri reglabile, intercalat între straturile de intrare și ieșire.,
Perceptrons fost un domeniu activ de cercetare în atât psihologia, cât și tinerei disciplina de informatică până în 1959, când Minsky și Papert a publicat o carte intitulată „Perceptrons”, care a demonstrat că executarea anumitor destul de comune calcule pe Perceptrons ar fi impracticabil de consumatoare de timp.”desigur, toate aceste limitări dispar dacă luați mașini care sunt puțin mai complicate — cum ar fi două straturi”, spune Poggio. Dar, la acea vreme, cartea a avut un efect de răcire asupra cercetării neuronale.,
„trebuie să puneți aceste lucruri în context istoric”, spune Poggio. „Se certau pentru programare-pentru limbi precum Lisp. Nu cu mulți ani înainte, oamenii încă foloseau computere analogice. Nu era deloc clar în acel moment că programarea era calea de urmat. Cred că au mers un pic peste bord, dar ca de obicei, nu este alb-negru. Dacă vă gândiți la acest lucru ca la această competiție între calculul analogic și calculul digital, ei au luptat pentru ceea ce la acea vreme era lucrul potrivit.,până în anii 1980, cercetătorii au dezvoltat algoritmi pentru modificarea greutăților și pragurilor rețelelor neuronale care erau suficient de eficiente pentru rețelele cu mai mult de un strat, eliminând multe dintre limitările identificate de Minsky și Papert. Câmpul sa bucurat de o renaștere.
dar din punct de vedere intelectual, există ceva nesatisfăcător în ceea ce privește rețelele neuronale. Instruirea suficientă poate revizui setările unei rețele până la punctul în care poate clasifica în mod util datele, dar ce înseamnă aceste setări?, Ce caracteristici de imagine este un obiect recognizer uita la, și cum le pune cap la cap în semnăturile vizuale distinctive de mașini, case, și cești de cafea? Privind greutățile conexiunilor individuale nu va răspunde la această întrebare.în ultimii ani, informaticienii au început să vină cu metode ingenioase pentru deducerea strategiilor analitice adoptate de rețelele neuronale. Dar în anii 1980, strategiile rețelelor erau indescifrabile., Deci, la începutul secolului, rețelele neuronale au fost înlocuite de mașini vectoriale de suport, o abordare alternativă a învățării automate care se bazează pe o matematică foarte curată și elegantă.renașterea recentă în rețelele neuronale-Revoluția de învățare profundă-vine prin amabilitatea industriei jocurilor pe calculator. Imaginile complexe și ritmul rapid al jocurilor video de astăzi necesită hardware care poate ține pasul, iar rezultatul a fost unitatea de procesare grafică (GPU), care împachetează mii de nuclee de procesare relativ simple pe un singur cip., Nu a durat mult ca cercetătorii să realizeze că arhitectura unui GPU este remarcabil ca cea a unei rețele neuronale.GPU-urile moderne au permis rețelelor cu un singur strat din anii 1960 și rețelelor cu două până la trei straturi din anii 1980 să înflorească în rețelele cu 10, 15, chiar și 50 de straturi de astăzi. La asta se referă” adâncul „din” învățarea profundă ” — adâncimea straturilor rețelei. Și în prezent, învățarea profundă este responsabilă pentru cele mai performante sisteme din aproape toate domeniile cercetării inteligenței artificiale.,
sub capota
opacitatea rețelelor este încă neliniștitoare pentru teoreticieni, dar există progrese și pe acest front. Pe lângă conducerea Centrului pentru creiere, minți și mașini (CBMM), Poggio conduce programul de cercetare al centrului în cadre teoretice pentru inteligență. Recent, Poggio și colegii săi CBMM au lansat un studiu teoretic în trei părți al rețelelor neuronale.,
prima parte, care a fost publicată luna trecută în Jurnalul Internațional de automatizare și calcul, abordează gama de calcule pe care rețelele de învățare profundă le pot executa și când rețelele profunde oferă avantaje față de cele mai mici., Părțile doi și trei, care au fost lansate ca CBMM rapoarte tehnice, aborda problemele globale de optimizare, sau garantează că o rețea a găsit setările că cel mai bun acord cu datele de formare, și overfitting, sau cazuri în care rețeaua devine atât de adaptate la specificul formării sale date care nu reușește să generalizeze la alte instanțe ale aceleiași categorii.,
Există încă o mulțime de întrebări teoretice pentru a fi răspuns, dar CBMM cercetătorilor lucru ar putea ajuta să se asigure că rețelele neuronale rupe în cele din urmă generații ciclu care le-a adus în și afară din serviciu, timp de șapte decenii.
Lasă un răspuns