V posledních 10 letech, nejlepších výsledků umělé inteligence systémy — jako rozpoznávače řeči na chytré telefony nebo Google je nejnovější automatický překladač — vedly z techniky zvané „deep learning.“
Hluboké učení je vlastně nové jméno pro přístup k umělé inteligenci, tzv. neuronových sítí, které byly jít dovnitř a ven z módy pro více než 70 let., Neuronové sítě byly poprvé navržena v roce 1944 Warren McCullough a Walter Pitts, dvě University of Chicago výzkumných pracovníků, kteří se přestěhovali na MIT v roce 1952 jako zakládající členové, co je někdy nazýváno první kognitivní věda oddělení.
Neuronové sítě byly hlavní oblastí výzkumu v obou neurovědy a informatiky až do roku 1969, kdy podle počítačové vědy tradice, oni byli zabiti mimo MIT matematici Marvin Minsky a Seymour Papert, který o rok později by se stal co-ředitelů nových MIT Laboratoře Umělé Inteligence.,
techniky pak těší oživení v roce 1980, dostal se do eclipse znovu v prvním desetiletí nového století, a se vrátil jako gangbusters v druhé, poháněných do značné míry tím, že zvýšení výpočetního výkonu grafických čipů.
„je to myšlenka, že ideje ve vědě jsou trochu jako epidemie virů,“ říká Tomaso Poggio, Eugene McDermott Profesor Mozku a Kognitivních Věd na MIT, vyšetřovatel na MIT McGovern Institute for Brain Research, a ředitel MIT Centra pro Mozek, Mysl, a Stroje., „Zdá se, že existuje pět nebo šest základních kmenů chřipkových virů a zdá se, že každý z nich se vrací s obdobím kolem 25 let. Lidé se nakazí a vyvinou imunitní odpověď, a tak se nenakazí dalších 25 let. A pak je tu nová generace, která je připravena být infikována stejným kmenem viru. Ve vědě, lidé padat v lásce s myšlenkou, dostat nadšeni o tom, kladivem k smrti, a pak se očkování — se dostat z toho unavená. Takže nápady by měly mít stejný druh periodicity!,“
závažné záležitosti
neuronové sítě jsou prostředkem strojového učení, ve kterém se počítač učí provádět nějaký úkol analýzou příkladů školení. Obvykle, příklady byly ručně označeny předem. Například systém rozpoznávání objektů může být napájen tisíci označených obrázků automobilů, domů, šálků kávy atd., a na obrázcích by našel vizuální vzory, které důsledně korelují s konkrétními štítky.
volně modelovaný na lidském mozku, nervová síť se skládá z tisíců nebo dokonce milionů jednoduchých uzlů zpracování, které jsou hustě propojeny., Většina dnešních neuronových sítí je uspořádána do vrstev uzlů a jsou to „feed-forward“, což znamená, že data se přes ně pohybují pouze jedním směrem. Jednotlivý uzel může být připojen k několika uzlům ve vrstvě pod ním, ze které přijímá data, a několika uzlům ve vrstvě nad ním, ke které odesílá data.
každému z příchozích připojení uzel přiřadí číslo známé jako „hmotnost“.“Když je síť aktivní, uzel obdrží jinou datovou položku-jiné číslo – přes každé její připojení a vynásobí ji přidruženou hmotností., Poté přidá výsledné produkty dohromady a získá jediné číslo. Pokud je toto číslo pod prahovou hodnotou, uzel nepředává žádná data do další vrstvy. Pokud číslo překročí prahovou hodnotu, uzel „vystřelí“, což v dnešních neuronových sítích obecně znamená odeslání čísla — součtu vážených vstupů — podél všech jeho odchozích spojení.
když se cvičí neuronová síť, všechny její váhy a prahové hodnoty jsou zpočátku nastaveny na náhodné hodnoty., Tréninková data je přiváděn do spodní vrstva — vstupní vrstvy — a to prochází následných vrstev, jak se násobí a sčítají v komplexním způsobem, až to konečně dorazí, radikálně transformována na výstupní vrstvu. Během tréninku, váhy a prahy jsou neustále upravovány, dokud tréninková data se stejnými štítky důsledně výnos podobné výstupy.
Mysli a stroje,
neuronové sítě popsal McCullough a Pitts v roce 1944 měl prahů a vah, ale nebyly uspořádány do vrstev, a vědci neuvedl žádné školení mechanismus., McCullough a Pitts ukázali, že neuronová síť může v zásadě vypočítat jakoukoli funkci, kterou by Digitální počítač mohl. Výsledkem byla více neurověd než Informatika: cílem bylo navrhnout, aby lidský mozek mohl být považován za výpočetní zařízení.
neuronové sítě jsou i nadále cenným nástrojem pro neurovědní výzkum. Například, konkrétní rozvržení sítě nebo pravidla pro úpravu vah a prahů mají reprodukovat pozorované vlastnosti lidského neuroanatomie a kognitivní funkce, údaj o tom, že se jim zachytit něco o tom, jak mozek zpracovává informace.,
první cvičitelná neuronová síť, Perceptron, byla prokázána psychologem Cornell University Frankem Rosenblattem v roce 1957. Perceptronového design byl moc rád, že moderní neuronové sítě, kromě toho, že měl pouze jednu vrstvu s nastavitelnou vah a prahových hodnot, vklíněná mezi vstupní a výstupní vrstvy.,
Perceptrons byli aktivní na výzkumu v oblasti psychologie a rodící se disciplína computer science až do roku 1959, kdy Minsky a Papert publikoval knihu s názvem „Perceptrons“, která prokázala, že provádění některých docela běžné výpočty na Perceptrons by bylo neprakticky časově náročné.
„samozřejmě všechna tato omezení zmizí, pokud vezmete stroj, který je trochu komplikovanější-jako dvě vrstvy,“ říká Poggio. Ale v té době, kniha měla mrazivý vliv na výzkum neuronových sítí.,
„tyto věci musíte dát do historického kontextu,“ říká Poggio. „Hádali se o programování-pro jazyky jako Lisp. Před mnoha lety lidé stále používali analogové počítače. V té době nebylo vůbec jasné, že programování je způsob, jak jít. Myslím, že šli trochu přes palubu, ale jako obvykle to není černé a bílé. Pokud si myslíte, že to, jak je tato soutěž mezi analogové výpočetní a digitální výpočetní techniky, bojovali za to, co v té době byla správná věc.,“
Pravidelnost
V roce 1980, nicméně, vědci vyvinuli algoritmy pro úpravy neuronové sítě‘ vah a prahových hodnot, které byly dostatečně efektivní pro sítě s více než jednu vrstvu, odstraňuje mnoho omezení označeny Minsky a Papert. Pole se těšilo renesanci.
ale intelektuálně je na neuronových sítích něco neuspokojivého. Dostatek školení může revidovat nastavení sítě do té míry, že může užitečně klasifikovat data, ale co tato nastavení znamenají?, Na jaké obrazové vlastnosti se objektový rozpoznávač dívá a jak je poskládá do výrazných vizuálních podpisů aut, domů a šálků kávy? Při pohledu na hmotnosti jednotlivých spojů nebude odpovídat na tuto otázku.
v posledních letech počítačoví vědci začali přicházet s důmyslnými metodami pro odvození analytických strategií přijatých neuronovými sítěmi. Ale v 80. letech byly strategie sítí nerozlučné., Tak kolem přelomu století, neuronové sítě byly nahrazeny support vector machines, alternativní přístup k strojového učení, která je založena na některých velmi čisté a elegantní matematiky.
nedávné oživení v neuronových sítích-revoluce hlubokého učení-přichází s laskavým svolením průmyslu počítačových her. Složité snímky a rychlé tempo dnešních videoher vyžadují hardware, který dokáže držet krok, a výsledkem byla jednotka pro zpracování grafiky (GPU), která zabalí tisíce relativně jednoduchých procesorových jader na jeden čip., Netrvalo dlouho, než si vědci uvědomili, že architektura GPU je pozoruhodně podobná architektuře neuronové sítě.
Moderní Gpu povolena jedna vrstva sítí 1960 a dvou – až třívrstvé sítě 1980 kvést do 10-, 15-, a to i 50-layer sítích dnes. To je to, na co se odkazuje „hluboké“ v „hlubokém učení“ — hloubka vrstev sítě. A v současné době je hluboké učení zodpovědné za nejvýkonnější systémy téměř ve všech oblastech výzkumu umělé inteligence.,
pod kapotou
neprůhlednost sítí je pro teoretiky stále znepokojující,ale na této přední straně je také cesta. Kromě řízení Centra pro mozky, mysli a stroje (CBMM) vede Poggio výzkumný program centra v teoretických rámcích pro inteligenci. Nedávno Poggio a jeho kolegové CBMM vydali třídílnou teoretickou studii neuronových sítí.,
první část, která byla zveřejněna minulý měsíc v International Journal of Automatizace a Výpočetní techniky, řeší řadu výpočtů, že hluboké učení sítě může provádět a při hluboké sítě nabízejí výhody oproti mělčí ty., Díly dva a tři, které byly vydány jako CBMM technické zprávy, řešení problémů globální optimalizace, nebo zaručit, že síť má našli nastavení, které nejlépe odpovídají jeho tréninková data, a overfitting, nebo případů, v nichž síť je tak naladěn na specifika jeho výcviku data, která to nedokáže zobecnit na jiné instance stejné kategorie.,
stále Existuje spousta teoretické otázky musí být zodpovězeny, ale CBMM výzkumných pracovníků práce by mohla pomoci zajistit, že neuronové sítě konečně zlomit generační cyklus, který přinesl jim dovnitř a ven laskavosti pro sedm desetiletí.
Napsat komentář