az elmúlt 10 évben a legjobban teljesítő mesterséges intelligencia rendszerek-például az okostelefonok beszédfelismerői vagy a Google legújabb automatikus fordítója — a “deep learning” nevű technikából származtak.”
a mély tanulás valójában új név a neurális hálózatok nevű mesterséges intelligencia megközelítésének, amely több mint 70 éve divatos., A neurális hálózatokat először 1944-ben javasolta Warren McCullough és Walter Pitts, a Chicagói Egyetem két kutatója, akik 1952-ben költöztek az MIT-be, mint az úgynevezett első kognitív tudományos osztály alapító tagjai.
a neurális hálók mind az idegtudomány, mind a számítástechnika területén jelentős kutatási területet jelentettek 1969-ig, amikor a computer science lore szerint Marvin Minsky és Seymour Papert MIT matematikusok megölték őket, akik egy évvel később az új MIT mesterséges intelligencia laboratórium társigazgatóivá váltak.,
a technika az 1980-as években újjáéledt, az új évszázad első évtizedében ismét napfogyatkozásba esett, és a másodikban visszatért, mint a gangbusters, amelyet nagyrészt a grafikus chipek megnövekedett feldolgozási ereje táplált.
“van ez a gondolat, hogy a tudományban az ötletek egy kicsit olyanok, mint a vírusok járványai” – mondja Tomaso Poggio, az MIT agy-és kognitív tudományának Eugene McDermott professzora, az MIT McGovern Agykutatási Intézetének kutatója, valamint az MIT agy -, elmék-és Gépközpontjának igazgatója., “Nyilvánvalóan öt vagy hat alapvető influenzavírus törzs létezik, és nyilvánvalóan mindegyik körülbelül 25 éves időszakkal tér vissza. Az emberek megfertőződnek, immunválaszt fejlesztenek ki, így a következő 25 évben nem fertőződnek meg. Aztán van egy új generáció, amely készen áll arra, hogy ugyanazt a vírustörzset fertőzje meg. A tudományban az emberek beleszeretnek egy ötletbe, izgatottak lesznek, halálra kalapálják, majd immunizálnak — belefáradnak. Tehát az ötleteknek ugyanolyan gyakorisággal kell rendelkezniük!,”
súlyos kérdések
a neurális hálók a gépi tanulás eszközei, amelyekben a számítógép megtanul valamilyen feladatot elvégezni a képzési példák elemzésével. Általában a példákat előre kézzel címkézték. Egy objektumfelismerő rendszer például több ezer címkézett képet táplálhat autókról, házakról, kávéscsészékről stb., és olyan vizuális mintákat találna a képeken, amelyek következetesen korrelálnak az egyes címkékkel.
az emberi agyon lazán modellezett neurális háló több ezer vagy akár több millió egyszerű feldolgozó csomópontból áll, amelyek sűrűn összekapcsolódnak., A mai neurális hálók nagy része csomópontok rétegeibe van szervezve, és ezek “előre haladnak”, ami azt jelenti, hogy az adatok csak egy irányban mozognak rajtuk. Az egyes csomópontokat az alatta lévő réteg több csomópontjához lehet csatlakoztatni, ahonnan adatokat fogad, valamint a felette lévő réteg több csomópontjához, amelyekhez adatokat küld.
minden bejövő kapcsolatához egy csomópont hozzárendel egy “súly” néven ismert számot.”Amikor a hálózat aktív, a csomópont különböző adatelemet — különböző számot-kap az egyes kapcsolatokon keresztül, majd a hozzá tartozó tömeggel megsokszorozza., Ezután összeadja a kapott termékeket, egyetlen számot adva. Ha ez a szám egy küszöbérték alatt van, a csomópont nem ad át adatokat a következő rétegnek. Ha a szám meghaladja a küszöbértéket, akkor a csomópont “tüzel”, ami a mai neurális hálókban általában azt jelenti, hogy a számot — a súlyozott bemenetek összegét — elküldik az összes kimenő kapcsolat mentén.
amikor egy neurális hálót kiképeznek, az összes súlya és küszöbértéke kezdetben véletlenszerű értékekre van állítva., Az edzési adatokat az alsó rétegbe — a bemeneti rétegbe — tápláljuk, majd a következő rétegeken keresztül, komplex módon szorozzuk össze, amíg végül meg nem érkezik, radikálisan átalakul a kimeneti rétegen. A képzés során a súlyokat és a küszöbértékeket folyamatosan módosítják, amíg az azonos címkékkel ellátott képzési adatok következetesen hasonló eredményeket nem eredményeznek.
Elmék gépek
A neurális hálók által leírt McCullough, valamint Pitts 1944-ben volt a küszöbértékek, súlyok, de nem voltak rendezve rétegek, a kutatók nem határoz meg semmilyen képzés mechanizmus., McCullough és Pitts azt mutatta, hogy egy neurális háló elvileg bármilyen funkciót képes kiszámolni, amit egy digitális számítógép képes. Az eredmény inkább az idegtudomány volt, mint a számítástechnika: a lényeg az volt, hogy azt sugallják, hogy az emberi agy számítástechnikai eszköznek tekinthető.
a neurális hálók továbbra is értékes eszköz az idegtudományi kutatásokhoz. Például bizonyos hálózati elrendezések vagy a súlyok és küszöbértékek beállítására vonatkozó szabályok reprodukálták az emberi Neuroanatómia és a megismerés megfigyelt jellemzőit, ami azt jelzi, hogy megragadnak valamit arról, hogy az agy hogyan dolgozza fel az információkat.,
Az első edzhető neurális hálózat, a Perceptron, a Cornell Egyetem pszichológusa, Frank Rosenblatt mutatta be 1957-ben. A Perceptron kialakítása nagyon hasonló volt a modern neurális hálóéhoz, kivéve, hogy csak egy rétege volt állítható súlyokkal és küszöbökkel, a bemeneti és kimeneti rétegek között.,
a Perceptronok mind a pszichológia, mind a számítástechnika kezdeti tudományágának aktív kutatási területe volt 1959-ig, amikor Minsky és Papert megjelent egy “Perceptrons” című könyvet, amely kimutatta, hogy bizonyos meglehetősen gyakori számítások végrehajtása a Perceptronokon nem lenne praktikus időigényes.
“természetesen ezek a korlátozások megszűnnek, ha egy kicsit bonyolultabb gépet veszünk-például két réteget” – mondja Poggio. De abban az időben, a könyv hűvös hatással volt a neurális-nettó kutatásra.,
“ezeket a dolgokat történelmi kontextusba kell helyezni” – mondja Poggio. “A programozás mellett érveltek — olyan nyelvekre, mint a Lisp. Nem sok évvel korábban az emberek még mindig analóg számítógépeket használtak. Egyáltalán nem volt világos, hogy a programozás volt az út. Azt hiszem, kicsit túlzásba vitték, de mint mindig, nem fekete-fehér. Ha úgy gondolja, hogy ez a verseny az analóg számítástechnika és a digitális számítástechnika között, akkor harcoltak azért, ami akkoriban helyes volt.,”
periodicitás
az 1980-as évekre azonban a kutatók algoritmusokat fejlesztettek ki a neurális hálók súlyának és küszöbértékeinek módosítására, amelyek elég hatékonyak voltak a több rétegű hálózatok számára, eltávolítva a Minsky és Papert által azonosított számos korlátozást. A mező reneszánszát élvezte.
de intellektuálisan van valami, ami nem kielégítő az ideghálókkal kapcsolatban. Elegendő képzés felülvizsgálhatja a hálózat beállításait arra a pontra, hogy hasznos módon osztályozhatja az adatokat, de mit jelentenek ezek a Beállítások?, Milyen képi vonásokat nézeget egy tárgyfelismerő, és hogyan rakja össze őket az autók, házak és kávéscsészék jellegzetes vizuális aláírásaiba? Az egyes kapcsolatok súlyának vizsgálata nem válaszol erre a kérdésre.
az elmúlt években a számítógépes tudósok ötletes módszereket kezdtek kidolgozni a neurális hálók által elfogadott analitikai stratégiák levezetésére. De az 1980-as években a hálózatok stratégiái megfejthetetlenek voltak., A századforduló táján a neurális hálózatokat támogató vektorgépek váltották fel, ami a gépi tanulás alternatív megközelítése, amely néhány nagyon tiszta és elegáns matematikán alapul.
a neurális hálózatok közelmúltbeli újjáéledése — a mély tanulási forradalom-a számítógépes játékipar jóvoltából származik. A mai videojátékok összetett ábrázolása és gyors tempója olyan hardvert igényel, amely képes lépést tartani, ennek eredménye a grafikus feldolgozó egység (GPU), amely több ezer viszonylag egyszerű processzormagot csomagol egyetlen chipre., Nem tartott sokáig, amíg a kutatók rájöttek, hogy a GPU architektúrája figyelemre méltóan hasonlít egy neurális hálóhoz.
a Modern GPU-k lehetővé tették az 1960 – as évek egyrétegű hálózatainak, valamint az 1980-as évek két-három rétegű hálózatainak virágzását a mai 10, 15, sőt 50 rétegű hálózatokba. Erre utal a” mély “a” mély tanulásban ” — a hálózat rétegeinek mélysége. Jelenleg a deep learning felelős a legjobban teljesítő rendszerekért a mesterséges intelligencia kutatás szinte minden területén.,
a motorháztető alatt
a hálózatok átlátszósága még mindig zavaró a teoretikusok számára, de ezen a fronton is van előrelépés. Amellett, hogy irányítja a Center for Brains, Minds, and Machines (CBMM), Poggio vezeti a Központ kutatási program elméleti keretek intelligencia. A közelmúltban Poggio és CBMM kollégái háromrészes elméleti tanulmányt készítettek a neurális hálózatokról.,
Az első rész, amely megjelent a múlt hónapban az International Journal of Automatizálás, valamint a Számítástechnikai, címek tartománya számítások, hogy a mély-tanulási hálózatok lehet végrehajtani, majd amikor mély hálózatok ajánlat előnye a sekélyebb is., Alkatrész, két, három, ami már megjelent CBMM műszaki jelentések, a problémákat a globális optimalizálás, illetve garantálja, hogy egy network megtalálta a beállításokat, hogy a legjobb összhangban a képzési adatok, valamint overfitting, vagy az esetekben, amelyekben a hálózati annyira ráhangolódott a részleteket a képzés adatait, hogy nem kell általánosítani, hogy más esetekben az azonos kategóriákban.,
még mindig rengeteg elméleti kérdésre kell válaszolni, de a CBMM kutatói munkája segíthet annak biztosításában, hogy a neurális hálózatok végül megtörjék azt a generációs ciklust, amely hét évtizeden keresztül kedvükre hozta őket.
Vélemény, hozzászólás?