In the past 10 years, the best-performing artificial-intelligence systems — such as the speech recognizers on smartphones or Google’s latest automatic translator — have resulted from a technique called “deep learning.”
A aprendizagem profunda é, de fato, um novo nome para uma abordagem à inteligência artificial chamada redes neurais, que têm entrado e saído de moda por mais de 70 anos., As redes neurais foram propostas pela primeira vez em 1944 por Warren McCullough e Walter Pitts, dois pesquisadores da Universidade de Chicago que se mudaram para o MIT em 1952 como membros fundadores do que às vezes é chamado de primeiro departamento de ciência cognitiva.Redes Neurais foram uma grande área de pesquisa em neurociência e Ciência da computação até 1969, quando, de acordo com a tradição da ciência da computação, foram mortas pelos matemáticos do MIT Marvin Minsky e Seymour Papert, que um ano mais tarde se tornaria co-diretores do novo laboratório de Inteligência Artificial do MIT.,
a técnica então desfrutou de um ressurgimento na década de 1980, caiu em eclipse novamente na primeira década do novo século, e voltou como “gangbusters” na segunda, alimentado em grande parte pelo aumento da potência de processamento de chips gráficos.
“Existe esta ideia de que as ideias na ciência são um pouco como epidemias de vírus”, diz Tomaso Poggio, o Professor Eugene McDermott de Ciências cerebrais e cognitivas do MIT, um investigador do Instituto McGovern do MIT para pesquisa cerebral, e diretor do centro do MIT para cérebros, mentes e máquinas., “Aparentemente há cinco ou seis estirpes básicas de vírus da gripe, e aparentemente cada uma volta com um período de cerca de 25 anos. As pessoas ficam infectadas, e elas desenvolvem uma resposta imunitária, e assim elas não ficam infectadas nos próximos 25 anos. E depois há uma nova geração que está pronta para ser infectada pela mesma estirpe de vírus. Na ciência, as pessoas apaixonam — se por uma ideia, entusiasmam-se com ela, martelam-na até à morte, e depois são imunizadas-cansam-se dela. Portanto, as ideias devem ter o mesmo tipo de periodicidade!,”
questões de peso
redes neurais são um meio de fazer o aprendizado da máquina, no qual um computador aprende a realizar alguma tarefa analisando exemplos de treinamento. Normalmente, os exemplos foram rotulados à mão com antecedência. Um sistema de reconhecimento de objetos, por exemplo, pode ser alimentado com milhares de imagens rotuladas de carros, casas, xícaras de café, e assim por diante, e ele iria encontrar padrões visuais nas imagens que consistentemente correlacionam com etiquetas particulares.
modeled loosely on the human brain, a neural net consists of thousands or even millions of simple processing nodes that are densely interconected., A maioria das redes neurais de hoje são organizadas em camadas de nós, e elas são “feed-forward”, o que significa que os dados se movem através deles em apenas uma direção. Um nó individual pode ser conectado a vários nós na camada abaixo dele, a partir do qual ele recebe dados, e vários nós na camada acima dele, para o qual ele envia dados.
para cada uma de suas conexões de entrada, um nó irá atribuir um número conhecido como “Peso”.”Quando a rede está ativa, o nó recebe um item de dados diferente — um número diferente-sobre cada uma de suas conexões e multiplica-o pelo peso associado., Em seguida, adiciona os produtos resultantes juntos, dando um único número. Se esse número estiver abaixo de um valor limiar, o nó não passa dados para a próxima camada. Se o número exceder o valor limiar, o nó “dispara”, que nas redes neurais atuais geralmente significa enviar o número — a soma das entradas ponderadas — ao longo de todas as suas conexões de saída.quando uma rede neural está sendo treinada, todos os seus pesos e limiares são inicialmente definidos em valores aleatórios., Os dados de treinamento são alimentados até a camada inferior-a camada de entrada-e ela passa através das camadas seguintes, sendo multiplicada e adicionada em conjunto de maneiras complexas, até que finalmente chega, radicalmente transformada, na camada de saída. Durante a formação, os pesos e limiares são continuamente ajustados até que os dados de formação com os mesmos rótulos produzam resultados semelhantes consistentemente.as redes neurais descritas por McCullough e Pitts em 1944 tinham limiares e pesos, mas não estavam dispostas em camadas, e os pesquisadores não especificaram nenhum mecanismo de treinamento., O que McCullough e Pitts mostraram foi que uma rede neural poderia, em princípio, computar qualquer função que um computador digital pudesse. O resultado foi mais neurociência do que ciência da computação: o ponto era sugerir que o cérebro humano poderia ser pensado como um dispositivo de computação.as redes neurais continuam a ser uma ferramenta valiosa para a pesquisa neurocientífica. Por exemplo, layouts particulares de rede ou regras para ajustar pesos e limiares têm reproduzido características observadas de neuroanatomia e cognição humana, uma indicação de que eles capturam algo sobre como o cérebro processa a informação.,a primeira rede neural treinável, o Perceptron, foi demonstrada pelo psicólogo da Universidade Cornell Frank Rosenblatt em 1957. O projeto do Perceptron era muito parecido com o da rede neural moderna, exceto que ele tinha apenas uma camada com pesos ajustáveis e limiares, entre camadas de entrada e saída.,
Perceptrons foram uma área ativa de pesquisa, tanto de psicologia e de incipiente, a disciplina de ciência da computação até 1959, quando Minsky e Papert publicaram um livro intitulado “Perceptrons”, o que demonstrou que a execução de certos bastante comum cálculos em Perceptrons seria impractically demorado.
“é claro que todas essas limitações desaparecem se você tomar máquinas que são um pouco mais complicadas, como duas camadas”, diz Poggio. Mas na época, o livro teve um efeito arrepiante na pesquisa da rede neural.,
“Você tem que colocar essas coisas em contexto histórico”, diz Poggio. “Eles estavam discutindo para programação-para linguagens como Lisp. Não muitos anos antes, as pessoas ainda estavam usando computadores analógicos. Não ficou claro na altura que a programação era o caminho a seguir. Acho que exageraram um pouco, mas como sempre, não é preto no branco. Se você pensa nisso como essa competição entre computação analógica e computação digital, Eles lutaram pelo que na época era a coisa certa.,”
Periodicidade
na década de 1980, no entanto, os pesquisadores tiveram desenvolvidos algoritmos para a modificação de redes neurais’ pesos e limiares que foram suficientemente eficiente para redes com mais de uma camada, a remoção de muitas das limitações identificadas por Minsky e Papert. O campo desfrutou de um renascimento.mas intelectualmente, há algo insatisfatório nas redes neurais. Treinamento suficiente pode revisar as configurações de uma rede ao ponto de poder classificar dados de forma útil, mas o que essas configurações significam?, Que características de imagem é um reconhecedor de objetos olhando, e como ele os coloca juntos nas assinaturas visuais distintivas de carros, casas e xícaras de café? Olhar para os pesos das ligações individuais não vai responder a essa pergunta.nos últimos anos, cientistas da computação começaram a inventar métodos engenhosos para deduzir as estratégias analíticas adotadas pelas redes neurais. Mas nos anos 80, as estratégias das redes eram indecifráveis., Por volta da virada do século, as redes neurais foram suplantadas por máquinas vetoras de suporte, uma abordagem alternativa à aprendizagem de máquinas que é baseada em matemática muito limpa e elegante.o recente ressurgimento em redes neurais — a revolução da aprendizagem profunda-vem cortesia da indústria de jogos de computador. As imagens complexas e o ritmo rápido dos jogos de vídeo de hoje requerem hardware que pode acompanhar, e o resultado foi a unidade de processamento gráfico (GPU), que embala milhares de núcleos de processamento relativamente simples em um único chip., Não demorou muito para os pesquisadores perceberem que a arquitetura de uma GPU é notavelmente como a de uma rede neural.a GPUs moderna permitiu que as redes de uma camada da década de 1960 e as redes de duas a três camadas da década de 1980 desabrochassem para as redes de 10, 15, até mesmo 50 camadas da atualidade. É a isso que o” profundo “em” profundo aprendizado ” se refere — a profundidade das camadas da rede. E atualmente, a deep learning é responsável pelos melhores sistemas em quase todas as áreas de pesquisa de inteligência artificial.,
sob o capô
a opacidade das redes ainda é inquietante para os teóricos, mas há progressos nessa frente, também. Além de dirigir o centro de cérebros, mentes e máquinas (CBMM), Poggio lidera o programa de pesquisa do centro em estruturas teóricas para a inteligência. Recentemente, Poggio e seus colegas da CBMM divulgaram um estudo teórico de três partes das redes neurais.,
A primeira parte, que foi publicada no mês passado no International Journal of Automation and Computing, aborda a gama de computações que as redes de aprendizagem profunda podem executar e quando as redes profundas oferecem vantagens sobre as mais fracas., As partes dois e três, que foram lançadas como CBMM relatórios técnicos, resolver os problemas de otimização global, ou garantir que uma rede tenha encontrado as configurações que melhor acordo com os seus dados de treinamento, e overfitting, ou casos em que a rede se torna tão sintonizados com as especificidades de sua formação, de dados que não consegue generalizar para outras instâncias da mesma categoria.,
ainda há muitas perguntas teóricas a serem respondidas, mas o trabalho dos pesquisadores da CBMM poderia ajudar a garantir que as redes neurais finalmente quebram o ciclo geracional que os trouxe e fora de favor por sete décadas.
Deixe uma resposta