Visão geral e contexto



Baixar 38.07 Kb.
Encontro06.08.2016
Tamanho38.07 Kb.

Rede Neural de Hopfield: Extensões e Aplicações

Visão geral e contexto


A rede ou modelo de Hopfield é um tipo particular de rede recorrente desenvolvido por J.J. Hopfield e D.W. Tank e apresentada em 1986 [10], consistindo de um conjunto de neurônios e um conjunto correspondente de atrasos unitários, formando um sistema realimentado de múltiplos laços. Existe a realimentação, porém não a auto-alimentação: a saída de um neurônio alimenta todos os outros neurônios, exceto ele mesmo [7].



Figura 1: Grafo arquitetural de uma rede de Hopfield

consistindo de N = 4 neurônios. [7, pag. 732]


A exemplo da abordagem do modelo do estado cerebral em uma caixa (Brain-State-in-a-Box, BSB), a rede de Hopfield vale-se do conceito de minimização de energia, apresentando características de estabilidade dinâmica (há a garantia de que a rede convergirá para uma solução quando dado um padrão de entrada [24]) e prestando-se, em geral, a implementações de dispositivos de memória endereçável por conteúdo ou como um computador analógico para resolver problemas de otimização do tipo combinatório [7]. Nessa perspectiva, memórias correspondem a locais de mínimo no espaço de energia e uma boa apresentação introdutória sobre o conceito de minimização de energia e dos teoremas de Lyapunov a ele associados pode ser encontrada em [7; 24], maiores detalhes sobre esses aspectos podem ser encontrados em [1, 19]. Uma visão geral, em nível introdutório, das BSB e das redes de Hopfield está disponível em [24], e há uma boa explicação em [7] sobre o modelo de Hopfield discreto como uma memória endereçável por conteúdo, contando inclusive com um interessante experimento computacional proposto e discutido. A dinâmica de redes neurais recorrentes é também analisada em [5]. Os principais trabalhos publicados por Hopfield são aqueles indicados nas referências [8, 9, 10, 11, 12, 13, 14, 15, 16 e 28].

Extensões e variações da abordagem original


Uma importante extensão ao modelo de Hopfield foi proposta em [2], visando manipular restrições de igualdade e desigualdade na resolução de problemas de otimização combinatória, recebendo a denominação de EHM (Extended Hopfield Model). Essa abordagem introduz na função objetivo alguns termos de energia adicional para penalizar estados impossíveis, levando à introdução de novos neurônios na rede para administrar esse comportamento. O EHM possui como um ponto fraco a possibilidade de produzir, em diversas situações, alguns neurônios com níveis de ativação razoavelmente distantes daqueles mais adequados (que seriam 0 e 1, onde a ambigüidade é mínima). Um tratamento para esse problema é apresentado em [22], através da introdução de um mecanismo de ativação competitiva, que incentiva a existência de pares de neurônios com comportamento competitivo (onde os ganhos de um ocorrem às custas das perdas do outro).

As redes de Hopfield geralmente são treinadas com padrões tidos como livres de ruído, e um estudo sobre o desempenho desse modelo em projetos que visam memorizar seqüências espaço-temporais a partir de conjuntos de treinamento contaminados com ruído é apresentado em [30]. O efeito da presença de ruídos no treinamento não supervisionado de redes de Hopfield é tratado em [29].

A utilização desse tipo de rede na resolução do clássico problema do caixeiro viajante é apresentada e discutida em [27], e algumas melhorias são propostas no sentido de se evitar a convergência para soluções impossíveis ou sub-ótimas e para o tratamento do excesso de sensibilidade dos resultados no ajuste de parâmetros, constituindo-se numa auto-intitulado Modelo Hopfield Extendido (Extended Hopfield Model - E-HM).

Estratégias distintas para se acelerar a convergência das redes de Hopfield são apresentadas em [3] e em [4].

Uma arquitetura para identificação de sistemas não lineares é proposta em [33], através de uma rede neural em 3 camadas. Na primeira delas, chamada geradora de função, a entrada de dados é recebida e um processamento é feito para produzir uma matriz de pesos, um vetor de bias e um conjunto de funções chamado Gabor basis functions. A segunda camada é uma rede de Hopfield convencional que recebe a matriz de pesos e o vetor de bias e processa seu ajuste a partir dos dados de entrada. A terceira camada é uma rede de controle que tem como entradas a saída da rede Hopfield e as funções geradas pela primeira camada, e seu propósito é avaliar o erro geral obtido nas camadas anteriores e administrar o seu funcionamento. Alguns resultados interessantes são relatados, a partir de discussão teórica e da simulação de problemas em computador.

Como decorrência do trabalho original de Hopfield estabeleceu-se a pesquisa de memórias associativas, no caso, memórias autoassociativas ou unidirecionais. Trabalhos no sentido da definição de memórias associativas bidirecionais (BAM - bidirectional associative memory) foram desenvolvidos em [20; 21] e colocados, pelo menos em princípio, como uma generalização do modelo de rede de Hopfield. Um modelo alternativo de BAM que utiliza feedforward em vez de feedback é apresentado em [32] e um algoritmo de aprendizado para memórias associativas é apresentado em [31].

Uma abordagem de redes neurais recorrentes sob a perspectiva da teoria dos grafos, com ênfase no modelo de Hopfied, é encontrada em [6], que oferece uma proposta de cálculo da matriz de pesos a partir do uso de técnicas de coloração de grafos. Melhorias na capacidade de armazenamento e do tempo de convergência de redes de Hopfield são propostas e analisadas, também no contexto da teoria dos grafos, em [18, 19].

Aplicações


A utilização de uma rede de Hopfield no processamento de sinais, para estimar e filtrar o componente de ruído estruturado ali presente, é tratada em [23], juntamente com uma aplicação na resolução de problemas ligados ao controle de trajetória do braço de um robô.

Uma aplicação para o tratamento do problema da cobertura de conjuntos é utilizada em [22] para validar algumas propostas de melhorias na arquitetura EHM. Ainda na área de otimização combinatória com extensões do modelo de Hopfield, [3] menciona abordagens para os problemas do caixeiro viajante e da distribuição de módulos numa rede.

O aspecto da utilidade de memórias associativas apoiadas no modelo de Hopfield é tratado em [30] que, após reconhecer que "depois de um conjunto de padrões de memória ser aprendido pela rede, um apresentação de entrada com ruído leva a rede a recuperar o padrão memorizado em seu lugar", faz uma exposição sobre o armazenamento e recuperação de seqüências de padrões espaciais com dependência temporal.

A utilização de redes de Hopfield para a solução de problemas relacionados ao rastreamento de objetos em radar é discutida em [26], com um comparativo entre diversas abordagens conexionistas e culminando com a proposição de um novo modelo, denominado Multiple Elastic Modules (MEM).

Restauração de imagens degradadas no contexto da medicina nuclear é tratada em [25], com uma descrição do problema e a apresentação de uma arquitetura de rede neural de Hopfield multicanal modificada.

Referências Bibliográficas





[ 1]

ABE, S. 1989. Theories on the Hopfield neural networks. In: Proceedings International Joint Conference on neural networks, Washington, D.C., 1989, vol. I, pp 557-564.

*** citado em [22] ***




[ 2]

ABE, S.; KAWAKAMI, J. & HIRASAWA, K. 1992. Solving inequality constrained combinatorial optimization problems by the Hopfield neural networks. Neural networks, vol. 5, pp 663-670, 1992.

*** citado em [22] ***




[ 3]

ABE, Shigeo. 1996. Convergence acceleration of the Hopfield neural network by optimizing integration step sizes. IEEE Transactions on systems, man, and cybernetics, vol. 26, no. 1, feb. 1996, pp 194-201.

*** BAE ***




[ 4]

BHARITKAR, S. & MENDEL, J.M. 2000. The hysteretic Hopfield neural network. IEEE Transactions on neural networks, vol. 11, no. 4, july 2000, pp 879-888.

*** BAE ***




[ 5]

DRAYE, J-P; PAVISIC, D.A.; CHERON, G.A. & LIBERT, G.A. 1996. Dynamic recurrent neural networks: a dynamical analysis. IEEE Transactions on systems, man, and cybernetics, vol. 26, no. 5, oct. 1996, pp 692-706.

*** BAE ***




[ 6]

GIMÉNEZ-MARTÍNEZ, V. 2000. A modified Hopfield auto-associative memory with improved capacity. IEEE Transactions on neural networks, vol. 11, no. 4, july 2000, pp 867-878.

*** BAE ***




[ 7]

HAYKIN, Simon. 2001. Redes neurais: Princípios e prática. Trad. Paulo Martins Engel. 2a ed. Porto Alegre: Bookman, 2001.

*** adquirido na Liv. Cultura ***




[ 8]

HOPFIELD, J.J, D.I. FEINSTEIN & R.G. PALMER. 1983. "Unlearning" has a stabilizing effect in collective memories. Nature, vol. 304, pp 158-159.

*** citado em [ 7] ***




[ 9]

HOPFIELD, J.J. & TANK, D.W. 1985. 'Neural' computation of decisions in optimization problems. Biological Cybernetics, vol. 52, pp. 141-152, 1985.

*** citado em [ 7] ***




[10]

HOPFIELD, J.J. & TANK, D.W. 1986. Computing with neural circuits: A model. Science, vol. 233, pp. 625-633, 1986.

*** citado em [ 7] ***




[11]

HOPFIELD, J.J. 1982. Neural networks and physical systems with emergent collective computational abilities. In: Proceedings of the National Academy of Sciences of the U.S.A., vol. 79, pp. 2554-2558, 1982.

*** citado em [ 7] ***




[12]

HOPFIELD, J.J. 1984. Neurons with graded response have collective computational properties like those of two-state neurons. In: Proceedings of the National Academy of Sciences of the U.S.A., vol. 81, pp. 3088-3092, 1984.

*** citado em [ 7] ***




[13]

HOPFIELD, J.J. 1987a. Networks, computations, logic, and noise. IEEE International Conference on Neural Networks, vol. I, pp.107-141, San Diego, CA.

*** citado em [ 7] ***




[14]

HOPFIELD, J.J. 1987b. Learning algorithms and probability distributions in feed-forward and feed-back networks. Proceedings of the National Academy of Sciences, USA, vol. 84, pp 8429-8433.

*** citado em [ 7] ***




[15]

HOPFIELD, J.J. 1994. Neurons, dynamics and computation. Physics Today, vol. 47, pp 40-46, February.

*** citado em [ 7] ***




[16]

HOPFIELD, J.J. 1995. Pattern recognition computation using action potential timing for stimulus representation. Nature, vol. 376, pp. 33-36.

*** citado em [ 7] ***




[17]

JAGOTA, A. 1990. A new Hopfield-style network for content-addressable memories. [online]. Disponível em: <ftp://gatekeeper.dec.com/pub/doc/neuroprose/jagota.hsn.ps.Z>. Acessado em: 19 set. 2001.


[18]

JAGOTA, A. 1990. The Hopfield-style Network as a Maximal-Clique Graph Machine. [online]. Disponível em: . Acessado em: 20 set. 2001.


[19]

JUANG, J-C. 1999. Stabilty analysis of Hopfield-type neural networks. IEEE Transactions on neural networks, vol. 10, no. 6, nov. 1999, pp 1366-1374.

*** BAE ***




[20]

KOSKO, B. 1987. Adaptive bidirectional associative memories. Appl. Opt., vol. 26, no. 23, 1987, pp 4947-4960.

*** citado em [32] ***




[21]

KOSKO, B. 1988. Bidirectional associative memories. IEEE Transactions on systems, man, and cybernetics, vol. 18, jan. 1988, pp 49-60.

*** citado em [32] ***




[22]

LE GALL, A. & ZISSIMOPOULOS, V. 1999. Extended Hopfield models for combinatorial optimization. In: IEEE Transactions on neural networks, vol 10, no. 1, jan. 1999, pp 72-80.

*** BAE ***




[23]

LENDARIS, G.G.; MATHIA, K. & SAEKS, R. 1999. Linear Hopfield networks and constrained optimization. In: IEEE Transactions on systems, man, and cybernetics. Vol. 29, no. 1, feb. 1999, pp 114-118.

*** BAE ***




[24]

LOESCH, Claudio & SARI, Solange T. 1996. Redes neurais artificiais: fundamentos e modelos. Blumenau: Ed. da FURB. 166 p.

*** adquirido na livraria da Edunicamp ***




[25]

QIAN, W. & CLARKE, L.P. 1996. Wavelet-based neural network with fuzzy-logic adaptivity for nuclear image restoration. In: Proceedings of the IEEE, vol. 84, no. 10, oct 1996, pp 1458-1473.

*** BAE ***




[26]

SHAMS, S. 1996. Neural network optimization for multi-target multi-sensor passive tracking. In: Proceedings of the IEEE, vol. 84, no. 10, oct 1996, pp 1442-1457.

*** BAE ***




[27]

TAKAHASHI, Y. 1998. Mathematical improvement of the Hopfield model for feasible solutions to the Traveling Salesman Problem by a synapse dynamical system. IEEE Transactions on systems, man, and cybernetics, vol. 28, no. 6, dec. 1998, pp 906-919.

*** BAE ***




[28]

TANK, D.W. & HOPFIELD, J.J. 1986. Simple 'neural' optimization networks: an A/D converter, signal decision circuit, and a linear programming circuit. IEEE Transactions on circuits systems, vol CAS-33, pp 533-541, 1986.

*** citado em [23] ***




[29]

WANG, L. 1997. Noise injection into inputs in sparsely connected Hopfield and winner-all neural networks. IEEE Transactions on systems, man, and cybernetics, vol. 27, no. 5, oct. 1997, pp 868-870.

*** BAE ***




[30]

WANG, L. 1998. Effects of noise in training patterns on the memory capacity of the fully connected binary Hopfield neural network: mean-field theory and simulations. IEEE Transactions on neural networks, vol. 9, no. 4, july 1998, pp 697-704.

*** BAE ***




[31]

WU, Y. & BATALAMA, S.N. 2000. An efficient learning algorithm for associative memories. IEEE Transactions on neural networks, vol. 11, no. 4, july 2000, pp 1058-1066.

*** BAE ***




[32]

WU, Y. & PADOS, D.A. 2000. A feedforward bidirectional associative memory. IEEE Transactions on neural networks, vol. 11, no. 4, july 2000, pp 859-866.

*** BAE ***




[33]

ZHANG, C.Q. & FADALI, M.S. 1996. Nonlinear system identification using a Gabor / Hopfield network. IEEE Transactions on systems, man, and cybernetics, vol. 26, no. 1, feb. 1996, pp 124-134.

*** BAE ***








Compartilhe com seus amigos:


©principo.org 2019
enviar mensagem

    Página principal