Bibliografía del Blog

[Abu-Mostafa et al.1985] Abu-Mostafa Y. S., St. Jacques J. M., Information Capacity of the Hopfield Model, IEEE Transactions on Information Theory, Vol. IT-31, No. 4, July, 1985.

[Feng2000 et al.] Feng G., Douligeris C., Using Hopfield Networks to Solve Traveling Salesman Problems Based on Stable State Analysis Technique, Proceedings of the IEEE-INNS-ENNS International Joint Conference on Neural Networks (IJCNN ’00), 0-7695-0619-4, 2000, IEEE.

[Freeman et al. 1992] Freeman J. A., Skapura D. M., Neural Networks: Algorithms, Applications and Programming Techniques, Adison-Wesley Publishing Company, ISBN 0-201-51376-5, 1992, pp 89-124.

[Fukush1980] Fukushima K., Neocognitron: a self-organizing neural network model for a mechanism of pattern recognition unaffected by shift in position, Biological Cybernetics, Springer Verlag, 36, pp. 193-202, 1980.

 [Fukush1987] Fukushima K.,Neural Network model for selective attention in visual pattern recognition and associative recall, Applied Optics, Vol. 26, No. 23, December, pp. 4985-4992, 1987.

[Fukush1986] Fukushima K., A Neural Network model for selective attention in visual pattern recognition, Biological Cybernetics, Springer Verlag, 55, pp. 5-15, 1986.

[Fukush1988a] Fukushima K., Neocognitron: a hierarchical neural network capable of visual pattern recognition, Neural Networks, Vol. 1, pp. 119-130, 1988.

[Fukush et al 1982] Fukushima K., Miyake S., Neocognitron: a new algorithm for pattern recognition tolerant of deformations and shifts in positions, Pattern Recognition, Vol. 15, No. 6, pp. 455-469, 1982.

[Fukush1988b] Fukushima K., A neural network for visual pattern recognition, Computer, IEEE, March 1988, pp. 65-75.

[Fukush1975] Fukushima K., Cognitron: a self-organizing multilayered neural network, Biological Cybernetics, Springer Verlag, 20, pp. 121-136, 1975.

[Gaber2000 et al] Gaber K., Bahi M. J., El-Ghazawi T., Parallel Mining of Association Rules with a Hopfield type Neural Network, Proceedings of the 12^th IEEE International Conference on Tools with Artificial Intelligence (ICTAI’00), 1082-3409/00, 2000, IEEE.

[Hopfield1982] Hopfield J. J., Neural Networks and physical systems with emergent collective computational abilities, Proceedings National Academy of Sciences, USA, Vol. 79, pp. 2554-2558, April 1982, Biophysiscs.

[Hopfield1984] Hopfield J. J., Neurons with graded response have collective properties like those of two-state neurons, Proceedings National Academy of Sciences, USA, Vol. 81, pp. 3088-3092, May 1984, Biophysiscs.

[Hopfield1985 et al] Hopfield J. J., Tank D. W., Neural Computation of decisions in optimization problems, Springer-Verlag, Heidelberg, Biological Cybernetics, 52: 141-152, 1985.

[Jain et al 1996] Jain A. K., Mao J., Mohioddin K. M., Artificial Networks: A Tutorial, Computer, IEEE, March, 1996, pp 31-44.

[Kohonen1984] Kohonen T., self-Organization and Associative Memory, Series in Information Sciences, Vol. 8, Springer-Verlag, Berlin-Heidelberg-New York-Tokyo, 1984, 2^nd ed., 1988.

[Kohonen1988] Kohonen T., The “Neural” phonetic typewriter, Computer, IEEE, March 1988, pp.11-22.

[Le Cun et al 1989] Le Cun Y. Et al., Backpropagation Applied to Handwritten ZIP Code Recognition, Neural Computation, Vol. 1, 1989, pp. 541-551.

[Misky y Papert 1969] Minsky M., Papert S., Perceptrons, MIT Press, Cambridge, MA, 1969.

[Ogata1993] Ogata K., Ingeniería de control moderna, 2da Ed,  Prentice Hall Hispanoamericana S.A., ISBN 968-880-234-4, 1993.

[Pao et al 1991] Pao Yoh-Han, Sobajic D. J., Neural Networks and Knowledge Engineering, IEEE Transactions on Knowledge and Data Engineering, Vol. 3, No. 2, June, 1991.

[Sarle1994] Sarle W. S., Neural Networks ans Statistical Models, Proceedings of the Nineteenth Annual SAS Users Group International Conference, April 1994.

[Silva et al. 1997] Silva M., Mammeri Z., Solving Real-Time Scheduling Problems with Hopfield-type Neural Networks, Proceedings of the 23^rd EUROMICRO Conference ’97 New Frontiers of Information Technology, 1089-6503/97, 1997, IEEE.

Qué se entiende por Red Neuronal

Red Neuronal
Para entender qué es una red neuronal, por qué cada neurona es como es, y cómo se llega a la conclusión del procedimiento de entrenamiento de la red, se debe pensar como aquellos que buscaron modelar el comportamiento humano.

El cerebro humano posee más de 10 billones de neuronas, las cuales poseen poseen intrincadas conexiones y constituyen un red en gran escala. Por lo tanto descubrir los mecanismos neuronales de alto nivel no es fácil. En la aproximación neuropsicológica, por ejemplo, un microelectrodo se usa para registrar la respuesta de estas células (las de funciones de alto nivel). Sin embargo el registro puede ser hecho a lo sumo de unas pocas células simultaneamente. A pesar de que se puede obtener información fragmentada de esta manera, aun así entender el mecanismo de la red como un todo es difícil.

La aproximación por modelado, la cual es una manera sintética de aproximación utilizando modelos de redes neurales, continúa en nuestros días ganando importancia. En la aproximación por modelado, se estudia cómo interconectar neuronas para sintetizar un modelo del cerebro, el cual constituye una red neuronal con las mismas funciones y habilidades que el cerebro.

Cuando se sintetiza un modelo, se trata de seguir lo mejor posible a la evidencia psicológica. Para partes aún no muy claras, se proponen hipótesis y se sintetiza un modelo que implemente la hipótesis. Luego se analiza o simula el comportamiento del modelo y se lo compara con aquel correspondiente del cerebro. Si existen discrepancias entre el comportamiento del modelo y el del cerebro, se cambia la hipótesis inicial, se modela nuevamente y se realizan las pruebas comparándolo con el comportamiento del cerebro. Y así sucesivamente hasta que ambos comportamientos se parezcan. A pesar de que después debería validarse el modelo mediante experimentos psicológicos, es probable que el cerebro utilice mecanismos similares al del modelo porque ambos responden de la misma manera. Así, el modelado de redes neuronales promete ayudarnos a develar los mecanismos del cerebro.

Utilizando lo que se conoce acerca de las células neuronales, es que han sido planteados algunos de los modelos de neuronas más conocidos.

Una estructura de red neuronal es una colección procesadores paralelos conectados juntos en la forma de grafo, organizados tal que la estructura de la red se adecúe al problema que se aborde. Normalmente se modela la red mediante capas de procesadores con funcionalidades semejantes.

El comportamiento que se implementa para cada tipo de procesador (en cada capa) responderá a la hipótesis de comportamiento psicológico que esté siendo considerado. Hay que tener en cuenta que no siempre una neurona artificial posee una relación uno-a-uno con neuronas biológicas reales. Siempre es mejor  imaginar una neurona artificial representando la actividad colectiva de un grupo de neuronas reales; modelamos la conducta de una estructura biológica.

El poder de una red neuronal no radica en la elegancia de una solución particular, sino más bien en la generalidad de la red para hallar su propia solución a problemas particulares, dándole solo ejemplos del comportamiento deseado. Para ello, las redes neuronales poseen dos estados de operación: entrenamiento y producción. La diferencia de modos de operación es otra característica distintiva; si se simula una red, la fase de entrenamiento no requiere reprogramación del simulador, sino tan solo corre el algoritmo de ajuste corrigiendo los pesos de las conexiones entre neuronas.

Considerando el esquema de la figura 1 como un diagráma típico de una red neuronal, podemos representar esquemáticamente cada elemento procesador ( o unidad) en la red como un nodo, con conexiones entre las unidades indicadas con arcos. La dirección del flujo de información en la red se indica con las puntas de flecha de cada conexión.

Figura 1: esquema de una red neuronal típica. Esta red es un ejemplo de una red para el reconocimiento de caracteres. La aplicación de un patrón en la entrada puede provocar que varias unidades en la capa oculta se activen. Tal actividad en esta capa oculta debería hacer que solo una de las unidades de la capa de salida se active – aquella asociada con el patrón que está siendo identificado. Otro aspecto para destacar es la gran cantidad de conexiones a pesar del tamaño relativamente pequeño de la red.

Modelos de Redes Neuronales

En las tablas siguientes se detallan clasificaciones posibles según los tipos de arquitectura de las redes según los tipos de algoritmos de aprendizaje.

CLASIFICACION SEGÚN LA ARQUITECTURA DE LAS REDES NEURONALES
Nro. DE CAPAS	TIPOS DE CONEXION			MODELO DE RED
1		laterales explícitas	Autorrecurrentes	Brain state in a box
				Additive grossberg
				Shunting Grossberg
				Optimal linear associative memory
			No autorrecurrentes	Hopfield
				Boltzman Machine
				Cauchy Machine
		crossbar		Learning Matrix
2	Conexiones hacia adelante (feed-fordward)			Adaline/Madaline
				Perceptron
				Linear association reward penalty
				Linear associative memory (LAM)
				Optimal LAM
				Drive reinforcement
		Conexiones laterales implícitas y autorrecurrentes		Linear vector quantization (LVQ)
				TPM
	Conexiones hacia adelante y hacia atrás	Sin laterales		Bidirectional associative memory (BAM)
				Adaptive BAM
				Temporal associative memory
				Fuzzy associative memory
		Con laterales y autorrecurrentes		Competitive adaptive BAM
				Adaptive resonance theory (ART)
3	Conexiones hacia adelante	Sin laterales		Adaptive heuristic critic
				Boltzman / Cauchy machine
		Con laterales		Counterpropagation
				Boltzman / Cauchy machine
	Conexiones hacia atrás y adelante			Boltzman / Cauchy machine
>3	Conexiones hacia adelante			Backpropagation
	Conexiones hacia atrás y adelante			Cognitron / Neocognitron

CLASIFICACIÓN DE LAS REDES NEURONALES SEGÚN SU ALGORITMOS DE APRENDIZAJE
PARADIGMA	REGLA DE APRENDIZAJE	ARQUITECTURA	ALGORITMO DE APRENDIZAJE	TAREA QUE DESEMPEÑA LA RED
Supervisado	Corrección del error	Perceptron de capa simple o multicapa	Algoritmo de aprendizaje del perceptron	·         Clasificación de patrones ·         Aproximación de funciones ·         Predicción ·         Control
			Back-propagation
			Adaline y Madaline
	Boltzmann (aprendizaje estocástico)	Recurrente	Algoritmo de aprendizaje de Boltzmann	Clasificación de patrones
	Hebbiana	Multicapa con conexiones hacia adelante (feed-forward)	Análisis discriminante lineal	·         Análisis de datos ·         Clasificación de patrones
	Competitiva	Competitiva	Learning vector quantization (LVQ)	·         Categorización en clases ·         Compresión de datos
		ART network	ARTmap	·         Clasificación de patrones ·         Categorización en clases
No supervisado	Corrección del error	Multicapa con conexiones hacia adelante (feed-forward)	Proyección de Sammon	Análisis de datos
	Hebbiana	Conexiones hacia delante (feed-forward) o competitiva	Análisis de la componente principal	·         Análisis de datos ·         Compresión de datos
		Red de Hopfield	Associative memory learning	Memoria asociativa
	Competitiva	Competitiva	Cuantización vectorial	·         Categorización ·         Compresión de datos
		Self Organizing Maps	Kohonen’s SOM	·         Categorización ·         Compresión de datos
		ART networks	ART1, ART2	Categorización
Híbrido	Corrección del error y competitiva	Radial Basis Function	RBF learning algorithm	·         Clasificación de patrones ·         Aproximación de funciones ·         Predicción ·         Control