REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2....
Transcript of REDES NEURONALES RECURRENTES · 22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2....
Toda red que permite que la información viaja
en dos sentidos es una red recurrente Estopuede
lograrse con
loops a s
retornos µ
autointeracciones D
Ya hemos visto la red Hopfield 1984 quedijimospermite almacenar informacion holísticamente en
la red y la recupera por asociación Haya
cientos de modificaciones sobre el modelo de
Hatfield
REDES NEURONALES RECURRENTES
22 de octubre 2020 Redes Neuronales 2020 Clase 15, parte 2
Seguiremos ahora con las llamadas Máquinas de
Boltzmann que son redes neuronalesprobabilísticas
MAQUINA DE BOLTZMANN Hinton 1983
OUTPUT
abarrota
aberrarais
mohosos LO OCULTASaromabais
rezagábamosa INPUT
neuronas visibles
8D neuronas invisibles
Losacoplamientosentre dos neuronas cuandocanten
son bidireccionales y simétricos
Wij Uji
NEURONAS ESTOCASTICAS
Si l la neurona dispara
Si 1 la neurona está en repaso
la dinámica es similar a la de Hatfield
Prob Sitter g bi Enwijq.tt
Prob Silted D 1 J hi
hilt Ej W Sj A p LT
l T mediday h del
p e 4h ruido
Por ser los acoplamientos simétricos el sistematieneuna función de Liapunov que cumpla que si F 0
esta función solo decrece o se mantiene en eltiempoa medida que avanza el tiempo
H Si t wijsitttq.tt
El sistema a un dado valor de T recomena los
2N posibles configuraciones en probabilidad
PES CP it
z
µ
siePt
2
Con estaprobabilidad podemos calcular promedios de
cualquier cantidad que depende deS
2N
X En Pts1 X Ess
qué hace esta red Nos concentremos en las
neuronas visibles solamente a los que denominamos
Sid A los ocultos les llamamos
La red tiene que recorrer las posibles configuracionesde forma tal que las neuronas visibles recorrensus subestados con cierta probabilidades
Si tenemos 2 neuronas visibles tenemos 4 estados
si si Puesa L 1 1 0 6 Pa 2 1 1 Oo l Rr 22 4a 3 L 1 Oo l Rss
4 1 1 Oo 2 Ry
ptasPa Pop e
z
pHors2 Le
xp
Hap EE wijs.MG
E ERMITARa probabilidad de Esa deseada
wijsisjtlw.FIwinteri Aw Ew.jo y
2a é
wifi t.z.LI z l3Iii Lsisi
ft éÍ si I k.emgpqeHz.ms
pff sisi Pap Pe Csis D
Aw yppzqgplsisirpao LR.is S
ypfff R Pp si P LRalSiSYp Sisódelampad_ siSidious
Awij Ypf jetados_siSidious
Filajetados Rafi sisi
La red ajusta todos los acoplamientosde la red
que sigue ladistribución de Maxwell Boltzmann
de forma tal que las neuronas visibles recorrensus estados a con probabilidad Rx
Esta es una red generativa pues generaconfiguracionescon probabilidades deseadas
Para deep learning se usan redes de Boltzmannrestringidas CR BM
Nota esto no es más que una dinámicaMonte Carlo
Prop si Si Íl C
AHI cambio en Hal invertir Si
Es lento pero poderoso Se una simulated
annealing templado simuladosimulate annealing optimizado máquinadeCauchy
En el nivel moi alto debemos actualizar cada pero
muchasveces para que converja calculando en una
simulación Monte Carlo SÍ jetos y SiSóleisú
luego rumiamos T desándiéndola lentamente
Corregimos las sinapsis
MÁQUINA DE BOLTZMANN RESTRINGIDA
E v h La vi _Ebulhu Wipevitin
divi si vi C 0,13 binariocapaBernoulli hilvik
2k si vi c IR
bµhµ huelo e
giitiian.br HI huele2 2