Cantidad de Información de Fisher y propiedades de los MLE
description
Transcript of Cantidad de Información de Fisher y propiedades de los MLE
Departament d’Estadística
Divisió de Ciències Experimentals i Matemàtiques
Cantidad de Información de Fisher y propiedades de los MLE
Programa de doctorado en Estadística, Análisis de datos y Bioestadística
Fundamentos de Inferencia Estadística
Jordi Ocaña Rebull
Diapositiva resumen
Problema regular de estimación Información de Fisher observada Información de Fisher esperada Propiedades de la información de Fisher Desigualdad de Cramér-Rao Propiedades asintóticas de los MLE MLE e información de Fisher en los
modelos exponenciales
Problema regular de estimación
Modelo estadístico identificable Espacio paramétrico, , es un abierto de k
Para toda densidad f , soporte de f(y;) independiente de
Derivación respecto de e integración respecto de y doblemente intercambiables:
Problema regular de estimaciónintercambiabilidad de integración y derivación Caso de parámetro escalar:
Para parámetro multidimensional, igualdad entre matrices
( ) ( ) ( ) ( )
( ) ( ) ( ) ( )2 2
2 2
; ;
; ;
d df y d y f y d y
d dd d
f y d y f y d yd d
q n q nq q
q n q nq q
=
=
ò ò
ò ò
Y Y
Y Y
( ) ( ) ( ) ( )2 2
; ;d d
f y d y f y d yd d d d
q n q nq q q q
=¢ ¢ò òY Y
Cantidad de información de Fisher observada
Definida como:
Medida de la curvatura local de l en la MLE: indicador del grado de preferencia del MLE sobre los puntos de alrededor.
( ) ( ) ( )2
2ˆ
ˆ ˆ = log ;
ˆsiendo la estimación MLE
dl f y
d q q
q q qq
q
=
æ ö÷碢= - - ÷ç ÷÷çè øI
( )ˆ ˆ es MLE 0q qÛ >I
Cantidad de información de Fisher esperada
Definición:
Equivalente a:
( ) ( )2
2 log ;d
I E f Yd
q qq
ì üï ïï ï= -í ýï ïï ïî þ
( ) ( )( )( )( ) ( )( ){ }
( ) ( )
2
2
log ;
var ; ;
donde función "score"
dI E f Y
d
u Y E u Y
u l
q qq
q q
q q
ì üï ïï ï= í ýï ïï ïî þ
= =
¢=
Cantidad de información de Fisher esperada
Parámetro multidimensional:
( ) ( )
( )( ) ( )( )( ){ }
2
log ;
log ; log ;
var ;
matriz de covarianzas de la función score
dE f Y
d d
d dE f Y f Y
d d
u Y
q qq q
q qq q
q
ì üï ïï ï= - í ý¢ï ïï ïî þì üï ï¢ï ï= í ýï ïï ïî þ
=
I
Propiedades de la información de Fisher. (i)
Aditividad: siY1,Y2 son (sub)muestras independientes con información I1() e I2() respectivamente, la información asociada a (Y1;Y2) es I1()+I2()
Consecuencia: si i() es la información asociada a un dato yj, ni() es la información asociada a una m.a.s. de tamaño n, y1,...,yn
Propiedades de la información de Fisher. (y ii)
Sea () invertible y diferenciable– Para parámetros escalares:
– En general:
Si T(Y) estadístico, IT() IY()– Si suficiente para , IT() = IY()
( )( )
( )( )
2dI I
dq q y
q yy q
yY=
æ ö÷ç= ÷ç ÷è ø
( ) ( ) , i
jI
qy q
yY
æ ö¶ ÷ç¢= = ÷ç ÷ç ÷¶è øJ I J J
Desigualdad de Cramér-Rao. (i)
T estadístico con momentos de segundo orden finitos, con a()=E{T(Y)}, a() derivable y 0 < I() < :
– Si T insesgado:
– Si parámetro multidimensional
( )( ) ( )( )( )( )( )
2
vara
MSE T Y T YI
¢³ ³
( )( )( )1
var T YI q
³
( )( ) ( ) 1var T Y q -³ I
Desigualdad de Cramér-Rao. (y ii)
No siempre existe (o es único) T(y) que llegue a varianza mínima de Cramér-Rao
Condición necesaria y suficiente para que exista un tal estimador: que exista una constante k() tal que la igualdad
( ) ( ) ( ) ( )( );
se cumpla con probabilidad 1
dl y k T y a
dq q q
q= -
Consecuencias de la igualdad anterior
Supongamos que T(y) alcanza la cota de Cramér-Rao:
Si es MLE de , T(y) función de :
Si T estimador insesgado de , coincide con el MLE,
T(y) es suficiente
q̂
( ) ( ) ( )ˆ ˆ; 0d
l y T y ad
q qq
= Þ =
q̂
( )ˆ T yq =
Propiedades asintóticas de los estimadores MLE
Bajo (complicadas) condiciones de regularidad (por ejemplo):– Problema regular de estimación– Existencia y valor positivo de I()– Existencia y acotación de terceras
derivadas de l– Muestreo aleatorio simple
MLE son consistentes, asintóticamente normales y asintóticamente eficientes
(Una) expresión concreta de las propiedades asintóticas de MLE
( ) ( )( )
( )
0
0
00
0
Sea el "valor verdadero" de , entoncesˆexiste un MLE, , tal que:
ˆ
1ˆ 0,
ˆvarlim 11
nP
n
dn
n
n
n Z Ni
ni
q q
q
q q
q qq
q
q®¥
¾¾®
æ ö÷ç- ¾¾® ÷ç ÷çè ø
=
:
MLE e información de Fisher en los modelos exponenciales
Caso unidimensional. t(y) es suficiente( ) ( ) ( ) ( ){ }
( ) ( ) ( ) ( )
( ){ }( )
( )( ){ } ( )
; exp
0
propiedad familia exponencial:
ˆ;
L y t y
l t y
E t Y E t Y t y
q y q t q
q y q t q
t qq
y q
µ -
¢ ¢ ¢= Û =
¢= Þ =
¢
MLE e información de Fisher en los modelos exponenciales
Relación con información de Fisher observada:
( ) ( ) ( ) ( )
( ) ( ){ }
( ) ( ){ } ( )
( ) ( ) ( )
;
;
ˆ ˆ ˆ
l t y
I E l Y
E t y
I l
q y q t q
q q
y q q t q
q q q
¢¢ ¢¢ ¢¢= -
¢¢= -
¢¢ ¢¢= -
¢¢= - = I