Amenazas a la validez de los diseños experimentales

Francisco GallegoPUC Chile

Esquema de presentación

I. IntroducciónII. Efectos IndirectosIII. Desgaste de la muestraIV. Cumplimiento imperfecto

I. Introducción

IntroducciónAún cuando hayamos diseñando un buen experimentoaleatorio, todavía podemos tener problemas…

Formalmente:

E(Y|T = 1) - E(Y|T = 0) no siempre refleja:

• el efecto tratamiento promedio E(y(1) - y(0)):• sobre la población inicial

Aquí estudiamos estos problemas y como remediarlos.

II. Efectos indirectos

¿Qué podría fallar?

Poblaciónobjetivo

Poblaciónobjetivo

No es parte de la

Evaluación

No es parte de la

Evaluación

Muestra Evaluación

Muestra Evaluación

Población Total

Población Total

Asignación aleatoria

Asignación aleatoria

Grupo de Tratamiento

Grupo de Tratamiento

Grupo de Control

Grupo de Control

Externalidades, contaminación

Población Objetivo

Población Objetivo

No es parte de la

Evaluación

No es parte de la

Evaluación

Evaluación Muestra

Evaluación Muestra

PoblaciónTotal

PoblaciónTotal

Asignación aleatoria

Asignación aleatoria

Grupo de Tratamiento

Grupo de Tratamiento

Grupo de Control

Grupo de Control

Tratamiento

Externalidades, contaminación

Población Objetivo

Población Objetivo

No es parte de la

evaluación

No es parte de la

evaluación

Muestra Evaluación

Muestra Evaluación

PoblaciónTotal

PoblaciónTotal

Asignación Aleatoria

Asignación Aleatoria

Grupo en Tratamiento

Grupo en Tratamiento

Grupo de Control

Grupo de Control

Tratamiento

Aislar externalidades:Vacuna contra la Varicela

Suponga que selecciona aleatoriamente vacunas anti varicela dentro de las escuelas• Suponga que impide la transmisión de la

enfermedad, ¿qué problemas genera esto para la evaluación?

• Suponga que las externalidades son locales. ¿Cómo podemos medir el impacto total?

Alumno Tratamiento(Vacuna)

Resultado

1 Sí Sin varicela2 No Con varicela3 Sí Sin varicela4 No Con varicela5 Sí Sin varicela6 No Con varicela

Sin externalidades

Alumno Tratamiento(Vacuna)

Resultado

1 Sí Sin varicela2 No Con varicela3 Sí Sin varicela4 No Con varicela5 Sí Sin varicela6 No Con varicela

Sin externalidades

Tratamiento Resultado

Sí 0% con varicela

No 100% con varicela

Sin externalidades

Tratamiento ResultadoSí 0% con varicelaNo 100% con varicela

Efecto del tratamiento:

-100%

Alumno Tratamiento(Vacuna)

Resultado

1 Sí Sin varicela2 No Sin varicela3 Sí Sin varicela4 No Con varicela5 Sí Sin varicela6 No Con varicela

Con externalidades

Alumno Tratamiento(Vacuna)

Resultado

1 Sí Sin varicela2 No Sin varicela3 Sí Sin varicela4 No Con varicela5 Sí Sin varicela6 No Con varicela

Con externalidades

Tratamiento Resultado

Sí 0% con varicela

No 67% con varicela

Con externalidades

Tratamiento ResultadoSí 0% con varicelaNo 67% con varicela

Efecto del tratamiento:

-67%

Medir externalidades

Diseñe la unidad de aleatorización de manera que abarque las externalidades

Por ejemplo, si esperamos que se encuentren externalidades, que estén todas dentro de la escuela:

– La aleatorización a nivel de la escuela permite la estimación del efecto global

Medir externalidades

Diseñe la unidad de aleatorización de manera que abarque las externalidades

Por ejemplo, si esperamos que se encuentren externalidades, que estén todas dentro de la escuela:

– La aleatorización a nivel de la escuela permite la estimación del efecto global

• Efecto directo más efectos indirecto

Externalidades: Otras soluciones I

Tener información respecto de los individuos que han recibido externalidades.Ejemplos:• Miguel y Kremer: efectos de desparasitación en

escolares de Kenia– Identificar lugar de vivienda y cantidad de sujetos que

habitan en un rango potencialmente afectable por la desparatisación

• Diferentes evaluaciones en micro-finanzas o información: – Identificar contactos de las personas/grupos tratados,

controlar por recepción de la información/capacitación de modo indirecto

Externalidades: Otras soluciones II

Variar la intensidad del tratamiento en diferentes grupos• Efectos de equilibrio general (entrada de

nuevos actores, efectos en precios, etc.): Caso canónico que preocupa a los economistas– Intervenir “mercados” en diferentes intensidades

y cómo el efecto tratamiento varía por grado de intensidad.

• Kremer y Muralidharan (en progreso) sobre entrega de vouchers en India y efectos de equilibrio general.

III. Desgaste de la muestra

Desgaste

Aleatorización garantiza que el grupo de control y tratamiento son estadísticamente idénticos y representativos de la población inicial.

Deserción

Desgaste (atrición):Por alguna razón, no podemos hacer que complete las encuestas, es decir, se sale de la muestra.

La amenaza de deserción

Al finalizar la intervención, el grupo de tratamiento y control no son:

– Comparables (problema de validez interna)– Representativos de la población inicial

(problema de validez externa)

Sesgo de desgaste: un ejemploEl problema que Ud. quiere abordar:• Algunos niños no van a la escuela porque están

demasiado débiles (desnutridos)

Usted inicia un programa de alimentación escolar y desea hacer una evaluación

Ud. tiene un grupo en tratamiento y un grupo de control• Niños débiles, raquíticos empiezan a ir a la escuela

más si viven cerca de la escuela en tratamiento.

El primer impacto de su programa: aumento de matrículas. Además, usted quiere medir el impacto en el crecimiento del niño• Segundo resultado de interés: Peso de los niños

Usted visita todas las escuelas (tratamiento y control) y mide todos los que están en la escuela en ese día determinado

• ¿Será subestimada o sobreestimada la diferencia de control de tratamiento de peso ?

25

Sesgo de desgaste: un ejemplo

Antes del Tratamiento Después del Tratamiento

T C

20 20

25 25

30 30

T C

22 20

27 25

32 30

Antes del Tratamiento Después del Tratamiento

T C

20 20

25 25

30 30

25 25

T C

22 20

27 25

32 30

27 25Promedio

Antes del Tratamiento Después del Tratamiento

T C

20 20

25 25

30 30

25 25

T C

22 20

27 25

32 30

27 25Promedio

Diferencia: 0 Diferencia: 2

Antes del Tratamiento Después del Tratamiento

T C

ausente ausente

25 25

30 30

25 25

T C

22 ausente

27 25

32 30

27 25Promedio

Diferencia: 0 Diferencia: -0,5

¿Qué sucede si solo niños de menos de 21 Kg asisten a clases?

Sesgo de desgaste

Soluciones al sesgo de deserción1. Ser terco! Llegue al 100% de encuestados.

• Implemente todas las estrategias posibles: Teléfono + correo + email + mensajes de texto + visitas de puerta a puerta

• Encuesta más corta• Incentivos: financieros, no financieros

Si no alcanza 100%, puede seleccionar una submuestra de observaciones faltantes y encontrarlos a cualquier costo:

• Recobrar una muestra representativa• Recobrar comparabilidad• Costo: poder, tiempo, dinero

Soluciones al sesgo de deserción

• 2. Tener suerte.

• Asumir que las observaciones faltan aleatoriamente, a lo mejor condicional en un set de covariables.

Soluciones al sesgo de deserción

¿Qué pasa si la tasa de respuesta en ambos grupos de mantiene?

• Hacemos el supuesto de que el tratamiento afecta el resultado en una sola dirección

• Tratamiento no afecta la tasa de respuesta

• Por lo tanto, validez interna se mantiene

• Pero todavía podríamos perder algunos individuos y por lo tanto todavía habrían preocupaciones con respecto a la validez externa.

Soluciones al sesgo de deserción

3. Corrección de selectividad de muestra

Modelo de selección de HeckmanSin ninguna corrección, parámetro beta en la siguiente ecuación está sesgado:

yi = Ti + ei

Soluciones al sesgo de deserción

Primer paso es estimar una modelo de selección:

Si =WiY + ei

• Procedimiento de Heckit corrige beta utilizando la estimación de la ecuación de selección

• Este modelo es identificado por medio de un instrumento y de formas funcionales (normalidad de al menos ecuación de selección): encuentra una variable que influye en Si pero que no tiene impacto directo sobre yi

Soluciones al sesgo de deserción

Soluciones al sesgo de deserción

• También se pueden utilizar métodos semi‐paramétricos (Ichimura y Lee, 1991; Ahn y Powell, 1993)– Se relaja supuesto de normalidad, pero ahora esclave la restricción de exclusión.

4. Bounds (límites)– Idea: en vez de corregir los estimadores de efecto

tratamiento: determinar un límite para el efecto:• Supuesto respecto del impacto de la deserción en efecto

tratamiento estimado.– Límites de Horowitz y Manski (2000):

• Tomar valores mínimos o máximos de variable de resultados. Especialmente útil cuando variable de resultados es binaria.

• Problema: intervalos demasiados amplios y por tantopoco informativos.

Soluciones al sesgo de deserción

4. Bounds (límites) de Lee

Adonde:

• Y es el resultado de interés• D es la asignación al tratamiento• S es si se observa el tratamiento• (Y0, Y1): resultado potencial cuando D = 0 y D = 1• (S0, S1): si observamos el resultado cuando D = 0 y D = 1

Soluciones al sesgo de deserción

La diferencia entre las medias de la muestra seleccionada del grupo de control y tratamiento es:

Lee Bounds

Supuestos del procedimiento de Lee:

• Los resultados y el responder de los participantes ocurre independientemente de D (aleatorización)

• Monotonicity: Pr(S1 = 0, S0 = 1) = 0

Lee Bounds

Dados estos supuestos, podemos crear dos límites tal que:

Lee Bounds

Cortamos las colas de la distribución observada de Yen el grupo de tratamiento por la propoción p, de la muestra seleccionada del grupo de tratamiento que se presume está en la muestra debido a la asignación al tratamiento.

Lee Bounds

Lee BoundsLímites:

Lee Bounds: Implementación

1. Identificar el % de individuos con resultados observados:

∑ ,∑ y  ∑ ,

∑

si  (revertir si pasa lo 

contrario)

45

1S1,T|q-1Gy 1S1,T|qG -1Y1

-1Y

Tq

Tq yy

Lee Bounds: Implementación

4. Los límites son, entonces:

46

iii

iiii

i

Tqiii

ii

Tqiii

iii

iiii

i

Tqiii

ii

Tqiii

ST

YST

yYST

YyYSTE

ST

YST

yYST

YyYSTE

)1,0(1

)1,0(1

),1,1(1

),1,1(1

)1,0(1

)1,0(1

),1,1(1

),1,1(1

Lee Bounds: Una aplicación

47

• Efectos de provisión de crédito en micro‐empresas en India (De Mel et al., 2008)– Empresas desaparecen y no se puede medir utilidades o retorno del capital.

– Implementación de supuesto de Lee:• Algunas firmas desaparecen si no reciben tratamiento pero ninguna firma desaparece por recibir tratamiento.

• q en el caso de ellos es 5.2%. • Resultados: 

– Para utilidades: Efecto tratamiento es 541 y E=404 y  =754– Para retornos del capital: Efecto tratamiento es 5.3% y E=2.6%  y 

=6.7%.

Lee Bounds: Discusión y Extensiones

48

• STATA: leebounds (incluye errores estandar).• Quizás demasiado exigentes. Buscando soluciones “creativas” 

que dependen del contexto:– Volviendo a De Mel (2008), E supone que las firmas más rentables del grupo control son las que desaparecen. Poco probable. E es probablemente poco relevante.

– Angrist et al. (2002, 2006) sobre vouchers en Colombia: estudiantes que no rinden prueba ICFES de selección universitaria (aumenta la probabilidad que receptor de voucher rinda la prueba), ¿cuál es el puntaje que habrían obtenido los que no recibieron voucher? Utilizan supuestos de distribución más razonables para límites.

IV. Cumplimiento imperfecto

Cumplimiento imperfecto

Población Objetivo

Población Objetivo

No es parte de la

Evaluacion

No es parte de la

Evaluacion

Muestra de EvaluaciónMuestra de Evaluación

Grupo de tratamientoGrupo de

tratamientoParticipantesParticipantes

AusenciasAusencias

Grupo de Control

Grupo de Control

No ParticipanNo Participan

Control tratadoControl tratado

Selección AleatoriaSelección Aleatoria

No!

¿Qué puedes hacer?¿Los puedes cambiar?

Población Objetivo

Población Objetivo

No es parte de la

Evaluación

No es parte de la

Evaluación

Evaluación Muestra

Evaluación Muestra

Grupo en Tratamiento

Grupo en Tratamiento

ParticipantesParticipantes

AusentesAusentes

Grupo de Control

Grupo de Control

No ParticipanNo Participan

Crontrol-Tratado

Crontrol-Tratado

Asignación Aleatoria

Asignación Aleatoria

¡No!

¿Qué puedes hacer?¿Los dejas fuera?

Cumplimiento imperfecto

Población Objetivo

No es parte de la

Evaluación

Muestra Evaluación

Grupo en Tratamiento

Participantes

Ausentes

Grupo en Control

No Participan

Crontrol -tratado

Asignación Aleatoria

Asignación Aleatoria

Puedes comparar los grupos originales

Cumplimiento imperfecto

Sesgo en selección de muestra

Sesgo en selección de la muestra podría surgir si factores distintos de la asignación aleatoria influencian la asignación del programa

• Incluso si la asignación prevista del programa fue aleatoria, la asignación real no puede hacerse.

Sesgo en selección de MuestraLas personas asignadas al grupo de comparación podrían intentar ingresar al grupo de tratamiento

• Programa de alimentación escolar: los padres pueden tratar de cambiar a sus hijos desde una escuela control a una de tratamiento

Sesgo en selección de MuestraAlternativamente, los individuos asignados al grupo de tratamiento podrían no recibir tratamiento

• Programa de alimentación escolar: algunos estudiantes asignados a escuelas de tratamiento llevan y comen su propio almuerzo o eligen no comer.

Incumplimiento

56

Población Objetivo

Población Objetivo

No es parte de la

Evaluacion

No es parte de la

Evaluacion

Muestra de EvaluaciónMuestra de Evaluación

Grupo de tratamientoGrupo de

tratamientoParticipantesParticipantes

AusenciasAusencias

Grupo de Control

Grupo de Control

No ParticipanNo Participan

Control tratadoControl tratado

Selección AleatoriaSelección Aleatoria

¡No!

¿Qué puedes hacer?¿Los puedes cambiar?

Incumplimiento

57

Población Objetivo

Población Objetivo

No es parte de la

Evaluación

No es parte de la

Evaluación

Evaluación Muestra

Evaluación Muestra

Grupo en Tratamiento

Grupo en Tratamiento

ParticipantesParticipantes

AusentesAusentes

Grupo de Control

Grupo de Control

No ParticipanNo Participan

Crontrol-Tratado

Crontrol-Tratado

Asignación Aleatoria

Asignación Aleatoria

¡No!

¿Qué puedes hacer?¿Los dejas fuera?

Incumplimiento

58

Población Objetivo

Población Objetivo

No es parte de la

Evaluación

No es parte de la

Evaluación

Muestra Evaluación

Muestra Evaluación

Grupo en Tratamiento

Grupo en Tratamiento

ParticipantesParticipantes

AusentesAusentes

Grupo en Control

Grupo en Control

No ParticipanNo Participan

Crontrol -tratado

Crontrol -tratado

Asignación Aleatoria

Asignación Aleatoria

Puedes comparar los grupos originales

¿Qué no podemos hacer?

• Eliminar los no tratados del grupo de tratamiento

• Re-asignar los no tratados al grupo de control

¿Qué podemos hacer?

Analizar el experimento como si el tratamiento original fuera asignar tratamiento (y no la intervención en sí):

– Impacto del incentivo (no tratamiento) sobre la población inicial

– Parámetro de interés: intención de tratar

¿Qué podemos hacer?

Analizar el efecto del tratamiento sobre los tratados

– Impacto del programa sobre un grupo particular de participantes

– Parámetro de interés: Efecto Tratamiento Promedio Local (LATE)

Intención de Tratar

ITT = E(y|Z = 1) - E(y|Z = 0)

• Pregunta de política pública: ¿existiría, en realidad, un programa compuesto únicamente de incentivos?

• Aún si este fuera el caso, la participación real importa para poder hacer cálculos de costo-beneficio…

LATE en la práctica

Ejemplo:

Evaluamos el impacto de un mejor acceso a agua mediante acceso a un sistema de agua potable entubado.

LATE en la práctica

Es imposible aleatorizar acceso al sistema de agua potable, pero podemos incentivar la participación.

Tratamiento(Incentivo)

Control (Sin incentivo)

315 clústers 311 clústers372 parcelas 360 parcelas

434 casa 410 casa

LATE en la prácticaEn una primera etápa:• El 70% de

tratamiento se conectó al sistema de agua potable

• Casi el 10% del control se conectó al sistema de agua potable

LATE en la práctica

Estimamos b en la ecuación:

y = a + bT + u

En caso de incumplimiento imperfecto, T estaría correlacionado con u

LATE en la prácticaConvertimos la asignación al tratamiento como el instrumento:

– Z y T estarían correlacionados si el incentivo funciona

– Z no estaría correlacionado con u

Usamos un procedimiento de Mínimos Cuadrados en dos Etapas

LATE en la prácticaHay que tener cuidado con la interpretación de variables instrumentales:• Dan el efecto de tratamiento sobre aquellos cuyo estado

de tratamiento se encuentre impactado por el instrumento

• ¿Estamos interesados en este efecto para esta población en particular?

• ¿Si encontráramos otra manera de implementar el tratamiento, conseguiríamos el mismo efecto?

¡Gracias!