Este análisis, originalmente escrito en inglés como contribución al blog “Venezuelan Politics and Human Rights” lo traduzco, con ciertas modificaciones, en esta entrada del blog. (El artículo original se encuentra aquí).
Después de
una contienda electoral bastante larga, el pasado 7 de Octubre los venezolanos
pudimos, finalmente, ir a las urnas y contestar la pregunta que todos nos hacíamos:
Que encuestadora tenia la razón? La respuesta no es tan simple como pareciera y
tratare en estas líneas explicar porque.
Me gustaría
empezar por recalcar algo sumamente interesante que ocurrió en los primeros días
después de la elección. Yo siempre he estado acostumbrado a ver los resultados
electorales y escuchar a los políticos -ganadores y perdedores por igual- decir
que ganaron, siempre me ha parecido una característica interesante de las
elecciones. No importa el tamaño de la derrota, sus miembros siempre encontraran
una forma de decir que ganaron con frases como “obtuvimos más votos que en el
pasado” o “ganamos en esta región”. Lo que nunca había visto antes era a
encuestadoras hacer esto también! Horas después de que los resultados de la elección
se supieran varias encuestadoras empezaron campañas señalando como ellos
acertaron los resultados. Esto, me parece a mi, completamente absurdo. Cuando
las encuestadoras sienten que deben hacer más que simplemente reportar sus
encuestas entonces tenemos problemas serios. Esto viene a colación por el punto
que he tratado de hacer desde que comencé el blog: cuando encuestas realizadas
en fechas similares muestran resultados tan diferentes como ventajas de 20
puntos a un candidato o de dos para el otro, entonces hay alguien que no esta bien
su trabajo.
Recapitulando
Primero,
hagamos un breve repaso a esta secuencia de posts. En las tres entregas
anteriores he venido argumentando que las encuestadoras tienden a errar, típicamente,
en una dirección específica, esto nos permite determinar unas medidas de sesgo
con las cuales corregir las actuales predicciones. Usando todas las encuestas a
mi disposición genere para cada elección el error promedio de cada encuestadora
y utilicé esto como medida de sesgo. Estos términos de corrección se pueden
apreciar en la Tabla 1.
Tabla 1. Sesgos por encuestadoras y proceso electoral
Los errores del 2012
Ahora que la elección terminó podemos repetir este ejercicio para las encuestas
del 2012. Esto lo haré basado en un total de 107 encuestas que he recopilado. La
Tabla 2 muestra el número de encuestas por cada encuestadora. Como se puede ver
Datanalisis y GISXXI son las dos encuestadoras con mas encuesta (22 y 17 respectivamente)
Tabla 2. Número de encuestas por
encuestadora par alas elecciones 2012
Igual que hice en el post original de Julio voy a comenzar por ver la última
encuesta de cada encuestadora. Como ya sabemos los resultados de la elección
utilizare los números “polarizados”. Los números polarizados toman en cuenta
solamente la intención de voto para cada una de las opciones (en este caso Chávez
y Capriles) y de esta forman suman 100%. Para hacer esto se divide cada intención
de voto por la suma de ambas opciones. Por ejemplo, si una encuesta daba la elección
53-35 a favor de Chávez entonces la intención de voto polarizada seria:
Chavez
=53/(53+35)=53/88=60.23 ; Capriles = 35/(53+35)=35/88=39.77
La figura 1 muestra en barras horizontales la intención de voto que cada
encuestadora le dio a Capriles; y en barras horizontales rojas la intención de
voto por Chávez. Las dos líneas verticales muestran los porcentajes de votos
obtenidos por Chávez (55.12%) y por Capriles (44.24%). Como se puede ver
la encuestadora que estuvo mas cerca del resultado fue GISXXI seguida de cerca
por Datanalisis. El resto de las encuestadoras, excepto Varianzas, tuvieron
errores de más de cinco (5) puntos porcentuales.
Figura 1. Ultima encuesta antes de la elección
presidencial 2012
Sin
embargo, como también he dicho en oportunidades anteriores, dadas las
diferencias tan grandes en números y predicciones que observamos durante el
ciclo electoral ver solamente la última encuesta no nos permite analizar
apropiadamente el sesgo de las encuestadoras. Durante la campana electoral las
diferentes encuestadoras dieron versiones extremadamente diferentes de una
misma realidad y es mi opinión que esto debe ser considerado en la estimación de
sesgos, especialmente para evaluar encuestas durante la campana. Basado en esto
junte todas las encuestas de cada una de las encuestadoras y genere el error
promedio para las predicciones de intención de voto tanto para el gobierno como
para la oposición. La figura 2 muestra estos números. Lo primero que es interesante ver es que a
pesar de la exactitud de la última encuesta del GISXXI (Casi perfecta) sus
encuestas durante la campana fueron bastante diferentes. GISXXI es
efectivamente la encuestadora con los sesgos pro-Chávez mas grandes. Por el
contrario la encuestadora con los sesgos promedios más pequeños fue
Datanalisis, seguida de Varianzas e Hinterlaces. La tabla muestra los números de sesgo para cada una de
las encuestadoras en la base de datos recopilada. Números negativos significan
que la intención de voto reportada fue menor que el numero actual de votos y números
positivos indican que la intención de voto sobre-reporto la realidad.
Figura 2. Sesgo promedio para el gobierno y la oposición en las encuestas del 2012
Tabla 3. Error promedio por encuestadora en la elección 2012
Con estos
resultados a la mano podemos entonces actualizar la primera tabla para que
incluya los sesgos de esta elección. Con respecto a esta nueva tabla podemos
resaltar varias cosas.
- Primero,
30.11 Consultores tuvo un sesgo similar al de la elección del 2007.
- Consultores
21 mejoro con respecto a sus peores predicciones en 2004 y 2009, pero empeoro
con respecto a sus mejores momentos y paso el umbral de mas de cinco (5) puntos
de sesgo.
- Datanalisis tuvo uno de sus mejores desempeños con errores que
bordearon el margen de error.
- GISXXI logro empeorar su pobre desempeño del 2010
al pasar la línea de los diez (10) puntos en sesgo pro-gobierno.
- Hinterlaces
mejoro su peor predicción del 2009 pero empeoró con respecto a sus mejores
resultados en los que estuvo a décimas de los resultados reales. En esta
oportunidad el error pasó de los tres puntos logrando estar fuera del margen de
error estadístico.
- El IVAD tuvo sesgos de cerca de cinco puntos que es cercano
a su promedio.
- Finalmente, Varianzas, logro empeorar su desempeño con respecto
a su record previo manteniendo consistencia en su sesgo oposición. Igual que
Hinterlaces su error esta dentro del margen de cinco puntos pero pasa los tres
puntos porcentuales.
Tabla 4. Sesgos por encuestadoras y proceso electoral - con actualización 2012
Con esta última
contribución a este blog (Venezuelan Politics and Human Rights) me gustaría reiterar el argumento que he
estado tratando de hacer desde el principio. Diferencias tan grandes entre
encuestas no son el resultado de simples errores estadísticos. Definitivamente
hay algo mas sucediendo entre las encuestadoras venezolanas. No importa si eso
que ocurre es que las encuestadoras son incompetentes o están jugando a la política,
eso esta de mas. Lo que si importa es que estas diferencias reducen la
confiabilidad, no solo en las encuestadoras, pero en el sistema político. Las
encuestas ayudan a crear expectaciones y permiten que los diferentes escenarios
sean considerados por los actores en juego quienes planifican en base a estos sus
acciones. Cuando existen números tan dispares quienes pagan el precio son las
instituciones. Por ejemplo, la mayoría de quienes creen que hubo fraude basan
su racionalización en base a lo que decían algunas encuestas. Por lo tanto, si
estamos interesados en construir instituciones duraderas y estables necesitamos
mejorar los procesos de creación de conocimiento que las afectan. Una vez más
llamo a las encuestadoras venezolanas a que formen una asociación y establezcan
estándares profesionales como se hace en otros países.
Establecer estándares
de divulgación como los del Consejo Nacional de Encuestas Publicas de los
Estados Unidos (NCPP por sus siglas en ingles) por ejemplo solo ayudara a
mejorar la industria de encuestas. Estos principios de divulgación son usados
en países como los EEUU, el Reino Unido y México. En estos países las
encuestadoras –a través de asociaciones- se han comprometido a proveer una
considerable cantidad de información de sus productos. Es interesante resaltar
que mientras en los EEUU y el Reino Unido esto ha sido un proceso que nació
como iniciativa de las encuestadoras mismas, en México fue establecido mediante
regulación de la autoridad electoral (el Instituto Federal de Elecciones – IFE).
Sin embargo, de una forma u otra, en estos países las encuestadoras hacen pública
información de sus encuestas como por ejemplo: el cuestionario completo y el
orden exacto de las preguntas, los patrocinantes del estudio, y tabulaciones de
las respuestas en todas las preguntas hechas públicas. Y estos detalles son
solo una pequeña parte de los principios de divulgación del NCPP que promueve
inclusive que sus miembros hagan pública la data de las encuestas –eliminando cualquier
forma de identificación de los encuestados. Como ya dije días antes de la elección
(Un llamado a la transparencia) mientras mas información se hace
publica mejores conclusiones se pueden sacar de esta.
En Venezuela, el
Consejo Nacional Electoral (CNE) tuvo un intento fallido de regulación similar
al del IFE Mexicano. La regulación de las elecciones presidenciales del 2012 establecía
algunos requerimientos de las encuestadoras. Toda firma interesada en hacer del
conocimiento publico sus encuestas tenia que registrarse en el CNE y tenia que hacer
publica cierta información básica de cada encuesta. Sin embargo, como ya
argumente cuando se estableció esta regulación (Sello de Calidad CNE), esta es insuficiente para generar un control
adecuado o proveer un nivel de divulgación relevante ya que la información requerida
es información básica como tamaño de la muestra, fechas de campo, y estrategia
de muestreo. En pocas palabras esta regulación del CNE fue mas un gesto vacío
que una verdadera política pública que buscara de cierta forma poner algo de
orden y generar mayor transparencia en el campo de las encuestas electorales.
No puedo terminar sin
antes agradecer a David Smilde (moderador del blog Venezuelan Politics and
Human Rights) por invitarme a escribir estos cuatro artículos para su blog. Espero
haber contribuido a los propósitos de éste.
