Encuestadoras Venezolanas, sus records y la Elección del 2012

El próximo 7 de Octubre los venezolanos escogeremos el presidente de la republica que gobernará los próximos 6 anos, las dos opciones: Hugo Chávez y Henrique Capriles Radonski. En este blog he hecho diferentes análisis históricos así como análisis de la evolución de las encuestas actuales. Lo que no he hecho es presentar un análisis que mezcle ambos. En esta oportunidad utilizo 64 encuestas para presentar un análisis de sesgo pro-gobierno y pro-oposición en cinco procesos electorales: El referendo revocatorio de 2004, la elección presidencial de 200, los referendos de 2007 y 2009, y la elección parlamentaria de 2010. Este análisis, originalmente escrito en inglés como contribución al blog “Venezuelan Politics and Human Rights” lo traduzco, con ciertas modificaciones, en esta entrada del blog. (El artículo original se encuentra aquí). Veamos entonces los números.

Referendo Revocatorio de 2004

La figura 1 presenta la última encuesta, antes del revocatorio, llevada a cabo por cada una de las encuestadoras. Las barras horizontales azules muestran la predicción de votos de la opción opositora (SI), mientras que la barra roja muestra la intención de votos de la opción oficialista (NO). Las líneas verticales representan el resultado real de la elección. Entonces, cuando vemos la figura 1 se puede observar claramente que tres encuestadoras predijeron con relativa certeza el resultado electoral: Datanalisis, Hinterlaces y  Varianzas. Al contrario, dos encuestadoras predijeron que la oposición ganaría: Datos predecía que la oposición ganaría ampliamente mientras que Consultores 21 daba un resultado más parejo.

Figura 1. Predicción de la última encuesta antes del Revocatorio

Estos resultados se repiten cuando vemos el sesgo pro-gobierno y pro-opositor. En la figura 2 incluyo todas las encuestas de las diferentes encuestadoras durante el proceso del 2004. El gráfico incluye el promedio de las diferencias entre el resultado real y las predicciones de cada encuestadora. Como se puede observar, tanto Consultores 21 como Datos tienen sesgos significativos en favor de la oposición mientras que las otras tres encuestadoras muestran sesgos muy bajos.

Figura 2. Sesgo promedio por encuestadora en encuestas previas al Revocatorio

Elección presidencial de 2006

Como punto de partida para este análisis debo decir que no creo que la elección presidencial del 2006 sorprendiera a nadie. A través de todo el proceso se hizo evidente que Chávez ganaría sin mayores dificultades la elección contra Manuel Rosales. Sin embargo, siempre existieron rumores sobre el voto secreto y la “espiral del silencio”; esto, se argumentaba, haría la diferencia para darle la victoria a Rosales.

Los dos gráficos siguientes no representan ninguna sorpresa sino más bien una confirmación del análisis de esta elección. La mayoría de las encuestadoras pudieron predecir con relativa certeza los resultados, por ejemplo Consultores 21 tiene menos de un 5% de sesgo pro-oposición. La única encuesta que  exhibe un sesgo extremadamente alto en favor de la oposición es la realizada por el Observatorio Hanna Arendt, que utilizo lápices de tres colores como método para predecir el ganador, esto basado en la teoría dela espiral del silencio. Utilizando este método en el cual se divide la muestra de participantes en tres grupos y a los integrantes de cada grupo les corresponde votar con un lápiz de un color (amarillo, azul o rojo), se encontró una diferencia muy grande entre la intención de voto del grupo que votaba con lápiz rojo y del que votaba con lápiz azul.

Figura 3. Predicción de la última encuesta antes de la elección presidencial

Figura 4. Sesgo promedio por encuestadora en encuestas previas a la elección presidencial

Referéndum Constitucional del 2007

El referendo del 2007 es interesante porque fue una elección muy cerrada. Es también la elección en la que empezamos a ver la existencia de encuestadoras no-tradicionales con amplios márgenes de ventaja para el gobierno. En cuanto a los resultados vemos que tres firmas lograron predecir correctamente la elección en su última encuesta, estas son: Consultores 21, Datanalisis e Hinterlaces. Por el contrario, tres encuestadoras hicieron un análisis que distaba bastante de los resultados reales: 30.11 Consultores, IVAD y Keller.

Figura 5. Predicción de la última encuesta antes del referendo

La figura 5 compara la última predicción de cada encuestadora con el resultado de la elección. Cuando se promedian los sesgos de las diferentes encuestas vemos algunas diferencias (figura 6). Igual que en el grafico anterior vemos sesgos considerables en favor del oficialismo por Consultores 30.11 y por el IVAD. Vemos sesgos de tamaño mediano (5 puntos) por Datanalisis (en favor de la oposición) y Keller (pro gobierno). Y vemos sesgos pequeños en las encuestas de Consultores 21 e Hinterlaces. Estas diferencias son en parte debido a la naturaleza cambiante de la elección que se volvió más y más cerrada a medida que discurría la campaña.

Figura 6. Sesgo promedio por encuestadora en encuestas previas al Referendo

Referendo Constitucional 2009

Encontrar encuestas para el referéndum del 2009 fue bastante difícil. Para este proceso solo pude obtener datos verificables de 5 encuestas: 3 de Datanalisis y 2 de Hinterlaces. Sin embargo, dada la importancia de esta elección decidí utilizar un juego de datos que no pasaría los estándares normales de las publicaciones académicas: el artículo de Wikipedia sobre el referéndum del 2009. Gracias a este artículo logre obtener información de 23 encuestas de 8 encuestadoras diferentes. De estas encuestas, sin embargo, solo pude verificar independientemente 2 ya que los links de las otras no se encuentran activos. La figura 7 muestra la ultima encuesta para cada consultora. Como se puede observar existe un sesgo bastante alto en favor de la oposición. Igual que en los análisis anteriores, para cada una de las encuestadoras obtuve el promedio de sus errores (que se pueden observar en la figura 8). Como se puede observar Keller e Hinterlaces tienen los sesgos pro-oposición más grandes. Asimismo se puede ver como la mayoría de las encuestadoras erraron del lado de la oposición. Resulta interesante que tanto el IVAD como GISXXI, dos encuestadoras que usualmente tienen sesgos grandes, estuvieron acertados en esta oportunidad.

Figura 7. Predicción de la última encuesta antes del referendo

Figura 8. Sesgo promedio por encuestadora en encuestas previas al Referendo

Elección Parlamentaria de 2010

La ultima elección en la que participamos los Venezolanos, antes de esta elección presidencial que se avecina, fue la elección de los miembros de la Asamblea Nacional en 2010. Esta elección, como la del 2007, fue muy cerrada –por lo menos en cuanto al porcentaje de votos-. La diferencia de votos entre el gobierno y la oposición fue muy difícil de predecir y (como se puede ver en la figura 9) solo una encuestadora logro predecir en su última encuesta: Hinterlaces Consultores 21. Dos encuestadoras más estuvieron cerca también Consultores 21 Datanalisis y Varianzas, a su vez seguidas por Hinterlaces y GISXXI. Del otro lado de Hinterlaces Consultores 21 se encuentra GISXXI IVAD, que erró del lado del gobierno en más de 10 puntos porcentuales.

Figura 9. Predicción de la última encuesta antes de la elección parlamentaria

Mientras la ultima encuesta provee resultados interesantes, ver los promedios de estos errores nos da una idea mas completa de la elección. En la figura 10 podemos ver que tres encuestadoras tuvieron un sesgo pro-gobierno de mas de 5 puntos porcentuales: Datanalisis, GISXXI e IVAD. Una encuestadora, Keller, tuvo un sesgo mediano en favor de la oposición, y otras tres tuvieron sesgos pequeños en favor de la oposición: Consultores 21, Hinterlaces y Varianzas.

Figura 10. Sesgo promedio por encuestadora en encuestas previas a la elección parlamentaria

La elección del 2012

Que significa todo esto? Significa que las encuestadoras cometen errores, típicamente favoreciendo al mismo lado – aunque existe cierta variación. La tabla siguiente muestra el error promedio de cada encuestadora a favor del gobierno (fila superior) y a favor de la oposición (fila inferior). Números positivos indican que la encuestadora dio mayor intención de votos que los votos reales que obtuvo una opción. Números negativos indican que la encuesta daba números por debajo de la realidad. Por ejemplo, Datanalisis ha cometido errores tanto a favor del gobierno (2006 y 2010) como a favor de la oposición (2004 y 2007); lo mismo ocurre con el IVAD que ha cometido errores grandes pero en lados diferentes. Otras consultoras por el contrario son más consistentes en el lado al que tienden a favorecer. Por ejemplo, Consultores 21 tiende a favorecer a la oposición. Hay una encuestadora (de la que tengo poco conocimiento) que ha sido bastante consistente en tener errores muy bajos. Esta encuestadora, Varianzas, ha cometido errores que están dentro del margen de error de sus encuestas. Sin embargo, solo cuento con encuestas de dos procesos electorales para esta firma. La última columna indica el error promedio de los cinco procesos electorales para cada encuestadora.

Tabla 1. Sesgos por encuestadoras y proceso electoral

La tabla 2 muestra la ultima encuesta de cada encuestadora para este proceso electoral. Incluye las fechas de inicio y cierre de campo y la predicción. Yo agregue tres columnas que llamo predicción “corregida”. Dos de estas representan escenarios electorales diferentes. En el primer escenario, se piensa que la oposición esta por delante pero termina perdiendo (como en 2004 y 2009); este escenario utiliza el error del 2009 para generar una corrección. En el segundo escenario se piensa que el gobierno va por delante pero termina ganando la oposición (como en 2007 y –relativamente- en 2010); en este caso se utiliza el error del 2010 como factor de corrección. Finalmente existe un escenario intermedio que utiliza el promedio de los errores para corregir las diferentes predicciones de cada encuestadora.

La última fila de la tabla indica el promedio de todas las encuestas y todas las correcciones. Los tres escenarios “corregidos” apuntan a donde puede terminar la elección del 2012 en base a las encuestas actuales y en base a cada uno de los posibles escenarios. Por ejemplo, si la dinámica de la elección es similar a la del 2009 entonces esta elección presidencial seria como la del 2006 y terminaría en una victoria amplia de Chávez. Si, por el contrario, la dinámica es mas como las elecciones de 2007 y 2010 entonces los indecisos, o Ni-Ni, serán un factor importante. Según esta dinámica la diferencia entre Chávez y Capriles se reduciría a  12 puntos, con Chávez por debajo del 50%. Finalmente, utilizando la corrección en base al promedio Chávez tendría una ventaja de 19 puntos.

Tabla 2. Predicciones corregidas

En este punto tengo que decir que, en base a otros análisis que he realizado y puesto en este blog, me inclino hacia el escenario número 2 que indica que la elección se encuentra en 46-34. Esto no solo es consistente con mis análisis sino además con la estrategia opositora –de unidad- que se asemeja más a las estrategias del 2007 y 2010 que a la del 2004 o 2009.

En términos generales estos estimados muestran una contienda en donde Chávez tiene la delantera, pero por un margen menor que el numero de indecisos. La dirección que tome este grupo de electores podría alterar significativamente la contienda. Para ver esto más claramente veamos un último grafico. La figura 11 muestra la predicción corregida promedio para las 8 encuestadoras tanto para Chávez como para Capriles. Muestra también los valores máximos y mínimos para ambos (todo esto basado en el escenario 2). La forma de interpretar este grafico es la siguiente: Chávez esta en algún punto del rango entre 39 y 49, con un promedio de 46%. Capriles esta en el rango entre 27 y 43, con un promedio de 34. Estos rangos tienen 5 puntos de coincidencia, que significa es esta elección todavía no se ha decidido, especialmente si consideramos que la mayoría de estas encuestas se realizo antes de que la campaña comenzara oficialmente y que la gente empezara a prestarle atención a la elección.

Figura 11. Rango de predicción promedio corregida

****** Este post fue modificado el 1/Agosto/2012 debido a un error en la creación de la figura 9. Este error no altera ninguna de las estimaciones de sesgo presentadas en la última sección del artículo.