Actualización de encuestas

Utilizando primordialmente las encuestas publicadas en la pagina de wikipedia de las elecciones y algunas otras que me han llegado independientemente, calculé la evolución de la intención de voto. 

A diferencia de la página de wikipedia mencionada, sin embargo, yo no utilizo la fecha de publicación de la encuesta si no la fecha del cierre de campo por que de lo contrario estaríamos evaluando la evolución incorrectamente. De las casi 70 encuestas publicadas solo 40 tienen fecha de cierre de la encuesta, de estas hay 6 que están repetidas (aunque con diferentes valores de intención de voto según la publicación).

Ya como es costumbre corregí las encuestas según el sesgo exhibido en el pasado y estime un promedio ponderado que considera todas las encuestas de 15 días atrás y adelante. Según este promedio la oposición esta cerca del 60% y el gobierno del 40% pareciera que el ultimo grupo de encuestas publicadas por ICS, Keller, IVAD, Hercon y Venebarometro realizadas durante las tres primeras semanas de Noviembre le dan un respiro al gobierno.

Slight update as I found the information for a missing poll.

Camino al #6D: Foto de salida

Ya el pasado fin de semana arrancó oficialmente la campaña electoral para las elecciones parlamentarias del 6 de Diciembre. Aprovecho entonces para mostrar un resumen de lo que las encuestas vienen diciendo desde Octubre del 2014 (hace un año). Como siempre es bueno recordar que la campaña puede cambiar las cosas pero para eso hay que esperar por nuevas encuestas.

En total he logrado conseguir 32 encuestas de 13 casas encuestadoras diferentes. En la lista están las tradicionales Consultores 21, IVAD, Keller, Datanalisis, Hinterlaces, e ICS; así como algunas nuevas Meganalisis, More Consulting. Como ya es costumbre dividí las encuestadoras en aquellas con un sesgo opositor, un sesgo oficialista, o sin sesgo identificado. Por sesgo nos referimos a desviaciones de más de cinco (5) puntos porcentuales con respecto a los resultados electorales.

La figura siguiente muestra las diferentes encuestadoras divididas según su sesgo previo. Del lado izquierdo están las tres encuestadoras que tradicionalmente tienen un sesgo opositor, y del lado derecho dos con sesgo oficialista. En el centro están las encuestadoras que o bien no han tenido sesgos ó son nuevas. En esta figura hay tres elementos interesantes a notar:
1) Las encuestadoras con sesgo opositor están mostrando números similares a los de las encuestadoras sin sesgo
2) Hinterlaces tiene números de intención de voto muy diferentes a los del resto de encuestadoras sin sesgo, y mas parecido al de las encuestadoras con sesgo oficialista
3) Las encuestadoras con sesgo oficialista muestran números diferentes a los de las demás encuestadoras (mas favorables al gobierno).

Si corregimos las encuestas con sesgo opositor y sesgo oficialista por diez puntos porcentuales (usualmente los sesgos estaban en ese rango) y promediamos las diferentes encuestas según el tipo de sesgo obtenemos lo siguiente, la intención de voto de la oposición ronda el 57-62% mientras que la del gobierno ronda el 43-38%.

Sin embargo, como bien dije al principio estas encuestas van desde el 2014. Por lo tanto al promediarlas todas igual puedo estar mostrando una foto que no se corresponde con la realidad. Esta ultima figura muestra entonces las encuestas a travez del tiempo. Como se puede observar las ultimas encuestas muestran a una oposición que ronda el 70% de intención de voto. La línea azul (y la roja) muestran la serie de tiempo suavizada de las encuestas.

Polling the Scottish Referendum Polls - September

A week from today ,on Thursday 18 September, 2014, the people of Scotland will have the opportunity to vote on whether Scotland should be an independent country. As it is expected polling companies have measured public opinion in order to assess whether or not Scots will vote in favor or against in the referendum.

When we look at all the polling data publicly available[i] we can see that throughout the past two years most polls have given the No a majority (close to 50%), while the “Yes” option (for independence) has seen an average of support around 37% of interviewees (see figure 1). Of course the tendency over time has changed and the polls have gotten increasingly close in the last month.

Figure 1

Given that what is important is to try to figure out the outcome come September 18^th we need to see the evolution of this polling data, and to average of these polls. In order to average the polls we need to consider that each poll is different, and more importantly that each polling house proceeds differently to survey the public and weight the responses. As such I used a statistical technique to average the polls which takes into account these differences[ii].  

Figure 2 plots all the available polls (in red the No option and in blue the Yes) without considering non respondents. The blue and red line show the evolution of the averaging of the polls. As it can be seen the gap, which was very wide for a long time has considerably narrowed in the last month. And while the ‘Yes, Scotland’ campaign is still losing the difference is less than 4 percentage points (Yes: 48.35% ; No: 51,65%).

Figure 2

Just to end the analysis, it is worth noting that despite the differences in methodologies between the different polling houses currently polling scots, there doesn’t seem to be any major biases. In fact, according to the estimation no house has a bias significantly different than zero (figure 3); which is not necessarily the case all the time and means that there is overall agreement between all polling houses and where the trend line is.

Figure 3

---

[i] Sources of survey data:

http://whatscotlandthinks.org/questions/should-scotland-be-an-independent-country-1#table

http://ukpollingreport.co.uk/scottish-independence-referendum

[ii] This analysis is based on the “polling of the polls” technique introduced by Jackman ( 2005).

El problema de la MUD?

[English version: Meta-analysis of Maduro’s Poll Numbers]

Ya han pasado más de 200 días desde el inicio de la gestión presidencial de Nicolás Maduro y por lo tanto ya va siendo hora de que actualicemos el estudio de aprobación de gestión realizado posterior a los 100 días.

Les recuerdo brevemente que en ese artículo mostré como a pesar de que la opinión negativa sobre el Presidente Maduro estaba en aumento su evaluación positiva permanecía estable, es decir ni subía ni bajaba. Este comportamiento se lo podríamos haber adjudicado a la típica luna de miel presidencial. Ya pasados 6 meses de gestión podemos evaluar si existe algún cambio en la tendencia que inclusive nos permita visualizar algún escenario para las elecciones Municipales de Diciembre.

Repito entonces el análisis de  Agosto esta vez con 26 encuestas que he logrado obtener.  Lo primero que quiero volver a mostrar son los análisis gráficos mostrando la evaluación positiva (figura 1)  y negativa (figura 2) de la gestión presidencial. Las gráficas 1 y 2 muestran los valores de las encuestas (en puntos verdes) y en una línea la predicción lineal de estos puntos en base al número de días transcurridos (la sombra gris es el intervalo de confianza del 95%).

Figura 1 Datos de Evaluación de Gestión Positiva y Predicción Lineal  

 

Figura 2 Datos de Evaluación de Gestión Negativay Predicción Lineal 

Una vez más observamos el mismo comportamiento Es interesante notar dos comportamientos interesantes en las figuras 1 y 2. Mientras las evaluaciones positivas (en la figura 1) permanecen relativamente estables (aunque con una pequeña disminución), las evaluaciones negativas (en la figura 2) muestran un claro aumento. Esto indica que a medida que pasan los días hay un aumento en el número de gente con percepciones negativas, sin embargo este aumento no pareciera estar relacionado con una disminución en el apoyo a la gestión.

Para corroborar esta suposición procedo a hacer un análisis estadístico mediante una regresión lineal para evaluar esta relación. La Tabla 1 muestra los resultados de tres regresiones:
·                     Primero, una regresión que evalúa que tanto afectan los días de gestión a la evaluación positiva.

·                     El segundo modelo es similar pero para le evaluación negativa.

·                     Finalmente el tercer y último modelo estima como afecta el número de días a aquellos que no tienen una opinión sobre la gestión de gobierno.

 Tabla 1 Regresión Lineal de Evaluación de Gestión

En la Tabla 1 se puede observar que en efecto la evaluación positiva pareciera permanecer, igual que en los primeros 100 días, sin alterarse ya que el coeficiente del número de días  (-0.023) no es significativo (estadísticamente es cero). En promedio el presidente Maduro ha contado con una aprobación de 47.5%. Por el contrario, la evaluación negativa sí ha aumentado a un ritmo de 0.06% diario (en 200 días eso es 12 puntos porcentuales). Igual que en el estudio anterior, como muestra la columna 3, el aumento de la evaluación negativa se debe a la disminución de los indecisos, por ello no se ve afectada la evaluación positiva. Lo que sí es interesante a diferencia del estudio realizado en los primeros 100 días es que a 200 días la evaluación negativa pasa de estar igualada a la positiva a superarla.

Algo interesante de ver, considerando los sesgos existentes en las diferentes encuestadoras venezolanas (y que ha sido más que mostrado en este blog) sería entonces si los sesgos de intención de voto se traducen también en sesgos de evaluación de gestión. Mi presentimiento es que sí. Para ver esto clasifico a las encuestadoras en base al análisis post-electoral de las elecciones presidenciales de 2012.

Así pues codifique las encuestadoras de la siguiente forma:

• Sesgo Pro-Gob: GisXXI, IVAD
• Sesgo Pro-Opo: Consultores 21, Hercon
• Sin sesgo: Datanalisis, Varianzas, Hinterlaces, Keller

De estas encuestadoras la única que no está clasificada en las elecciones del 2012 es Keller pues no llegue a tener encuestas de esta firma. Su  desempeño pre-2012 tiende a ser más pro-opositor pero muy cerca del 5% que establecí como corte, así pues  la dejo como ‘sin sesgo’.

Tabla 2 Regresión Lineal de Evaluación de Gestión con Efecto de  Sesgo

En la Tabla 2 se puede observar entonces que sucede cuando incluimos el sesgo de las encuestadoras en el modelo lineal usado en la Tabla 1. Básicamente podemos observar que las encuestadoras con sesgo Pro-Oposición  tienen sesgos muy altos. Una encuestadora Pro-Oposición le da a Maduro 18 puntos menos de gestión positiva (poniéndolo en 30% en lugar de 48%) mientras que le dan 10 puntos porcentuales más de gestión negativa (poniéndolo así en 51% en lugar de 41%) esto claro sin contar el número de días. Interesantemente las encuestadoras Pro-Gobierno no muestran ningún sesgo. OJO Antes de que saquen conclusiones apresuradas esto simplemente se debe a que de las CINCO (5) encuestas en este grupo CUATRO (4) son del IVAD que nunca tuvo sesgos muy altos. Es decir, el grupo de encuestadoras altamente sesgadas pro-gobierno  (GisXXI, Consultores 30.11, ICS) no está publicando estudios de opinión sobre la gestión de Maduro (o yo no los he visto).

Para ponerlo gráficamente, veamos la repetición de las dos primeras figuras pero esta vez con las encuestas divididas por Sesgo.

Figura 3 Datos de Evaluación de Gestión Positiva y Predicción Lineal, por Sesgo

Figura 4 Datos de Evaluación de Gestión Negativa y Predicción Lineal, por Sesgo

Las figuras 3 y 4 muestran entonces  como las encuestadoras pro-oposición tienen valores de gestión negativa muy por encima del resto de encuestadoras y con una tasa de crecimiento mucho más alta.

En base a estos resultados podríamos presumir que la base de apoyo duro del presidente Maduro sigue mantiéndose estable. El problema de Maduro es que la evaluación Negativa de Gestión sigue subiendo lentamente y si no la para podría comenzar a erosionarse su apoyo. Por el otro lado tenemos a la oposición que sigue vendiendo la idea de un Presidente sumamente impopular pero que no pareciera lograr romper esa barrera del chavismo. Así pues la oposición tiene dos problemas, por un lado tienen el problema de que no logran convencer más allá de sus filas y presentar una alternativa, mayoritaria, al chavismo. El segundo es que siguen vendiendo la idea de un presidente altamente impopular, rechazado por las mayorías, y los ciudadanos opositores se están “comiendo ese cuento”, que van a hacer entonces si el 8 de Diciembre los resultados les son adversos o son muy cerrados? La posibilidad de que esto suceda es muy alta dado que el chavismo tiene una alta capacidad movilizadora y un grupo de electores duros que no parece todavía listo para seguir una alternativa al chavismo.

La recta final

Ya llegando al final de esta breve campaña electoral hago un pequeño resumen de las diferentes encuestas que he podido recopilar en los meses pasados. La tabla que se presenta a continuación muestra estas 12 encuestas, divididas en tres grupos. Para cada encuesta muestra la información de la ficha técnica (fechas de campo y número de entrevistados). Muestra también la intención de voto reportada en la encuesta hacia el candidato del PSUV y al candidato de la MUD y la diferencia porcentual entre estas. Así mismo muestra la intención de voto cuando se lleva a un escenario polarizado, y la diferencia entre estos porcentajes. Finalmente muestra el sesgo que tuvo esa encuestadora en la prediccion de la elección de Octubre 2012 y la corrección entonces de los porcentajes de votación basados en este sesgo (y la diferencia).

Fue usando como criterio la intención de voto corregida como dividí las encuestadoras en estos tres grupos. La principal diferencia es que para las encuestadoras  del ultimo grupo formado por DatinCorp y Meganalisis no tengo valores de sesgo puesto que no presentaron mas de tres encuestas para las elecciones de Octubre pasado. A este grupo le sigue otro formado por ICS, GISXXI, y 30.11 Consultores (marcado en rojo). Este grupo de encuestadoras tuvo un error tan grande que cuando se aplica la intención de voto cambia totalmente de una cómoda victoria para Maduro a una victoria para Capriles. Finalmente esta el grupo formado por Datanalisis, Hinterlaces, e IVAD grupo que al aplicársele la corrección los resultados permanecen cerca.

Como ha sido admitido por algunos encuestadores reconocidos los modelos que predicen el comportamiento electoral en situaciones normales tienen un poco mas de dificultad para aplicarse directamente en los actuales momentos y por lo tanto predecir los niveles de abstención (que serán claves en esta elección) se hace mas difícil.

* La tabla ha sido actualizada con información de la encuesta de 30.11 Consultores y con una última encuesta del ICS (10/4/2013)

Encuestadoras Venezolanas, sus records y la Elección del 2012 - Actualización Post Electoral

Este análisis, originalmente escrito en inglés como contribución al blog “Venezuelan Politics and Human Rights” lo traduzco, con ciertas modificaciones, en esta entrada del blog. (El artículo original se encuentra aquí). 

Después de una contienda electoral bastante larga, el pasado 7 de Octubre los venezolanos pudimos, finalmente, ir a las urnas y contestar la pregunta que todos nos hacíamos: Que encuestadora tenia la razón? La respuesta no es tan simple como pareciera y tratare en estas líneas explicar porque.

Me gustaría empezar por recalcar algo sumamente interesante que ocurrió en los primeros días después de la elección. Yo siempre he estado acostumbrado a ver los resultados electorales y escuchar a los políticos -ganadores y perdedores por igual- decir que ganaron, siempre me ha parecido una característica interesante de las elecciones. No importa el tamaño de la derrota, sus miembros siempre encontraran una forma de decir que ganaron con frases como “obtuvimos más votos que en el pasado” o “ganamos en esta región”. Lo que nunca había visto antes era a encuestadoras hacer esto también! Horas después de que los resultados de la elección se supieran varias encuestadoras empezaron campañas señalando como ellos acertaron los resultados. Esto, me parece a mi, completamente absurdo. Cuando las encuestadoras sienten que deben hacer más que simplemente reportar sus encuestas entonces tenemos problemas serios. Esto viene a colación por el punto que he tratado de hacer desde que comencé el blog: cuando encuestas realizadas en fechas similares muestran resultados tan diferentes como ventajas de 20 puntos a un candidato o de dos para el otro, entonces hay alguien que no esta bien su trabajo.

Recapitulando

Primero, hagamos un breve repaso a esta secuencia de posts. En las tres entregas anteriores he venido argumentando que las encuestadoras tienden a errar, típicamente, en una dirección específica, esto nos permite determinar unas medidas de sesgo con las cuales corregir las actuales predicciones. Usando todas las encuestas a mi disposición genere para cada elección el error promedio de cada encuestadora y utilicé esto como medida de sesgo. Estos términos de corrección se pueden apreciar en la Tabla 1.

 Tabla 1.  Sesgos por encuestadoras y proceso electoral

Los errores del 2012

Ahora que la elección terminó podemos repetir este ejercicio para las encuestas del 2012. Esto lo haré basado en un total de 107 encuestas que he recopilado. La Tabla 2 muestra el número de encuestas por cada encuestadora. Como se puede ver Datanalisis y GISXXI son las dos encuestadoras con mas encuesta (22 y 17 respectivamente)

 Tabla 2. Número de encuestas por encuestadora par alas elecciones 2012

Igual que hice en el post original de Julio voy a comenzar por ver la última encuesta de cada encuestadora. Como ya sabemos los resultados de la elección utilizare los números “polarizados”. Los números polarizados toman en cuenta solamente la intención de voto para cada una de las opciones (en este caso Chávez y Capriles) y de esta forman suman 100%. Para hacer esto se divide cada intención de voto por la suma de ambas opciones. Por ejemplo, si una encuesta daba la elección 53-35 a favor de Chávez entonces la intención de voto polarizada seria:

 Chavez =53/(53+35)=53/88=60.23 ; Capriles = 35/(53+35)=35/88=39.77

La figura 1 muestra en barras horizontales la intención de voto que cada encuestadora le dio a Capriles; y en barras horizontales rojas la intención de voto por Chávez. Las dos líneas verticales muestran los porcentajes de votos obtenidos por Chávez (55.12%) y por Capriles (44.24%)[1]. Como se puede ver la encuestadora que estuvo mas cerca del resultado fue GISXXI seguida de cerca por Datanalisis. El resto de las encuestadoras, excepto Varianzas, tuvieron errores de más de cinco (5) puntos porcentuales.

Figura 1. Ultima encuesta antes de la elección presidencial 2012

Sin embargo, como también he dicho en oportunidades anteriores, dadas las diferencias tan grandes en números y predicciones que observamos durante el ciclo electoral ver solamente la última encuesta no nos permite analizar apropiadamente el sesgo de las encuestadoras. Durante la campana electoral las diferentes encuestadoras dieron versiones extremadamente diferentes de una misma realidad y es mi opinión que esto debe ser considerado en la estimación de sesgos, especialmente para evaluar encuestas durante la campana. Basado en esto junte todas las encuestas de cada una de las encuestadoras y genere el error promedio para las predicciones de intención de voto tanto para el gobierno como para la oposición. La figura 2 muestra estos números. Lo primero que es interesante ver es que a pesar de la exactitud de la última encuesta del GISXXI (Casi perfecta) sus encuestas durante la campana fueron bastante diferentes. GISXXI es efectivamente la encuestadora con los sesgos pro-Chávez mas grandes. Por el contrario la encuestadora con los sesgos promedios más pequeños fue Datanalisis, seguida de Varianzas e Hinterlaces. La tabla  muestra los números de sesgo para cada una de las encuestadoras en la base de datos recopilada. Números negativos significan que la intención de voto reportada fue menor que el numero actual de votos y números positivos indican que la intención de voto sobre-reporto la realidad.

Figura 2. Sesgo promedio para el gobierno y la oposición en las encuestas del 2012

Tabla 3. Error promedio por encuestadora en la elección 2012

Con estos resultados a la mano podemos entonces actualizar la primera tabla para que incluya los sesgos de esta elección. Con respecto a esta nueva tabla podemos resaltar varias cosas. 

• Primero, 30.11 Consultores tuvo un sesgo similar al de la elección del 2007. 
• Consultores 21 mejoro con respecto a sus peores predicciones en 2004 y 2009, pero empeoro con respecto a sus mejores momentos y paso el umbral de mas de cinco (5) puntos de sesgo. 
• Datanalisis tuvo uno de sus mejores desempeños con errores que bordearon el margen de error. 
• GISXXI logro empeorar su pobre desempeño del 2010 al pasar la línea de los diez (10) puntos en sesgo pro-gobierno. 
• Hinterlaces mejoro su peor predicción del 2009 pero empeoró con respecto a sus mejores resultados en los que estuvo a décimas de los resultados reales. En esta oportunidad el error pasó de los tres puntos logrando estar fuera del margen de error estadístico. 
• El IVAD tuvo sesgos de cerca de cinco puntos que es cercano a su promedio. 
• Finalmente, Varianzas, logro empeorar su desempeño con respecto a su record previo manteniendo consistencia en su sesgo oposición. Igual que Hinterlaces su error esta dentro del margen de cinco puntos pero pasa los tres puntos porcentuales.

 Tabla 4. Sesgos por encuestadoras y proceso electoral - con actualización 2012

Con esta última contribución a este blog (Venezuelan Politics and Human Rights) me gustaría reiterar el argumento que he estado tratando de hacer desde el principio. Diferencias tan grandes entre encuestas no son el resultado de simples errores estadísticos. Definitivamente hay algo mas sucediendo entre las encuestadoras venezolanas. No importa si eso que ocurre es que las encuestadoras son incompetentes o están jugando a la política, eso esta de mas. Lo que si importa es que estas diferencias reducen la confiabilidad, no solo en las encuestadoras, pero en el sistema político. Las encuestas ayudan a crear expectaciones y permiten que los diferentes escenarios sean considerados por los actores en juego quienes planifican en base a estos sus acciones. Cuando existen números tan dispares quienes pagan el precio son las instituciones. Por ejemplo, la mayoría de quienes creen que hubo fraude basan su racionalización en base a lo que decían algunas encuestas. Por lo tanto, si estamos interesados en construir instituciones duraderas y estables necesitamos mejorar los procesos de creación de conocimiento que las afectan. Una vez más llamo a las encuestadoras venezolanas a que formen una asociación y establezcan estándares profesionales como se hace en otros países.

Establecer estándares de divulgación como los del Consejo Nacional de Encuestas Publicas de los Estados Unidos (NCPP por sus siglas en ingles) por ejemplo solo ayudara a mejorar la industria de encuestas. Estos principios de divulgación son usados en países como los EEUU, el Reino Unido y México. En estos países las encuestadoras –a través de asociaciones- se han comprometido a proveer una considerable cantidad de información de sus productos. Es interesante resaltar que mientras en los EEUU y el Reino Unido esto ha sido un proceso que nació como iniciativa de las encuestadoras mismas, en México fue establecido mediante regulación de la autoridad electoral (el Instituto Federal de Elecciones – IFE). Sin embargo, de una forma u otra, en estos países las encuestadoras hacen pública información de sus encuestas como por ejemplo: el cuestionario completo y el orden exacto de las preguntas, los patrocinantes del estudio, y tabulaciones de las respuestas en todas las preguntas hechas públicas. Y estos detalles son solo una pequeña parte de los principios de divulgación del NCPP que promueve inclusive que sus miembros hagan pública la data de las encuestas –eliminando cualquier forma de identificación de los encuestados. Como ya dije días antes de la elección (Un llamado a la transparencia) mientras mas información se hace publica mejores conclusiones se pueden sacar de esta.

En Venezuela, el Consejo Nacional Electoral (CNE) tuvo un intento fallido de regulación similar al del IFE Mexicano. La regulación de las elecciones presidenciales del 2012 establecía algunos requerimientos de las encuestadoras. Toda firma interesada en hacer del conocimiento publico sus encuestas tenia que registrarse en el CNE y tenia que hacer publica cierta información básica de cada encuesta. Sin embargo, como ya argumente cuando se estableció esta regulación (Sello de Calidad CNE), esta es insuficiente para generar un control adecuado o proveer un nivel de divulgación relevante ya que la información requerida es información básica como tamaño de la muestra, fechas de campo, y estrategia de muestreo. En pocas palabras esta regulación del CNE fue mas un gesto vacío que una verdadera política pública que buscara de cierta forma poner algo de orden y generar mayor transparencia en el campo de las encuestas electorales.

NCPP - Principles of Disclosure

BPC - Principles of Disclosure

No puedo terminar sin antes agradecer a David Smilde (moderador del blog Venezuelan Politics and Human Rights) por invitarme a escribir estos cuatro artículos para su blog. Espero haber contribuido a los propósitos de éste. 

---

[1] Estos números fueron obtenidos de la página web del CNE el 19 de Octubre.

Re-Evaluando las encuestas

Bueno, ya sabemos cual fue el resultado del proceso electoral del domingo 7 de Octubre. Comienzo entonces una serie de articulos analizando las encuestas, el análisis combinatorio que yo hice y presente aquí (y que se equivocó), y otras cosas que irán surgiendo estoy seguro.

Comienzo entonces por analizar cual fue el error de todas las encuestadoras con lo que respecta a su última proyección pero también con lo que respecta a todas las proyecciones que hicieron. De más está decir que la única encuestadora que estuvo dentro del margen de error según su última encuesta fue GISXXI, esta encuestadora aunque mostró una evolución extraña en intención de votos para el candidato de la oposición fue la que mejor predijo en su último trabajo. Reconozco eso y hago la salvedad de que esto lo dije antes de la elección, de los cuatro posibles escenarios que presenté el que resulto ser el final fue el Escenario 1 (ver aquí).

Veamos entonces...

Error de la última encuesta

Para cada uno de los dos analisis que presentaré la versión polarizada y no polarizada (como ya hice aquí. Cada gráfico muestra la diferencia entre la intención de voto reportada por la encuesta y el 55% de votos de Chávez (rojo) y el 44% de Capriles (azul). Barras que van hacia la derecha significa que la encuesta dió números mayores a los que obtuvo, barras hacia la izquierda significan que la encuesta dio números menores a la realidad.

 a) Escenario no-polarizado:

Cuatro encuestadoras estuvieron dentro del margen de error de +/-2.5 puntos. GISXXI, ICS y Consultores 30.11 para Chavez y Consultores 21 y GISXXI para Capriles.  Predicmatica y Varianzas no estuvieron muy lejos en su prediccion de Capriles. Con respecto a los errores, vemos que Consultores 21 y Predicmatica por ejemplo tuvieron errores en el orden de los 10 puntos en intención de voto para Chávez. Dtanalisis tiene unos errores altos por su forma de reportar los indecisos. Hinterlaces, ICS e IVAD dieron casi 10 puntos menos a Capriles de los que obtuvo.

 b) Escenario polarizado:

Cuando usamos el escenario polarizado vemos algunos cambios. GISXXI pasa a ser la única encuesta que estuvo dentro del margen de error con Datanalisis siguiendole muy de cerca y Varianzas de tercera seguida de Hinterlaces. De resto todas las encuestadoras o bien sobre-estimaron a Chavez o a Capriles por mas de 5 puntos.

Error del promedio de encuestas:

Seguramente en este punto el lector se preguntará por qué no me quedo solamente con la última encuesta. Mi respuesta sencilla es porque todas las encuestadoras dijeron cosas muy distintas durante los últimos dos años y por lo tanto hace falta incluir esto en cualquier análisis. Yo se que asumir un apoyo estático en todo el período no es necesariamente la mejor manera de hacerlo, pero por lo menos es justa con todos pues a todos se les evalua por igual. Para dejar esto claro veamos el gráfico con las proyecciones de cada encuestadora:

a) Escenario no-polarizado:

Es interesante, o me parece a mí, ver los errores cuando usamos el promedio. Primero vemos que, en promedio, solo GISXXI y Consultores 30.11 estuvieron dentro del margen de error en su predicción de Chávez, esto a pesar de estar muy lejos en sus predicciones de voto por Capriles. Varianzas es la única que en promedio dio a Capriles dentro del margen de error, con Consultores 21 muy cerca.

b) Escenario polarizado:

 En lo que respecta al escenario polarizado, vemos como solamente Datanalisis estuvo dentro del margen de error con Chavez y rozandolo con intencion de voto para Capriles. Del resto Varianzas, IVAD, e Hinterlaces están lejos pero por menos de cinco puntos.

Conclusión

- La encuestadora que dió la prediccion final mas correcta: GISXXI
- La encuestadora que quitando ruidos estuvo mejor: Datanalisis

Es importante destacar, que a pesar de que sí hubo encuestadoras que dieron predicciones correctas de una u otra forma, tambiénes cierto que con tantos números tan disímiles esto era obvio que pasaría. Lo más importante, sin embargo, sigue siendo la falta de transparencia de las encuestadoras y lo difícil que se hace evaluar sus productos. Por ello, creo pertinente reiterar este artículo que hice en vísperas de las elecciones: Un llamado a la transparencia.


Seguiré con mas análisis...

Un llamado a la transparencia

Una de las razones que me llevó a escribir sobre las encuestas es porque estaba tratando de entender la gran diferencia que existía entre unas y otras.  Como muchos no le encuentro lógica al asunto. Así que me puse, en mis ratos de ocio, a recolectar encuestas nuevas y viejas y a analizarlas. El resultado está en las páginas de este blog, así como en algunos otros y uno que otro artículo de periódico cuyo autor consideró interesante algo en estas páginas. A medida que ha pasado el tiempo he llegado a la conclusión que el problema de Venezuela y de las encuestas Venezolanas sólo se podrá solucionar con mayor transparencia de parte de las encuestadoras. Como mencioné en alguna oportunidad anterior (Sello de calidad CNE) el intento del CNE de regular las encuestadoras fue y es una farsa ya que no sirve de nada. No logró disminuir el número de encuestadoras fantasma, ni mejorar las proyecciones de los resultados. Habría que preguntarle a los rectores del CNE cual era el cometido de la regulación porque a mi no me queda claro, asumiré (para no ponerme a atacar al árbitro a dos días de las elecciones) que las buenas intenciones no fueron llevadas a cabo correctamente. Por qué digo todo esto? Bueno, démosle un vistazo a la figura 1.

La figura uno muestra varias cosas. Empecemos por describir el gráfico:

1)    Para cada mes desde Febrero de 2012 hasta Septiembre del 2012 tomé todas las encuestas realizadas en ese mes (si empezaban en un mes y terminaban en otro usé el mes de finalización de campo).

2)    Para cada encuesta tomé la diferencia entre la intención de voto por Chávez y por Capriles.

3)    Para cada mes promedié todas las diferencias. Obtuve el valor máximo y mínimo de estas y la desviación estándar.

4)    Todo esto está representado en el gráfico. Los puntos negros son el promedio de las diferencias. El espacio gris es el rango del valor mínimo (negativo es a favor de Capriles y positivo a favor de Chávez). Y la línea negra es el valor promedio +/- el valor de una desviación estándar.

Que significa todo esto?

Bueno, las dos cosas interesantes de ver aquí son los rangos y las desviaciones estándar. Por qué? se preguntarán. Estos dos valores son interesantes porque nos muestran la dispersión de los datos, es decir nos dicen que tanto concuerdan o difieren las diferentes encuestas. Si el rango y la desviación estándar son pequeñas alrededor del promedio entonces podríamos decir que las encuestas están mostrando una misma realidad. Si por el contrario, el rango y la desviación estándar son grandes tendríamos entonces encuestas mostrando realidades muy diferentes. Y como se pudieron dar cuenta, ese es el caso Venezolano!

Representa esto un problema?

SI!

Se supone que las encuestas de opinión son realizadas mediante técnicas estadísticas de muestreo que deberían dar resultados similares. Es decir, si yo tengo una caja con 100 pelotas, 50 azules y 50 rojas, y saco 10 pelotas al azar y repito esto 20 veces el resultado en promedio debería ser 5 rojas y 5 azules. Es posible que en una oportunidad saque más rojas que azules y viceversa pero esto debería ser la excepción más no la regla.

Así pues si 10 empresas encuestadoras están midiendo la misma intención de voto, en las mismas fechas, en el mismo país, con un muestreo apropiado, entonces los resultados deberían ser relativamente similares (si no me creen vean encuestas de países como México, EEUU, Inglaterra, Chile, Brasil, etc.). 

Siempre habrá variación pero, y aquí esta la clave, NO TANTA!

Qué pasa en Venezuela entonces?

Para usar las respuestas de las encuestas: NO SABE/NO CONTESTA! Lo digo como broma pero es cierto, NO SE!

No puedo decir sinceramente, con pruebas en la mano, que sucede. Lo único que puedo hacer es mostrar que sucede y hacer conjeturas. Voy a evitar decir que las encuestadoras han sido compradas para manipular sus números y ser usadas como instrumento de campaña ya que no tengo pruebas que demuestren esto. Si puedo sin embargo, decir que una o más encuestadoras no están haciendo las cosas bien! Para muestra la serie de artículos que he escrito empezando por el de ayer. Después del domingo podremos evaluar quien no estimo la intención de voto correctamente. Así que ahora solo nos queda ver por qué aquí sucede esto y en otros países no.

Por qué aquí si y en otros países no? Cómo evitamos esto?

Para mí todo se resume en una sola palabra: TRANSPARENCIA.

Yo creo que el problema de las encuestadoras venezolanas, y sé que con todo esto mas nunca me van a querer hablar, es la falta de transparencia. Las encuestas se publican con la más mínima información, pareciera ser que mientras menos información den mejor están. Sin embargo, es todo lo contrario. Al haber mayor información se hace más confiable todo el instrumento. Por ejemplo: por que las encuestadoras no publican el cuestionario con el orden y fraseo correcto de las preguntas? Por qué no muestran tabulaciones de porcentajes de respuestas para cada pregunta?

En otros países (EEUU, Reino Unido, México, por ejemplo) las encuestadoras se han unido en asociaciones para establecer entre otras cosas unas reglas de funcionamiento. Han escrito, por ejemplo, principios de divulgación para las encuestas destinadas al dominio público. Estos principios establecen los requerimientos de divulgación de las encuestas. Veamos por ejemplo a lo que se le obliga a publicar a las encuestadoras estadounidenses.

“Nivel 1 de divulgación: Todos los reportes de encuestas realizados por algún miembro para publicación deben incluir la siguiente información:

Quien patrocina el estudio

Que empresa realizo el trabajo de campo

Fechas de la entrevista

Método de muestreo

Población muestreada

Tamaño de la muestra

Tamaño de la sub-muestra, en caso de no usar toda la muestra

Margen de error de muestreo

Tipo de contacto con encuestados

Fraseo y orden completo de las preguntas en las que se basa el  estudio

Porcentaje de resultados en todas las preguntas

" 

Aclaran que si la encuesta fue comisionada de forma privada pero se hace publica la información anterior debe ser hecha disponible.

Este es solo el  primer nivel de divulgación, si la encuestadora recibe una petición escrita para obtener mayores detalles sobre la encuesta debe publicar un mayor nivel de información sobre la encuesta. Y finalmente las encuestadoras son fuertemente alentadas a publicar en su página web los datos (sin información que permita identificar a los encuestados como numero de teléfono por ejemplo).

Por qué hacer disponible todo esto es bueno?

Simple y llanamente porque permite:

1)    Saber si la empresa tiene una motivación o incentivo para mostrar resultados que favorezcan a un sector

2)    Porque permite determinar si las preguntas promueven algún sesgo en las respuestas (el orden de las preguntas SI altera el producto).

3)    Porque permite evaluar mejor la calidad del producto, bien sea por la prensa o por investigadores.

Y por qué las encuestadoras deberían hacer esto?

1)    Porque no les cuesta nada y ganan mucho.

2)    Porque es lo mismo que exigimos de otras compañías cuyos productos y servicios obtenemos. Piensa que cada vez que compras un producto en el supermercado este debe decir si se vence, el contenido de ciertas vitaminas y minerales, los ingredientes, etc. Porque las encuestas son la excepción?

En fin, creo que ya es suficiente por hoy. Concluyo haciendo un llamado a las encuestadoras para que ellas mismas se regulen por el bien de su profesión inclusive, la falta de confianza en las encuestadoras no les conviene, por el contrario mayor transparencia no va a significar menos trabajo o menos ganancias, significara mayor prestigio.

NCPP - Principles of Disclosure
BPC - Principles of Disclosure