Una coalición de partidos regionales

Ayer se celebraron las elecciones regionales dejando interesantemente unos resultados que a nivel nacional son muy similares a los de la elección presidencial de Octubre. Recodemos que entonces la candidatura del presidente Hugo Chávez obtuvo 55,07% mientras que la del gobernador de Miranda Henrique Capriles obtuvo 44,31% de apoyo. Al ver el total de votos a favor de candidatos oficialistas y opositores de las elecciones regionales de ayer observamos que a pesar de la diferencia en los niveles de participación (por lo menos unos 20 puntos porcentuales menos) los resultados son muy similares con los candidatos oficialistas sumando 54.5% de los votos y los opositores 44.8%.

Figura 1. Porcentaje de votos a nivel nacional

Al ver como se dividen estos resultados entre las diferentes fuerzas políticas opositoras vemos que Primero Justicia logra tener un poco más del 10% seguido de Un Nuevo Tiempo con cerca de 8%. AD es el tercer partido opositor que pasa el umbral del 5% a nivel nacional.

Figura 2. Porcentaje de votos partidos opositores con mas de 1% nacional - Elecciones regionales 2012

Lo que se hace obvio es que las dos coaliciones políticas venezolanas son muy diferentes. La coalición oficialista no es en realidad una coalición ya que un solo partido domina la escena tanto en términos de candidaturas como de resultados electorales. De los más de cuatro millones de votos el 83% provienen del PSUV. Si por ejemplo vemos el número efectivo de partidos (Laakso y Taagepera, 1979) dentro de la coalición oficialista obtenemos que es un poco mayor que uno (1.46). Por el contrario, la oposición es una unión de diferentes partidos con fuerzas relativas. Esto se evidencia no sólo en la figura 2 sino también en el número efectivo de partidos que es casi cinco (4.68).

Pero esto no es noticia nueva. El hecho de que no existe un partido dominante dentro de la oposición es bien conocido y es también la causa de las dificultades que constantemente se le presentan a la MUD. A pesar sin embargo, de esta dispersión del poder dentro de la oposición  el apoyo regional a las fuerzas opositoras pareciera ser -relativamente- homogenéo a lo largo del territorio nacional. Al observar por ejemplo la dispersión de votos de las dos fuerzas políticas vemos que esta no es mucha. Esto lo que quiere decir es que la fuerza opositora es similar en los diferentes estados (con algunas oscilaciones obviamente) y que lo que sucede es que esta se reparte entre diferentes partidos.

Figura 3. Distribución de votos (porcentaje) por estados y coalición

Como se ve entonces las fuerzas opositoras tienen -en conjunto- un apoyo regional relativamente homogéneo sin embargo, al observar a las diferentes fuerzas de forma independiente vemos otra historia. Se observa por ejemplo como solo AD y Primero Justicia tienen apoyos relativamente altos (salvo Miranda y Aragua donde PJ tiene mucho mayor apoyo que en el resto del pais). Ambos partidos rondan en promedio el 5% de votos en las diferentes entidades. Un Nuevo Tiempo sin embargo, a pesar de ser la segunda fuerza opositora, tiene muy poco respaldo a nivel nacional y su fuerza nacional viene de más del 30% de votos en el estado Zulia. Como muestra la figura 4, los diez partidos opositores con más de un 1% de votos a nivel nacional tienen basamentos muy regionales y como ya dije sólo 2 tienen una fuerza relativa nacionalmente. 

Figura 4. Distribución de votos (porcentaje) por estado y partido de la alianza opositora

Esto sólo comprueba que si la oposición quiere ser un actor viable en el corto o mediano plazo debe mantenerse unida ya que ningún partido opositor tiene capacidad -por ahora- de convertirse en actor hegemónico dentro de las fuerzas que adversan al presidente Chávez. Esta debilidad organizativa no pareciera escapar a algunos de los líderes de la Unidad Democrática. El ex-candidato presidencial y gobernador de Miranda en sus palabras tras la victoria de ayer reconoció los liderazgos regionales de la oposición y evidenció en su alocución su intención de mantenerse como el líder de la oposición

Encuestadoras Venezolanas, sus records y la Elección del 2012 - Actualización Post Electoral

Este análisis, originalmente escrito en inglés como contribución al blog “Venezuelan Politics and Human Rights” lo traduzco, con ciertas modificaciones, en esta entrada del blog. (El artículo original se encuentra aquí). 

Después de una contienda electoral bastante larga, el pasado 7 de Octubre los venezolanos pudimos, finalmente, ir a las urnas y contestar la pregunta que todos nos hacíamos: Que encuestadora tenia la razón? La respuesta no es tan simple como pareciera y tratare en estas líneas explicar porque.

Me gustaría empezar por recalcar algo sumamente interesante que ocurrió en los primeros días después de la elección. Yo siempre he estado acostumbrado a ver los resultados electorales y escuchar a los políticos -ganadores y perdedores por igual- decir que ganaron, siempre me ha parecido una característica interesante de las elecciones. No importa el tamaño de la derrota, sus miembros siempre encontraran una forma de decir que ganaron con frases como “obtuvimos más votos que en el pasado” o “ganamos en esta región”. Lo que nunca había visto antes era a encuestadoras hacer esto también! Horas después de que los resultados de la elección se supieran varias encuestadoras empezaron campañas señalando como ellos acertaron los resultados. Esto, me parece a mi, completamente absurdo. Cuando las encuestadoras sienten que deben hacer más que simplemente reportar sus encuestas entonces tenemos problemas serios. Esto viene a colación por el punto que he tratado de hacer desde que comencé el blog: cuando encuestas realizadas en fechas similares muestran resultados tan diferentes como ventajas de 20 puntos a un candidato o de dos para el otro, entonces hay alguien que no esta bien su trabajo.

Recapitulando

Primero, hagamos un breve repaso a esta secuencia de posts. En las tres entregas anteriores he venido argumentando que las encuestadoras tienden a errar, típicamente, en una dirección específica, esto nos permite determinar unas medidas de sesgo con las cuales corregir las actuales predicciones. Usando todas las encuestas a mi disposición genere para cada elección el error promedio de cada encuestadora y utilicé esto como medida de sesgo. Estos términos de corrección se pueden apreciar en la Tabla 1.

 Tabla 1.  Sesgos por encuestadoras y proceso electoral

Los errores del 2012

Ahora que la elección terminó podemos repetir este ejercicio para las encuestas del 2012. Esto lo haré basado en un total de 107 encuestas que he recopilado. La Tabla 2 muestra el número de encuestas por cada encuestadora. Como se puede ver Datanalisis y GISXXI son las dos encuestadoras con mas encuesta (22 y 17 respectivamente)

 Tabla 2. Número de encuestas por encuestadora par alas elecciones 2012

Igual que hice en el post original de Julio voy a comenzar por ver la última encuesta de cada encuestadora. Como ya sabemos los resultados de la elección utilizare los números “polarizados”. Los números polarizados toman en cuenta solamente la intención de voto para cada una de las opciones (en este caso Chávez y Capriles) y de esta forman suman 100%. Para hacer esto se divide cada intención de voto por la suma de ambas opciones. Por ejemplo, si una encuesta daba la elección 53-35 a favor de Chávez entonces la intención de voto polarizada seria:

 Chavez =53/(53+35)=53/88=60.23 ; Capriles = 35/(53+35)=35/88=39.77

La figura 1 muestra en barras horizontales la intención de voto que cada encuestadora le dio a Capriles; y en barras horizontales rojas la intención de voto por Chávez. Las dos líneas verticales muestran los porcentajes de votos obtenidos por Chávez (55.12%) y por Capriles (44.24%)[1]. Como se puede ver la encuestadora que estuvo mas cerca del resultado fue GISXXI seguida de cerca por Datanalisis. El resto de las encuestadoras, excepto Varianzas, tuvieron errores de más de cinco (5) puntos porcentuales.

Figura 1. Ultima encuesta antes de la elección presidencial 2012

Sin embargo, como también he dicho en oportunidades anteriores, dadas las diferencias tan grandes en números y predicciones que observamos durante el ciclo electoral ver solamente la última encuesta no nos permite analizar apropiadamente el sesgo de las encuestadoras. Durante la campana electoral las diferentes encuestadoras dieron versiones extremadamente diferentes de una misma realidad y es mi opinión que esto debe ser considerado en la estimación de sesgos, especialmente para evaluar encuestas durante la campana. Basado en esto junte todas las encuestas de cada una de las encuestadoras y genere el error promedio para las predicciones de intención de voto tanto para el gobierno como para la oposición. La figura 2 muestra estos números. Lo primero que es interesante ver es que a pesar de la exactitud de la última encuesta del GISXXI (Casi perfecta) sus encuestas durante la campana fueron bastante diferentes. GISXXI es efectivamente la encuestadora con los sesgos pro-Chávez mas grandes. Por el contrario la encuestadora con los sesgos promedios más pequeños fue Datanalisis, seguida de Varianzas e Hinterlaces. La tabla  muestra los números de sesgo para cada una de las encuestadoras en la base de datos recopilada. Números negativos significan que la intención de voto reportada fue menor que el numero actual de votos y números positivos indican que la intención de voto sobre-reporto la realidad.

Figura 2. Sesgo promedio para el gobierno y la oposición en las encuestas del 2012

Tabla 3. Error promedio por encuestadora en la elección 2012

Con estos resultados a la mano podemos entonces actualizar la primera tabla para que incluya los sesgos de esta elección. Con respecto a esta nueva tabla podemos resaltar varias cosas. 

• Primero, 30.11 Consultores tuvo un sesgo similar al de la elección del 2007. 
• Consultores 21 mejoro con respecto a sus peores predicciones en 2004 y 2009, pero empeoro con respecto a sus mejores momentos y paso el umbral de mas de cinco (5) puntos de sesgo. 
• Datanalisis tuvo uno de sus mejores desempeños con errores que bordearon el margen de error. 
• GISXXI logro empeorar su pobre desempeño del 2010 al pasar la línea de los diez (10) puntos en sesgo pro-gobierno. 
• Hinterlaces mejoro su peor predicción del 2009 pero empeoró con respecto a sus mejores resultados en los que estuvo a décimas de los resultados reales. En esta oportunidad el error pasó de los tres puntos logrando estar fuera del margen de error estadístico. 
• El IVAD tuvo sesgos de cerca de cinco puntos que es cercano a su promedio. 
• Finalmente, Varianzas, logro empeorar su desempeño con respecto a su record previo manteniendo consistencia en su sesgo oposición. Igual que Hinterlaces su error esta dentro del margen de cinco puntos pero pasa los tres puntos porcentuales.

 Tabla 4. Sesgos por encuestadoras y proceso electoral - con actualización 2012

Con esta última contribución a este blog (Venezuelan Politics and Human Rights) me gustaría reiterar el argumento que he estado tratando de hacer desde el principio. Diferencias tan grandes entre encuestas no son el resultado de simples errores estadísticos. Definitivamente hay algo mas sucediendo entre las encuestadoras venezolanas. No importa si eso que ocurre es que las encuestadoras son incompetentes o están jugando a la política, eso esta de mas. Lo que si importa es que estas diferencias reducen la confiabilidad, no solo en las encuestadoras, pero en el sistema político. Las encuestas ayudan a crear expectaciones y permiten que los diferentes escenarios sean considerados por los actores en juego quienes planifican en base a estos sus acciones. Cuando existen números tan dispares quienes pagan el precio son las instituciones. Por ejemplo, la mayoría de quienes creen que hubo fraude basan su racionalización en base a lo que decían algunas encuestas. Por lo tanto, si estamos interesados en construir instituciones duraderas y estables necesitamos mejorar los procesos de creación de conocimiento que las afectan. Una vez más llamo a las encuestadoras venezolanas a que formen una asociación y establezcan estándares profesionales como se hace en otros países.

Establecer estándares de divulgación como los del Consejo Nacional de Encuestas Publicas de los Estados Unidos (NCPP por sus siglas en ingles) por ejemplo solo ayudara a mejorar la industria de encuestas. Estos principios de divulgación son usados en países como los EEUU, el Reino Unido y México. En estos países las encuestadoras –a través de asociaciones- se han comprometido a proveer una considerable cantidad de información de sus productos. Es interesante resaltar que mientras en los EEUU y el Reino Unido esto ha sido un proceso que nació como iniciativa de las encuestadoras mismas, en México fue establecido mediante regulación de la autoridad electoral (el Instituto Federal de Elecciones – IFE). Sin embargo, de una forma u otra, en estos países las encuestadoras hacen pública información de sus encuestas como por ejemplo: el cuestionario completo y el orden exacto de las preguntas, los patrocinantes del estudio, y tabulaciones de las respuestas en todas las preguntas hechas públicas. Y estos detalles son solo una pequeña parte de los principios de divulgación del NCPP que promueve inclusive que sus miembros hagan pública la data de las encuestas –eliminando cualquier forma de identificación de los encuestados. Como ya dije días antes de la elección (Un llamado a la transparencia) mientras mas información se hace publica mejores conclusiones se pueden sacar de esta.

En Venezuela, el Consejo Nacional Electoral (CNE) tuvo un intento fallido de regulación similar al del IFE Mexicano. La regulación de las elecciones presidenciales del 2012 establecía algunos requerimientos de las encuestadoras. Toda firma interesada en hacer del conocimiento publico sus encuestas tenia que registrarse en el CNE y tenia que hacer publica cierta información básica de cada encuesta. Sin embargo, como ya argumente cuando se estableció esta regulación (Sello de Calidad CNE), esta es insuficiente para generar un control adecuado o proveer un nivel de divulgación relevante ya que la información requerida es información básica como tamaño de la muestra, fechas de campo, y estrategia de muestreo. En pocas palabras esta regulación del CNE fue mas un gesto vacío que una verdadera política pública que buscara de cierta forma poner algo de orden y generar mayor transparencia en el campo de las encuestas electorales.

NCPP - Principles of Disclosure

BPC - Principles of Disclosure

No puedo terminar sin antes agradecer a David Smilde (moderador del blog Venezuelan Politics and Human Rights) por invitarme a escribir estos cuatro artículos para su blog. Espero haber contribuido a los propósitos de éste. 

---

[1] Estos números fueron obtenidos de la página web del CNE el 19 de Octubre.

El clivaje urbano - rural

Esto no es algo que suelo hacer pero me parece un buen momento para hacerlo en parte dados algunos comentarios recibidos....

----

Excelente análisis de lo que paso en Lara...y en extension en Venezuela. La frase importante es :
"Rural areas gave Chávez a solid barrier that overcame the losses on the large urban areas. The same thing happened more or less across the country.
El campo es rojo, rojito."

.... esto en línea con la entrevista en el Christian Science Monitor:

"It's very tight, and both have very similar chances of winning," says Iñaki Sagarzazu, a Venezuelan teaching at the University of Glasgow, Scotland. "It will come down to who mobilizes the most."

Mr. Sagarzazu says that Chávez support has moved from urban to rural areas over the years. That’s left the president with a base in the plains while urban areas have moved largely to the opposition, which this year is supporting Mr. Capriles, governor of a state that includes part of the capital, Caracas.
----

Este comportamiento es normal ya que en las zonas rurales es más difícil, y costoso, entrar para actores que no manejan cuotas de poder en esas areas. El gobierno del presidente Chávez ha tenido 14 años para entrar y controlar esas zonas (ver un análisis de esta estrategia aquí), que como muy bien argumenta Gustavo Hernandez Acevedo en Caracas Chronicles fueron esenciales en mantener la maroría. En este momento la labor de la oposición debe ser mantener sus actuales cuotas de poder (gobernacioes y alcaldías) y lograr obtener más que le permitan entrar en zonas más rurales.

Re-Evaluando las encuestas

Bueno, ya sabemos cual fue el resultado del proceso electoral del domingo 7 de Octubre. Comienzo entonces una serie de articulos analizando las encuestas, el análisis combinatorio que yo hice y presente aquí (y que se equivocó), y otras cosas que irán surgiendo estoy seguro.

Comienzo entonces por analizar cual fue el error de todas las encuestadoras con lo que respecta a su última proyección pero también con lo que respecta a todas las proyecciones que hicieron. De más está decir que la única encuestadora que estuvo dentro del margen de error según su última encuesta fue GISXXI, esta encuestadora aunque mostró una evolución extraña en intención de votos para el candidato de la oposición fue la que mejor predijo en su último trabajo. Reconozco eso y hago la salvedad de que esto lo dije antes de la elección, de los cuatro posibles escenarios que presenté el que resulto ser el final fue el Escenario 1 (ver aquí).

Veamos entonces...

Error de la última encuesta

Para cada uno de los dos analisis que presentaré la versión polarizada y no polarizada (como ya hice aquí. Cada gráfico muestra la diferencia entre la intención de voto reportada por la encuesta y el 55% de votos de Chávez (rojo) y el 44% de Capriles (azul). Barras que van hacia la derecha significa que la encuesta dió números mayores a los que obtuvo, barras hacia la izquierda significan que la encuesta dio números menores a la realidad.

 a) Escenario no-polarizado:

Cuatro encuestadoras estuvieron dentro del margen de error de +/-2.5 puntos. GISXXI, ICS y Consultores 30.11 para Chavez y Consultores 21 y GISXXI para Capriles.  Predicmatica y Varianzas no estuvieron muy lejos en su prediccion de Capriles. Con respecto a los errores, vemos que Consultores 21 y Predicmatica por ejemplo tuvieron errores en el orden de los 10 puntos en intención de voto para Chávez. Dtanalisis tiene unos errores altos por su forma de reportar los indecisos. Hinterlaces, ICS e IVAD dieron casi 10 puntos menos a Capriles de los que obtuvo.

 b) Escenario polarizado:

Cuando usamos el escenario polarizado vemos algunos cambios. GISXXI pasa a ser la única encuesta que estuvo dentro del margen de error con Datanalisis siguiendole muy de cerca y Varianzas de tercera seguida de Hinterlaces. De resto todas las encuestadoras o bien sobre-estimaron a Chavez o a Capriles por mas de 5 puntos.

Error del promedio de encuestas:

Seguramente en este punto el lector se preguntará por qué no me quedo solamente con la última encuesta. Mi respuesta sencilla es porque todas las encuestadoras dijeron cosas muy distintas durante los últimos dos años y por lo tanto hace falta incluir esto en cualquier análisis. Yo se que asumir un apoyo estático en todo el período no es necesariamente la mejor manera de hacerlo, pero por lo menos es justa con todos pues a todos se les evalua por igual. Para dejar esto claro veamos el gráfico con las proyecciones de cada encuestadora:

a) Escenario no-polarizado:

Es interesante, o me parece a mí, ver los errores cuando usamos el promedio. Primero vemos que, en promedio, solo GISXXI y Consultores 30.11 estuvieron dentro del margen de error en su predicción de Chávez, esto a pesar de estar muy lejos en sus predicciones de voto por Capriles. Varianzas es la única que en promedio dio a Capriles dentro del margen de error, con Consultores 21 muy cerca.

b) Escenario polarizado:

 En lo que respecta al escenario polarizado, vemos como solamente Datanalisis estuvo dentro del margen de error con Chavez y rozandolo con intencion de voto para Capriles. Del resto Varianzas, IVAD, e Hinterlaces están lejos pero por menos de cinco puntos.

Conclusión

- La encuestadora que dió la prediccion final mas correcta: GISXXI
- La encuestadora que quitando ruidos estuvo mejor: Datanalisis

Es importante destacar, que a pesar de que sí hubo encuestadoras que dieron predicciones correctas de una u otra forma, tambiénes cierto que con tantos números tan disímiles esto era obvio que pasaría. Lo más importante, sin embargo, sigue siendo la falta de transparencia de las encuestadoras y lo difícil que se hace evaluar sus productos. Por ello, creo pertinente reiterar este artículo que hice en vísperas de las elecciones: Un llamado a la transparencia.


Seguiré con mas análisis...

Un llamado a la transparencia

Una de las razones que me llevó a escribir sobre las encuestas es porque estaba tratando de entender la gran diferencia que existía entre unas y otras.  Como muchos no le encuentro lógica al asunto. Así que me puse, en mis ratos de ocio, a recolectar encuestas nuevas y viejas y a analizarlas. El resultado está en las páginas de este blog, así como en algunos otros y uno que otro artículo de periódico cuyo autor consideró interesante algo en estas páginas. A medida que ha pasado el tiempo he llegado a la conclusión que el problema de Venezuela y de las encuestas Venezolanas sólo se podrá solucionar con mayor transparencia de parte de las encuestadoras. Como mencioné en alguna oportunidad anterior (Sello de calidad CNE) el intento del CNE de regular las encuestadoras fue y es una farsa ya que no sirve de nada. No logró disminuir el número de encuestadoras fantasma, ni mejorar las proyecciones de los resultados. Habría que preguntarle a los rectores del CNE cual era el cometido de la regulación porque a mi no me queda claro, asumiré (para no ponerme a atacar al árbitro a dos días de las elecciones) que las buenas intenciones no fueron llevadas a cabo correctamente. Por qué digo todo esto? Bueno, démosle un vistazo a la figura 1.

La figura uno muestra varias cosas. Empecemos por describir el gráfico:

1)    Para cada mes desde Febrero de 2012 hasta Septiembre del 2012 tomé todas las encuestas realizadas en ese mes (si empezaban en un mes y terminaban en otro usé el mes de finalización de campo).

2)    Para cada encuesta tomé la diferencia entre la intención de voto por Chávez y por Capriles.

3)    Para cada mes promedié todas las diferencias. Obtuve el valor máximo y mínimo de estas y la desviación estándar.

4)    Todo esto está representado en el gráfico. Los puntos negros son el promedio de las diferencias. El espacio gris es el rango del valor mínimo (negativo es a favor de Capriles y positivo a favor de Chávez). Y la línea negra es el valor promedio +/- el valor de una desviación estándar.

Que significa todo esto?

Bueno, las dos cosas interesantes de ver aquí son los rangos y las desviaciones estándar. Por qué? se preguntarán. Estos dos valores son interesantes porque nos muestran la dispersión de los datos, es decir nos dicen que tanto concuerdan o difieren las diferentes encuestas. Si el rango y la desviación estándar son pequeñas alrededor del promedio entonces podríamos decir que las encuestas están mostrando una misma realidad. Si por el contrario, el rango y la desviación estándar son grandes tendríamos entonces encuestas mostrando realidades muy diferentes. Y como se pudieron dar cuenta, ese es el caso Venezolano!

Representa esto un problema?

SI!

Se supone que las encuestas de opinión son realizadas mediante técnicas estadísticas de muestreo que deberían dar resultados similares. Es decir, si yo tengo una caja con 100 pelotas, 50 azules y 50 rojas, y saco 10 pelotas al azar y repito esto 20 veces el resultado en promedio debería ser 5 rojas y 5 azules. Es posible que en una oportunidad saque más rojas que azules y viceversa pero esto debería ser la excepción más no la regla.

Así pues si 10 empresas encuestadoras están midiendo la misma intención de voto, en las mismas fechas, en el mismo país, con un muestreo apropiado, entonces los resultados deberían ser relativamente similares (si no me creen vean encuestas de países como México, EEUU, Inglaterra, Chile, Brasil, etc.). 

Siempre habrá variación pero, y aquí esta la clave, NO TANTA!

Qué pasa en Venezuela entonces?

Para usar las respuestas de las encuestas: NO SABE/NO CONTESTA! Lo digo como broma pero es cierto, NO SE!

No puedo decir sinceramente, con pruebas en la mano, que sucede. Lo único que puedo hacer es mostrar que sucede y hacer conjeturas. Voy a evitar decir que las encuestadoras han sido compradas para manipular sus números y ser usadas como instrumento de campaña ya que no tengo pruebas que demuestren esto. Si puedo sin embargo, decir que una o más encuestadoras no están haciendo las cosas bien! Para muestra la serie de artículos que he escrito empezando por el de ayer. Después del domingo podremos evaluar quien no estimo la intención de voto correctamente. Así que ahora solo nos queda ver por qué aquí sucede esto y en otros países no.

Por qué aquí si y en otros países no? Cómo evitamos esto?

Para mí todo se resume en una sola palabra: TRANSPARENCIA.

Yo creo que el problema de las encuestadoras venezolanas, y sé que con todo esto mas nunca me van a querer hablar, es la falta de transparencia. Las encuestas se publican con la más mínima información, pareciera ser que mientras menos información den mejor están. Sin embargo, es todo lo contrario. Al haber mayor información se hace más confiable todo el instrumento. Por ejemplo: por que las encuestadoras no publican el cuestionario con el orden y fraseo correcto de las preguntas? Por qué no muestran tabulaciones de porcentajes de respuestas para cada pregunta?

En otros países (EEUU, Reino Unido, México, por ejemplo) las encuestadoras se han unido en asociaciones para establecer entre otras cosas unas reglas de funcionamiento. Han escrito, por ejemplo, principios de divulgación para las encuestas destinadas al dominio público. Estos principios establecen los requerimientos de divulgación de las encuestas. Veamos por ejemplo a lo que se le obliga a publicar a las encuestadoras estadounidenses.

“Nivel 1 de divulgación: Todos los reportes de encuestas realizados por algún miembro para publicación deben incluir la siguiente información:

Quien patrocina el estudio

Que empresa realizo el trabajo de campo

Fechas de la entrevista

Método de muestreo

Población muestreada

Tamaño de la muestra

Tamaño de la sub-muestra, en caso de no usar toda la muestra

Margen de error de muestreo

Tipo de contacto con encuestados

Fraseo y orden completo de las preguntas en las que se basa el  estudio

Porcentaje de resultados en todas las preguntas

" 

Aclaran que si la encuesta fue comisionada de forma privada pero se hace publica la información anterior debe ser hecha disponible.

Este es solo el  primer nivel de divulgación, si la encuestadora recibe una petición escrita para obtener mayores detalles sobre la encuesta debe publicar un mayor nivel de información sobre la encuesta. Y finalmente las encuestadoras son fuertemente alentadas a publicar en su página web los datos (sin información que permita identificar a los encuestados como numero de teléfono por ejemplo).

Por qué hacer disponible todo esto es bueno?

Simple y llanamente porque permite:

1)    Saber si la empresa tiene una motivación o incentivo para mostrar resultados que favorezcan a un sector

2)    Porque permite determinar si las preguntas promueven algún sesgo en las respuestas (el orden de las preguntas SI altera el producto).

3)    Porque permite evaluar mejor la calidad del producto, bien sea por la prensa o por investigadores.

Y por qué las encuestadoras deberían hacer esto?

1)    Porque no les cuesta nada y ganan mucho.

2)    Porque es lo mismo que exigimos de otras compañías cuyos productos y servicios obtenemos. Piensa que cada vez que compras un producto en el supermercado este debe decir si se vence, el contenido de ciertas vitaminas y minerales, los ingredientes, etc. Porque las encuestas son la excepción?

En fin, creo que ya es suficiente por hoy. Concluyo haciendo un llamado a las encuestadoras para que ellas mismas se regulen por el bien de su profesión inclusive, la falta de confianza en las encuestadoras no les conviene, por el contrario mayor transparencia no va a significar menos trabajo o menos ganancias, significara mayor prestigio.

NCPP - Principles of Disclosure
BPC - Principles of Disclosure

Escenarios 8-O: Estimando errores preventivamente!

Este domingo (o lunes) sabremos finalmente quien ganó las elecciones. Atrás quedarán meses de discusiones sobre quien va arriba y quien subiendo, o sobre que encuestadora está comprada. En ese momento abran unos eufóricos por su victoria y otros tristes de la derrota de su candidato. Sin embargo a la vuelta de la esquina hay otra elección que se vera afectada por los resultados del 7-O. Comenzaran de nuevo las encuestas a contaminar el ambiente con vastas diferencias entre unos y otros candidatos. Así que será importante determinar quien fue más acertado en sus predicciones. Con esto en mente he decidido hacer un ejercicio anticipado de evaluación, que luego haré más apropiadamente cuando se sepan los resultados oficiales. Sin embargo aquí van cuatro posibles escenarios.

Escenario 1: Chávez 55% - Capriles 45%

Escenario 2: Chávez 51% - Capriles 49%

Escenario 3: Chávez 49% - Capriles 51%

Escenario 4: Chávez 45% - Capriles 55%

Para evaluar cada encuestadora voy a utilizar únicamente su última encuesta, la cual debió haber sido realizada los últimos 30 días antes de la elección. Haré dos cálculos de error:

El primero consistirá en cotejar los números entregados por las encuestadoras (con o sin indecisos) contra cada escenario. Para los escenarios 1 y 2 estimare la diferencia entre los votos “reales” de Chávez y la intención de voto reflejada en la encuesta. Para los escenarios 3 y 4 usare los votos “reales” de Capriles y la intención de voto reflejada por Capriles en la encuesta.

El segundo cálculo consistirá en llevar los números de todas las encuestadoras a un escenario polarizado. Es decir que ignoro los indecisos y llevo la intención de voto a sumar 100. Por ejemplo, si la encuestadora A dijo Chávez 40 – Capriles 30, entonces en el escenario polarizado Chávez tendría 57 (40/70) y Capriles 43 (30/70). El resto seria igual al cálculo anterior.

Veamos entonces:

Escenario No-Polarizado

Veams primero el análisis en el cual utilizamos los números reportados por las encuestadoras. Esta comparación no es, a mi parecer, la apropiada pero vale la pena hacerla. Usar este calculo obvia el hecho de que al momento de votar, quienes lo hagan, tendrán basicamente dos opciones y por lo tanto estas dos candidaturas sumarán mas del 90% de los votos.

a)      Chávez gana

Figura 1

La figura 1 muestra que tan diferentes fueron las predicciones de las encuestadoras con respecto a cada escenario. Por ejemplo: En el escenario 1 en el que Chavez gana 55-45 Consultores 21 da casi 10 puntos menos a Chavez en sus sondeo y Datanalisis da casi 12 puntos menos. ICS por el contrario casi la pega. Interesante para mi es ver que empresas estarían cinco puntos alrededor del 0 (2.5 puntos para cada lado), ya que estas serían las que sus predicciones fueron más acertadas. Para estos dos escenarios vemos que GISXXI, ICS y Consultores 30.11 estarían en este rango para el Escenario 1. Mientras que Hinterlaces, IVAD, y Varianzas estarían para el escenario 2 (victoria de Chavez 51-49).

b)      Capriles gana

Figura 2

Si por el contrario gana Capriles entonces las cosas cambian bastante. Sólo Hercon estaría dentro del margen de error en el escenario 49-51. Esto es muy interesante por el hecho de que ninguna encuesta puso a Capriles por encima de 50 puntos aunque lo pongan por arriba de Chávez.

Escenario Polarizado

Como dije antes este es el escenario más lógico para analizar puesto que los votos de Chávez y Capriles sumarán más del 90% y quién quita si no suman 99%. Para acomodar las cifras lo único que hago es extrapolar los números dados por cada encuestadora a un escenario en el que esos números suman 100. Veamos entonces que sucede.

a)      Chávez gana

Figura 3

La figura 3 muestra que tanto acertarían las encuestadoras los escenarios en los que gana Chávez. Como se puede ver sólo GISXXI estaría dentro del margen de error del escenario 1 (55-45), con Datanalisis muy cerca de estarlo. El escenario 2 tendría por el contrario 2 encuestadoras dentro del margen de error Consultores 21 y Varianzas.

b)      Capriles gana

Figura 4

Finalmente la figura 4 muestra el escenario polarizado en el que Capriles gana. Nuevamente el escenario 4 (45-55) no esta dentro de los planes de muchas encuestadoras. El escenario 3 sin embargo sería predecido dentro del margen de error por Consultores 21, Hercon y Varianzas.

c) Y entonces...

Considerando solamente los casos de Escenarios polarizados podemos ver entonces como quedarían las encuestadoras según sus estudios. La figura 5 presenta esta información de forma grafica. Para cada encuestadora/escenario presenta un color. Verde significa que la predicción de la encuestadora estuvo dentro del rango de 5 puntos (+/- 2.5). Amarillo significa que estuvo dentro de un rango de 10 puntos (+/- 5). Finalmente, morado significa que estu fuera del rango de 10 puntos. Claro está estos valores están ligados a los escenarios hipotéticos que yo escogi. Si las elecciones quedan 60-40 habría que agregar otra celda, pero por ahora sirven como ejercicio.

Los dejo que interpreten esto...

Encuestadoras Venezolanas, sus records y la Elección del 2012 - Actualización de Septiembre

Este análisis, originalmente escrito en inglés como contribución al blog “Venezuelan Politics and Human Rights” lo traduzco, con ciertas modificaciones, en esta entrada del blog. (El artículo original se encuentra aquí). 

A falta de días para la elección presidencial en Venezuela es momento de darle una última Mirada a las encuestas. Como ya se ha vuelto la norma a lo largo de esta campaña electoral las encuestas siguen siendo tan poco esclarecedoras como al principio. Ya a estas alturas la mayoría de las encuestadoras han hecho públicos sus últimos estudios de opinión a sabiendas que desde el pasado Domingo 30 de Septiembre la Ley Electoral prohíbe publicar encuestas. Estas últimas encuestas mantienen los rangos de sus predecesoras que varían desde 20 puntos a del Presidente Hugo Chávez a 2 puntos  a favor el Gobernador de Miranda Henrique Capriles Radonski. Veamos entonces como son los números si consideramos que las encuestadoras tienen sesgos.

Recapitulando

Primero, hagamos un breve repaso al post anterior. En esa oportunidad argumente que las encuestadoras tienden errar, típicamente, en una dirección específica (A favor del gobierno o de la oposición), esto permite determinar unas medidas de sesgo con las cuales corregir las actuales predicciones. Segundo, en esa oportunidad resalte la existencia de dos escenarios basados en la historia electoral reciente de Venezuela: 1) un escenario en el que las encuestas dan a la oposición por delante, pero en los que el gobierno gana (2004 y 2009); 2) Segundo un escenario en donde el gobierno va por delante pero la oposición gana o llega muy cerca de hacerlo (como en 2007 y 2010). Estos dos escenarios sirven como base de dos medidas de “corrección” para las encuestas actuales. Una tercera medida de corrección se basa en el promedio de todos los errores par a las elecciones anteriores. Estos términos de corrección se pueden apreciar en la Tabla 1.

Tabla 1.  Sesgos por encuestadoras y proceso electoral

En este momento es importante hacer dos puntos:

Primero, recientemente fui recordado que antes de hacer mi primer post de esta serie de tres leí una nota de Bank of America escrita por Francisco Rodríguez en donde hace un análisis histórico de las elecciones y genera una predicción. Aunque los promedios que utilizamos son diferentes, y dan resultados diferentes, es justo que haga mención a su trabajo. Específicamente, Francisco utiliza una medida similar a la tercera corrección que promedia todas las elecciones. Yo creo que esta no es la medida analítica correcta ya que cancela los errores de elecciones con dinámicas diferentes y por eso proveo un análisis con dos escenarios 2009 y 2010.

Segundo, el mes pasado explique mi decisión de usar los promedios de los errores para una elección en vez de usar solo la última encuesta. Argumente en esa oportunidad, y mantengo esa opinión, que fue una decisión que tome como analista de no usar solo la última encuesta ya que las encuestadoras solían dar visiones muy disimiles de la contienda durante la campaña y que por lo tanto esto debía considerarse en el sesgo. Sin embargo, como ya estamos en la última semana además de hacer los análisis como antes voy a incluir un análisis de sesgo basado en la última encuesta publicada (a 30 días o menos de la elección) para la elección del 2010. Como mencione en mi primer post de esta serie, yo considero el escenario 2010 el que provee el precedente más parecido a esta elección. Además, para las otras elecciones (como 2009) no tengo suficientes encuestas para poder hacer esta versión del análisis. La Tabla 2 muestra los errores pro-gobierno y pro-oposición para la última encuesta de cuatro encuestadoras. La disparidad en los errores se debe al hecho de que el PPT logro obtener un número considerable de votos.

Tabla 2.  Error en la última encuesta para la elección legislativa del 2010, por encuestadora

La elección del 2012 – Actualización de Septiembre

Nuevos estudios de opinión han sido publicados  desde mi último análisis a finales de Septiembre, la mayoría de estos publicados en la última semana de Septiembre. La tabla 3 muestra las predicciones con las fechas de cada encuesta y las correcciones mencionadas anteriormente: la corrección del escenario 2009 donde la oposición; la predicción 2010 donde el gobierno, la corrección promedio y la corrección basada en la última encuesta de la elección del 2010.

Como se puede ver en el escenario 2010, el más competitivo - y yo creo el más realista – ninguna encuestadora tiene a Chávez por encima del 50% (después de la corrección); la que da más intención de voto es Varianzas con 49%. Con respecto a la oposición, la única encuestadora que da a Capriles una predicción corregida de menos de 30% es Hinterlaces, el resto al contrario dan una intención de voto a Capriles en el rango de 38 a 48.

 

Tabla 3.  Ultima predicción disponible, por encuestadora, para la elección del 2012 y corrección basada en dinámicas electorales alternativas

Finalmente, cuando vemos estas encuestas corregidas juntas (tomando el promedio del escenario 2010) y las comparamos con los resultados del  grupo de encuestas anteriores obtenemos la figura 1. Aquí hay varias cosas importantes que resaltar:

1)      Chávez se mantiene debajo del 50%. Su promedio se mantiene estable al igual que el rango de este lo que significa que las encuestadoras de cierta forma están de acuerdo en la ubicación de intención de voto por Chávez.

2)      Los números de Capriles han aumentado de 34 en julio a 40. Considerando que Chávez está en 46 esto hace que la diferencia entre ambos sea de 6 puntos porcentuales. Sin embargo, a diferencia de los números de Chávez el rango de certeza de alrededor del promedio de Capriles es extremadamente grande, lo que significa que hay poco consenso entre los encuestadores de la ubicación real de Capriles.

 Figura 1. Promedio de rango de las predicciones corregidas (escenario 2010) para las encuestas de Julio y Agosto.

(La separación horizontal entre Chávez y Capriles para cada mes es un mero artificio grafico para presentar los datos más claramente ya que solo hay tres puntos en el tiempo en el que se ha hecho este análisis: Julio, Agosto y Septiembre.)

Como van las cosas puedo decir que la elección está extremadamente cerrada. Una diferencia de seis puntos no solo está cerca del margen de error de la mayoría de las encuestadoras sino que además está muy por debajo del porcentaje de indecisos de 10%. A pesar de que solo queda una semana para la elección hay que recordad que la mayoría de las encuestas fueron realizadas entre principios y mediados de septiembre. Con un Chávez que permanece estático en promedio y un Capriles subiendo la única conclusión que podemos hacer es que a lo largo de la campana los indecisos se han decantado por el candidato de la Unidad. La figura 2 muestra la evolución de estos indecisos en cada una de las tres rondas en las que se hizo este análisis. Como se puede ver ha habido una disminución de casi 10% desde Julio, muy parecida a la subida en intención de voto por Capriles.

Figura 2. Evolución de los indecisos