Como saber si una encuesta es confiable? – Parte 2

En ocasión anterior me referí a un análisis preliminar que estudiaba  la existencia de sesgo en las encuestas electorales venezolanas (ver aquí). En base a una evaluación de elecciones anteriores, que incluía el referéndum revocatorio, las presidenciales del 2006, el referéndum del 2007 y las legislativas del 2010, argumenté que las encuestas donde existía menos sesgo eran aquellas que publicaban información relevante sobre la metodología utilizada (número de entrevistados, intervalos de confianza, método de contacto, etc.), sin embargo, también advertí sobre la existencia de un sesgo sistemático relacionado a las diferentes casas encuestadoras. Es decir, insinué sobre la existencia de unas encuestadoras cuyos productos presentaban altos índices de error con respecto a los resultados electorales.

Debido al número relativamente bajo de encuestas analizadas, 35 en esa oportunidad, me limité  a llamar la atención de la existencia de esta situación anómala en las encuestadoras venezolanas. En esta oportunidad he logrado aumentar el número de encuestas analizadas a 53 lo cual me permite llegar a conclusiones más sólidas –estadísticamente hablando-. Utilizaré este espacio entonces para presentar los hallazgos de este análisis cuya intención es ayudar en la evaluación más certera de las diferentes encuestas publicadas en nuestros procesos electorales. Antes de presentar el análisis quisiera recalcar la problemática existente que es la razón por la cual este estudio es necesario.

El principio fundamental del método estadístico se basa en la hipótesis de que es posible hacer una predicción sobre una situación particular usando como origen una muestra aleatoria de la población a evaluar. Por ejemplo, si hay 100 pelotas en una bolsa y queremos saber el color de las pelotas podríamos hacer un pronóstico después de sacar 1, 2, 3 o 10 pelotas. En base al número de pelotas que saquemos y a la cantidad de diferentes colores podríamos generalizar sobre el total de 100 pelotas. En principio si se repite este experimento los resultados deberían ser relativamente similares.

Este mismo principio de generalizar el color de las pelotas en base a una muestra es el que está detrás de una encuesta. En una esta se selecciona aleatoriamente un subgrupo de la población y se hace una predicción en base a lo que la muestra indica. Si 60 personas de 100 indican que votarán por el candidato A entonces se podría concluir que el 60% de la población votaría por A, con cierto grado de error. Igual que en el caso de las pelotas, si varias encuestadoras realizan este ejercicio los resultados deberían ser similares estadísticamente. Sin embargo, ese no es el caso en Venezuela. Al observar una muestra de las encuestas que se han hecho públicas en los últimos meses sobre las elecciones presidenciales del 2012 podemos observar diferencias muy grandes entre diversas casas consultoras. Estas diferencias pueden llegar a ser de casi 30 puntos porcentuales –muy lejos de cualquier margen de error-.En base a esta situación cabe preguntarse: ¿qué genera esta diferencia?

Cuando existen diferencias entre diversas encuestas las principales causas suelen ser diferencias en las fechas de campo, el número de participantes, la metodología de selección de participantes (aleatoria, por cuotas, etc.), la forma de contactar a los participantes (teléfono, personal, etc.). Una vez se descartan estos factores podemos inferir que las diferencias radican en las casas encuestadoras. Particularmente en  la forma en que estas obtienen sus datos o los analizan. En general esto no representa un problema si es un incidente aislado, sin embargo, cuando el error esta presente en todas las encuestas de una misma encuestadora entonces podemos hablar dela presencia de un sesgo sistemático.

Ante esta problemática considero oportuno la creación de un barómetro para medir encuestas y calificar encuestadoras en base a “zonas de confiabilidad”. Particularmente útil en este objetivo es el Encuestómetro de la fundación Liderazgo y Visión de Venezuela. Esta es una herramienta  que nos permite evaluar la calidad de las diferentes encuestas que se hacen públicas.  El Encuestómetro  utiliza diez variables como requisito para determinar si una encuesta es confiable.

1.       Población definida

2.       Método de recolección de datos

3.       Método de muestreo

4.       Ente que paga por la encuesta

5.       Datos de la muestra (Número de entrevistados, Nivel de Confianza, Error)

6.       Ubicación Geográfica

7.       Cuestionario

8.       Porcentaje de Rechazo

9.       Fechas de campo

10.   Trayectoria de la Firma

Basado en un modelo estadístico en el que se incluyen la mayoría de estas diez variables es posible obtener las desviaciones sistemáticas de cada casa encuestadora.  Con este propósito se evaluó un total de 51 encuestas, determinando si cumplían o no cada uno de los requisitos y se estimó que tan grande fue la diferencia entre la encuesta y el resultado electoral, sin importar a que tendencia beneficiaba esta brecha. Es importante destacar que este análisis es únicamente de sesgo y no de la tendencia de ese sesgo.

Tabla 1

La Tabla 1 muestra el promedio del error de las encuestas de cara a cuatro procesos electorales (el referéndum revocatorio, las presidenciales de 2006, el referéndum del 2007 y las elecciones de la Asamblea Nacional del 2010) así como sus valores mínimos y máximos para cada proceso electoral. Como se puede ver las encuestas previas al RR2004 son las que tuvieron -en promedio- un error más grande, seguidas por las encuestas previas al Referéndum del 2007. Sin embargo, a pesar de que los errores promedio están en el rango de los 5 puntos porcentuales, hay encuestas con errores de hasta casi 15 puntos.

Al realizar el análisis estadístico los resultados muestran varias conclusiones interesantes.

• En promedio, las encuestas que no publican ningún tipo de información tienen una diferencia de casi 20 puntos porcentuales entre la predicción y el resultado de la elección.
• De los diez indicadores 3 son particularmente útiles en ayudarnos a determinar la confiabilidad de una encuesta, estos son:   

1. que se reporten datos de la encuesta como el número de encuestados (indicador 5)
2. que se reporten las técnicas de muestreo (indicador 3)
3. que se reporten las fechas de campo (indicador 9).  

• Los otros 7 indicadores parecen no tener influencia en la desviación. Esto no es indicativo de que no son importantes, pues por el contrario puede deberse a que son indicadores altamente reportados y con poca o ninguna variación (indicadores 2 y 4), son aquellos que nadie reporta (indicador 8), o son difíciles de evaluar (indicador 10).
• Finalmente, se muestra la presencia de desviaciones sistemáticas presentes en las encuestas de diferentes encuestadoras. Por ejemplo, las casas encuestadoras poco conocidas tienen un promedio de error de 20% entre la predicción y el resultado de la elección.

Este último resultado corrobora los hallazgos del análisis reportado en oportunidad anterior. En base a estos resultados de desviaciones sistemáticas propongo la utilización de un índice de confiabilidad. Este índice permite clasificar a las encuestadoras en base a tres zonas de riesgo:

•                 Zona 1: Aquellas encuestadoras cuyo sesgo sistemático no pasa de los  cinco (5) puntos porcentuales;
•             Zona 2:  Aquellas encuestadoras cuyo sesgo se encuentra entre los cinco (5) y diez (10) puntos porcentuales;
•         Zona 3: Aquellas encuestadoras cuyo sesgo es mayor a los diez (10) puntos porcentuales.

La figura 1 muestra la estimación de sesgo para cada casa encuestadora y la zona de confiabilidad en donde  se ubican. Podemos ver, por ejemplo, que las encuestadoras Hinterlaces, Keller y Varianzas son las tres menos sesgadas. Mientras que GISXXI y otras encuestadoras menores (como por ejemplo  Consultores 30.11) son las encuestadoras que cuentan con un mayor sesgo sistemático.

Figura 1

En conclusión, a pesar de que las encuestas deben capturar las tendencias en momentos específicos de la realidad política se da el caso que varias casas encuestadoras muestran estimaciones muy diferentes realizadas en el mismo periodo de tiempo. Aunque esta situación no debería ser estadísticamente posible, la realidad es distinta y a medida que nos adentramos en procesos electorales la necesidad de parecer ganador fomenta el uso y abuso de estas encuestas contribuyendo al clima de polarización e inestabilidad. Personalmente considero que esto va en detrimento de una competencia electoral sana en donde la confianza en la transparencia del proceso electoral es necesaria. Cuando existen encuestas muy disimiles siempre habrá quien argumente que hubo fraude luego de la elección sin importar los pasos que se lleven adelante para garantizar el resultado electoral. Este análisis muestra que es posible estimar que tan confiables pueden ser las diferentes encuestas en base a diferentes indicadores utilizando procesos electorales pasados como referencia.

Basados en este análisis podemos revisar las predicciones de estas encuestadoras  de cara a la elección presidencial  2012.  La figura 2 muestra el promedio de la intención de voto reportado tanto para Chávez como para Capriles-Radonski (es importante mencionar que la mayoría de las encuestas usadas aquí son previas a las primarias y por lo tanto en base a un candidato opositor genérico). Como se puede observar las encuestadoras de la zona 1 dan un escenario promedio de 55-45, las encuestas de la zona 2 dan un escenario más cerrado de 51-49 y finalmente las encuestas de la zona 3 dan un escenario de 70-30.  A partir de mañana mostraré las tendencias por zona con unos números interesantes.

Saque usted sus conclusiones!

Figura 2