En ocasión
anterior me referí a un análisis preliminar que estudiaba la existencia de sesgo en las encuestas
electorales venezolanas (ver aquí). En base a una evaluación de elecciones anteriores, que
incluía el referéndum revocatorio, las presidenciales del 2006, el referéndum
del 2007 y las legislativas del 2010, argumenté que las encuestas donde existía
menos sesgo eran aquellas que publicaban información relevante sobre la
metodología utilizada (número de entrevistados, intervalos de confianza, método
de contacto, etc.), sin embargo, también advertí sobre la existencia de un sesgo
sistemático relacionado a las diferentes casas encuestadoras. Es decir, insinué
sobre la existencia de unas encuestadoras cuyos productos presentaban altos
índices de error con respecto a los resultados electorales.
Debido al
número relativamente bajo de encuestas analizadas, 35 en esa oportunidad, me limité a llamar la atención de la existencia de esta
situación anómala en las encuestadoras venezolanas. En esta oportunidad he
logrado aumentar el número de encuestas analizadas a 53 lo cual me permite llegar
a conclusiones más sólidas –estadísticamente hablando-. Utilizaré este espacio
entonces para presentar los hallazgos de este análisis cuya intención es ayudar
en la evaluación más certera de las diferentes encuestas publicadas en nuestros
procesos electorales. Antes de presentar el análisis quisiera recalcar la
problemática existente que es la razón por la cual este estudio es necesario.
El
principio fundamental del método estadístico se basa en la hipótesis de que es
posible hacer una predicción sobre una situación particular usando como origen
una muestra aleatoria de la población a evaluar. Por ejemplo, si hay 100
pelotas en una bolsa y queremos saber el color de las pelotas podríamos hacer
un pronóstico después de sacar 1, 2, 3 o 10 pelotas. En base al número de
pelotas que saquemos y a la cantidad de diferentes colores podríamos generalizar
sobre el total de 100 pelotas. En principio si se repite este experimento los
resultados deberían ser relativamente similares.
Este mismo
principio de generalizar el color de las pelotas en base a una muestra es el
que está detrás de una encuesta. En una esta se selecciona aleatoriamente un
subgrupo de la población y se hace una predicción en base a lo que la muestra
indica. Si 60 personas de 100 indican que votarán por el candidato A entonces
se podría concluir que el 60% de la población votaría por A, con cierto grado
de error. Igual que en el caso de las pelotas, si varias encuestadoras realizan
este ejercicio los resultados deberían ser similares estadísticamente. Sin
embargo, ese no es el caso en Venezuela. Al observar una muestra de las
encuestas que se han hecho públicas en los últimos meses sobre las elecciones
presidenciales del 2012 podemos observar diferencias muy grandes entre diversas
casas consultoras. Estas diferencias pueden llegar a ser de casi 30 puntos
porcentuales –muy lejos de cualquier margen de error-.En base a esta situación
cabe preguntarse: ¿qué genera esta diferencia?
Cuando
existen diferencias entre diversas encuestas las principales causas suelen ser
diferencias en las fechas de campo, el número de participantes, la metodología
de selección de participantes (aleatoria, por cuotas, etc.), la forma de
contactar a los participantes (teléfono, personal, etc.). Una vez se descartan
estos factores podemos inferir que las diferencias radican en las casas
encuestadoras. Particularmente en la
forma en que estas obtienen sus datos o los analizan. En general esto no
representa un problema si es un incidente aislado, sin embargo, cuando el error
esta presente en todas las encuestas de una misma encuestadora entonces podemos
hablar dela presencia de un sesgo sistemático.
Ante esta problemática considero oportuno la creación de un barómetro para
medir encuestas y calificar encuestadoras en base a “zonas de confiabilidad”.
Particularmente útil en este objetivo es el Encuestómetro de la fundación Liderazgo y Visión de Venezuela. Esta
es una herramienta que nos permite
evaluar la calidad de las diferentes encuestas que se hacen públicas. El Encuestómetro utiliza diez variables como requisito para
determinar si una encuesta es confiable.
1. Población definida
2. Método de recolección de datos
3. Método de muestreo
4. Ente que paga por la encuesta
5. Datos de la muestra (Número de entrevistados, Nivel de Confianza, Error)
6. Ubicación Geográfica
7. Cuestionario
8. Porcentaje de Rechazo
9. Fechas de campo
10. Trayectoria de la Firma
Basado en un modelo estadístico en el que se incluyen la mayoría de estas diez variables es posible obtener las desviaciones sistemáticas de cada casa encuestadora. Con este propósito se evaluó un total de 51 encuestas, determinando si cumplían o no cada uno de los requisitos y se estimó que tan grande fue la diferencia entre la encuesta y el resultado electoral, sin importar a que tendencia beneficiaba esta brecha. Es importante destacar que este análisis es únicamente de sesgo y no de la tendencia de ese sesgo.
Tabla 1
La Tabla 1
muestra el promedio del error de las encuestas de cara a cuatro procesos
electorales (el referéndum revocatorio, las presidenciales de 2006, el
referéndum del 2007 y las elecciones de la Asamblea Nacional del 2010) así como
sus valores mínimos y máximos para cada proceso electoral. Como se puede ver
las encuestas previas al RR2004 son las que tuvieron -en promedio- un error más
grande, seguidas por las encuestas previas al Referéndum del 2007. Sin embargo,
a pesar de que los errores promedio están en el rango de los 5 puntos
porcentuales, hay encuestas con errores de hasta casi 15 puntos.
Al realizar el análisis estadístico los resultados muestran varias conclusiones
interesantes.
- En promedio, las
encuestas que no publican ningún tipo de información tienen una diferencia de
casi 20 puntos porcentuales entre la predicción y el resultado de la elección.
- De los diez
indicadores 3 son particularmente útiles en ayudarnos a determinar la
confiabilidad de una encuesta, estos son:
- que se reporten datos de la
encuesta como el número de encuestados (indicador 5)
- que se reporten las técnicas
de muestreo (indicador 3)
- que se reporten las fechas de campo (indicador 9).
- Los otros 7 indicadores parecen no tener influencia en la desviación. Esto no es indicativo de que no son importantes, pues por el contrario puede deberse a que son indicadores altamente reportados y con poca o ninguna variación (indicadores 2 y 4), son aquellos que nadie reporta (indicador 8), o son difíciles de evaluar (indicador 10).
- Finalmente, se
muestra la presencia de desviaciones sistemáticas presentes en las encuestas de
diferentes encuestadoras. Por ejemplo, las casas encuestadoras poco conocidas
tienen un promedio de error de 20% entre la predicción y el resultado de la elección.
Este último resultado
corrobora los hallazgos del análisis reportado en oportunidad anterior. En base
a estos resultados de desviaciones sistemáticas propongo la utilización de un
índice de confiabilidad. Este índice permite clasificar a las encuestadoras en
base a tres zonas de riesgo:
- Zona 1: Aquellas
encuestadoras cuyo sesgo sistemático no pasa de los cinco (5) puntos porcentuales;
- Zona 2: Aquellas encuestadoras cuyo sesgo se encuentra
entre los cinco (5) y diez (10) puntos porcentuales;
- Zona 3: Aquellas
encuestadoras cuyo sesgo es mayor a los diez (10) puntos porcentuales.
La figura 1 muestra la estimación de sesgo
para cada casa encuestadora y la zona de confiabilidad en donde se ubican. Podemos ver, por ejemplo, que las
encuestadoras Hinterlaces, Keller y Varianzas son las tres menos sesgadas.
Mientras que GISXXI y otras encuestadoras menores (como por ejemplo Consultores 30.11) son las encuestadoras que
cuentan con un mayor sesgo sistemático.
Figura 1
En conclusión, a pesar de que las encuestas deben capturar las
tendencias en momentos específicos de la realidad política se da el caso que
varias casas encuestadoras muestran estimaciones muy diferentes realizadas en
el mismo periodo de tiempo. Aunque esta situación no debería ser
estadísticamente posible, la realidad es distinta y a medida que nos adentramos
en procesos electorales la necesidad de parecer ganador fomenta el uso y abuso
de estas encuestas contribuyendo al clima de polarización e inestabilidad.
Personalmente considero que esto va en detrimento de una competencia electoral
sana en donde la confianza en la transparencia del proceso electoral es
necesaria. Cuando existen encuestas muy disimiles siempre habrá quien argumente
que hubo fraude luego de la elección sin importar los pasos que se lleven
adelante para garantizar el resultado electoral. Este análisis muestra que es
posible estimar que tan confiables pueden ser las diferentes encuestas en base
a diferentes indicadores utilizando procesos electorales pasados como
referencia.
Basados
en este análisis podemos revisar las predicciones de estas encuestadoras de cara a la elección presidencial 2012. La
figura 2 muestra el promedio de la intención de voto reportado tanto para
Chávez como para Capriles-Radonski (es importante mencionar que la mayoría de
las encuestas usadas aquí son previas a las primarias y por lo tanto en base a
un candidato opositor genérico). Como se puede observar las encuestadoras de la
zona 1 dan un escenario promedio de 55-45, las encuestas de la zona 2 dan un
escenario más cerrado de 51-49 y finalmente las encuestas de la zona 3 dan un
escenario de 70-30. A partir de mañana mostraré las tendencias por zona con unos números interesantes.
Saque
usted sus conclusiones!
Figura 2
