A pesar de
todas estas posibles fuentes de diferenciación, en teoría si dos encuestas son
realizadas de formas diferentes pero de forma estadísticamente correcta
entonces los resultados deberían ser relativamente cercanos. En algunos casos,
sin embargo, si la diferencia entre los candidatos es muy pequeña entonces es
posible que dos encuestas den como ganador a diferentes candidatos. Lo que no
es normal es que una encuesta A de ganador a un candidato por más de 20 puntos
de diferencia y una encuesta B de ganador al oponente, por los mismos 20
puntos. Es decir, es posible que una ‘foto’ tenga tonalidades diferentes al
retratar el mismo paisaje, más no es
normal cuando dos fotos tomadas en el mismo lugar muestran paisajes
completamente diferentes.
A pesar de
que esta situación no debería ser estadísticamente posible, sigue ocurriendo
que a medida que se acercan los procesos electorales más y más encuestas
muestran resultados más y más diversos, El Encuestómetro
de la fundación Liderazgo y Visión de Venezuela es una herramienta que nos permite evaluar la calidad de las
diferentes encuestas que se hacen públicas.
El Encuestómetro utiliza diez
variables como requisito para determinar si una encuesta es confiable.
1. Población definida
2. Método de recolección de datos
3. Método de muestreo
4. Ente que paga por la
encuesta
5. Datos de la muestra (N, Nivel de
Confianza, Error)
6. Ubicación Geográfica
7. Cuestionario
8. Porcentaje de Rechazo
9. Fechas de campo
10. Trayectoria de la Firma
De estas
diez variables yo he escogido 7 para realizar un análisis estadístico, pues
considero que son las únicas que se pueden evaluar objetivamente. Las otras
tres no son consideradas por las siguientes razones: ninguna encuestadora
venezolana reporta que ente pagó por la encuesta, tampoco se reporta cuál es el
porcentaje de personas que rechazó participar de la encuesta; y por último, en
mi opinión, es muy difícil ser objetivo al evaluar la trayectoria de la firma
sin parecer parcializado. Así pues el
análisis realizado permite no solo evaluar los indicadores sino evaluar también
si las encuestadoras añaden sesgos sistemáticos.
Un total de 35 encuestas
fueron evaluadas determinando si cumplían o no cada uno de los siete 7
requisitos. Así mismo se tomaron parámetros como el número de entrevistados o
la fecha de las elecciones, y finalmente se estimó que tan grande fue la
diferencia entre la encuesta y el resultado electoral.
Figura 1
La Figura 1 muestra el promedio del error de las encuestas de cara a
cuatro procesos electorales (el referéndum revocatorio, las presidenciales de 2006,
el referéndum del 2007 y las elecciones de la Asamblea Nacional del 2010). Como
se puede ver las encuestas previas al RR2004 son las que tuvieron en promedio
un error más grande, seguidas por las encuestas previas al Referéndum del 2007.
Al realizar el análisis los resultados muestran varias conclusiones
interesantes.
·
En promedio, las
encuestas que no publican ningún tipo de información y que son de encuestadoras
poco conocidas tienen una diferencia de 20 puntos porcentuales entre la
predicción y el resultado de la elección.
·
De los siete
indicadores solo tres parecieran ser importantes para determinar la
confiabilidad de una encuesta. Estos son: 1) que la encuesta reporte el Nivel
de Confianza (indicador 5), 2) que se reporten las preguntas específicas, o el
cuestionario entero (indicador 7), y 3) que se reporten las fechas de campo.
·
Los indicadores
restantes no muestran tener influencia en la desviación sin embargo esto no es
indicativo de que no son importantes pero por el contrario puede deberse a que
son indicadores altamente reportados.
·
Finalmente, se
muestra que todas las casas encuestadoras son diferentes y que cada
encuestadora añade o sustrae –sistemáticamente- un sesgo a sus encuestas.
Este último resultado es
particularmente interesante ya que puede permitir realizar estimaciones para
evaluar mejor que tanto difiere una
encuesta típica, de una encuestadora específica, con base en los resultados de
una elección. En esta oportunidad, dada la poca cantidad de encuestas en la
muestra, evitaré evaluar las diferentes encuestadoras pero con mayor disponibilidad de
datos se podría establecer un ranking de encuestadoras. Y de esta forma nos permitiría crear un
evaluador específico para medir la trayectoria de confiabilidad de la firma –y
tal vez sustituirlo por el punto 10.
Figura 2
En conclusión, a pesar de que las encuestas deben representar momentos de la realidad política se da el caso que varias casas encuestadoras muestran estimaciones muy diferentes realizadas en el mismo periodo de tiempo. Este análisis muestra que es posible estimar que tan confiables pueden ser las diferentes encuestas en base a diferentes indicadores y que tan exactas son las diferentes encuestadoras con base en procesos electorales pasados. Como investigador, y ciudadano venezolano, me parece importante hacer un llamado de atención para que las encuestadoras y los periodistas que las publican amplíen la información que se hace pública con respecto a cada encuesta. La existencia de transparencia en base a la metodología utilizada para realizar la encuesta, el tamaño de la muestra, y las fechas de realización del estudio son factores que permiten evaluar la utilidad y confiabilidad de la encuesta para predecir el evento electoral. También es importante que aquellos que investigamos, trabajamos y reportamos los resultados de encuestas tengamos una mayor comprensión sobre que representan dichos resultados y cuáles son los márgenes de error que pueden presentarse. Este punto es particularmente importante de cara a procesos electorales donde las expectativas, que caracterizan los procesos Venezolanos de la última década, son tan altas.
No hay comentarios.:
Publicar un comentario