Una de las
razones que me llevó a escribir sobre las encuestas es porque estaba tratando
de entender la gran diferencia que existía entre unas y otras. Como muchos no le encuentro lógica al asunto.
Así que me puse, en mis ratos de ocio, a recolectar encuestas nuevas y viejas y
a analizarlas. El resultado está en las páginas de este blog, así como en
algunos otros y uno que otro artículo de periódico cuyo autor consideró
interesante algo en estas páginas. A medida que ha pasado el tiempo he llegado
a la conclusión que el problema de Venezuela y de las encuestas Venezolanas
sólo se podrá solucionar con mayor transparencia de parte de las encuestadoras.
Como mencioné en alguna oportunidad anterior (Sello de calidad CNE) el intento del CNE de regular las
encuestadoras fue y es una farsa ya que no sirve de nada. No logró disminuir el
número de encuestadoras fantasma, ni mejorar las proyecciones de los
resultados. Habría que preguntarle a los rectores del CNE cual era el cometido
de la regulación porque a mi no me queda claro, asumiré (para no ponerme a
atacar al árbitro a dos días de las elecciones) que las buenas intenciones no
fueron llevadas a cabo correctamente. Por qué digo todo esto? Bueno, démosle un
vistazo a la figura 1.
La figura
uno muestra varias cosas. Empecemos por describir el gráfico:
1) Para
cada mes desde Febrero de 2012 hasta Septiembre del 2012 tomé todas las
encuestas realizadas en ese mes (si empezaban en un mes y terminaban en otro
usé el mes de finalización de campo).
2) Para
cada encuesta tomé la diferencia entre la intención de voto por Chávez y por
Capriles.
3) Para
cada mes promedié todas las diferencias. Obtuve el valor máximo y mínimo de
estas y la desviación estándar.
4) Todo esto está representado en el
gráfico. Los puntos negros son el promedio de las diferencias. El espacio gris
es el rango del valor mínimo (negativo es a favor de Capriles y positivo a
favor de Chávez). Y la línea negra es el valor promedio +/- el valor de una desviación
estándar.
Que significa todo esto?
Bueno, las dos cosas interesantes de ver aquí son los
rangos y las desviaciones estándar. Por qué? se preguntarán. Estos dos valores
son interesantes porque nos muestran la dispersión de los datos, es decir nos
dicen que tanto concuerdan o difieren las diferentes encuestas. Si el rango y
la desviación estándar son pequeñas alrededor del promedio entonces podríamos
decir que las encuestas están mostrando una misma realidad. Si por el
contrario, el rango y la desviación estándar son grandes tendríamos entonces
encuestas mostrando realidades muy diferentes. Y como se pudieron dar cuenta,
ese es el caso Venezolano!
Representa esto un problema?
SI!
Se supone que las encuestas de opinión son realizadas
mediante técnicas estadísticas de muestreo que deberían dar resultados
similares. Es decir, si yo tengo una caja con 100 pelotas, 50 azules y 50
rojas, y saco 10 pelotas al azar y repito esto 20 veces el resultado en
promedio debería ser 5 rojas y 5 azules. Es posible que en una oportunidad
saque más rojas que azules y viceversa pero esto debería ser la excepción más
no la regla.
Así pues si 10 empresas encuestadoras están midiendo
la misma intención de voto, en las mismas fechas, en el mismo país, con un
muestreo apropiado, entonces los resultados deberían ser relativamente similares
(si no me creen vean encuestas de países como México, EEUU, Inglaterra, Chile,
Brasil, etc.).
Siempre habrá variación pero, y aquí esta la clave, NO TANTA!
Qué pasa en Venezuela entonces?
Para usar las respuestas de las encuestas: NO SABE/NO
CONTESTA! Lo digo como broma pero es cierto, NO SE!
No puedo decir sinceramente, con pruebas en la mano,
que sucede. Lo único que puedo hacer es mostrar que sucede y hacer conjeturas.
Voy a evitar decir que las encuestadoras han sido compradas para manipular sus números
y ser usadas como instrumento de campaña ya que no tengo pruebas que demuestren
esto. Si puedo sin embargo, decir que una o más encuestadoras no están haciendo
las cosas bien! Para muestra la serie de artículos que he escrito empezando por
el de ayer. Después
del domingo podremos evaluar quien no estimo la intención de voto
correctamente. Así que ahora solo nos queda ver por qué aquí sucede esto y en
otros países no.
Por qué aquí si y en otros países no? Cómo evitamos
esto?
Para mí todo se resume en una sola palabra:
TRANSPARENCIA.
Yo creo que el problema de las encuestadoras
venezolanas, y sé que con todo esto mas nunca me van a querer hablar, es la falta
de transparencia. Las encuestas se publican con la más mínima información, pareciera
ser que mientras menos información den mejor están. Sin embargo, es todo lo
contrario. Al haber mayor información se hace más confiable todo el
instrumento. Por ejemplo: por que las encuestadoras no publican el cuestionario
con el orden y fraseo correcto de las preguntas? Por qué no muestran
tabulaciones de porcentajes de respuestas para cada pregunta?
En otros países (EEUU, Reino Unido, México, por
ejemplo) las encuestadoras se han unido en asociaciones para establecer entre
otras cosas unas reglas de funcionamiento. Han escrito, por ejemplo, principios
de divulgación para las encuestas destinadas al dominio público. Estos
principios establecen los requerimientos de divulgación de las encuestas.
Veamos por ejemplo a lo que se le obliga a publicar a las encuestadoras
estadounidenses.
“Nivel 1 de divulgación: Todos los reportes de
encuestas realizados por algún miembro para publicación deben incluir la
siguiente información:
Quien
patrocina el estudio
Que empresa realizo el trabajo de campo
Fechas de la entrevista
Método de muestreo
Población muestreada
Tamaño de la muestra
Tamaño de la sub-muestra, en caso de no usar toda la
muestra
Margen de error de muestreo
Tipo de contacto con encuestados
Fraseo y orden
completo de las preguntas en las que se basa el
estudio
Porcentaje de
resultados en todas las preguntas
"
Aclaran que si la encuesta fue comisionada de forma
privada pero se hace publica la información anterior debe ser hecha disponible.
Este es solo el
primer nivel de divulgación, si la encuestadora recibe una petición escrita
para obtener mayores detalles sobre la encuesta debe publicar un mayor nivel de
información sobre la encuesta. Y finalmente las encuestadoras son fuertemente
alentadas a publicar en su página web los datos (sin información que permita
identificar a los encuestados como numero de teléfono por ejemplo).
Por qué hacer disponible todo esto es bueno?
Simple y llanamente porque permite:
1) Saber
si la empresa tiene una motivación o incentivo para mostrar resultados que
favorezcan a un sector
2) Porque
permite determinar si las preguntas promueven algún sesgo en las respuestas (el
orden de las preguntas SI altera el producto).
3) Porque
permite evaluar mejor la calidad del producto, bien sea por la prensa o por
investigadores.
Y por qué las encuestadoras deberían hacer esto?
1) Porque
no les cuesta nada y ganan mucho.
2) Porque
es lo mismo que exigimos de otras compañías cuyos productos y servicios
obtenemos. Piensa que cada vez que compras un producto en el supermercado este
debe decir si se vence, el contenido de ciertas vitaminas y minerales, los
ingredientes, etc. Porque las encuestas son la excepción?
En fin, creo que ya
es suficiente por hoy. Concluyo haciendo un llamado a las encuestadoras para
que ellas mismas se regulen por el bien de su profesión inclusive, la falta de
confianza en las encuestadoras no les conviene, por el contrario mayor
transparencia no va a significar menos trabajo o menos ganancias, significara mayor
prestigio.
NCPP - Principles of Disclosure
BPC - Principles of Disclosure
Si vemos el siguiente gráfico, cortesía del CNE (Manual de funcionamiento de la mesa electoral 2013) podemos observar como lo único que hace la "auditaría" es verificar los pasos 2 y 3. El resto del proceso están asumiendo que estuvo 100% correcto. Esto significa asumir que:
