Un llamado a la transparencia

Una de las razones que me llevó a escribir sobre las encuestas es porque estaba tratando de entender la gran diferencia que existía entre unas y otras.  Como muchos no le encuentro lógica al asunto. Así que me puse, en mis ratos de ocio, a recolectar encuestas nuevas y viejas y a analizarlas. El resultado está en las páginas de este blog, así como en algunos otros y uno que otro artículo de periódico cuyo autor consideró interesante algo en estas páginas. A medida que ha pasado el tiempo he llegado a la conclusión que el problema de Venezuela y de las encuestas Venezolanas sólo se podrá solucionar con mayor transparencia de parte de las encuestadoras. Como mencioné en alguna oportunidad anterior (Sello de calidad CNE) el intento del CNE de regular las encuestadoras fue y es una farsa ya que no sirve de nada. No logró disminuir el número de encuestadoras fantasma, ni mejorar las proyecciones de los resultados. Habría que preguntarle a los rectores del CNE cual era el cometido de la regulación porque a mi no me queda claro, asumiré (para no ponerme a atacar al árbitro a dos días de las elecciones) que las buenas intenciones no fueron llevadas a cabo correctamente. Por qué digo todo esto? Bueno, démosle un vistazo a la figura 1.

La figura uno muestra varias cosas. Empecemos por describir el gráfico:

1)    Para cada mes desde Febrero de 2012 hasta Septiembre del 2012 tomé todas las encuestas realizadas en ese mes (si empezaban en un mes y terminaban en otro usé el mes de finalización de campo).

2)    Para cada encuesta tomé la diferencia entre la intención de voto por Chávez y por Capriles.

3)    Para cada mes promedié todas las diferencias. Obtuve el valor máximo y mínimo de estas y la desviación estándar.

4)    Todo esto está representado en el gráfico. Los puntos negros son el promedio de las diferencias. El espacio gris es el rango del valor mínimo (negativo es a favor de Capriles y positivo a favor de Chávez). Y la línea negra es el valor promedio +/- el valor de una desviación estándar.

Que significa todo esto?

Bueno, las dos cosas interesantes de ver aquí son los rangos y las desviaciones estándar. Por qué? se preguntarán. Estos dos valores son interesantes porque nos muestran la dispersión de los datos, es decir nos dicen que tanto concuerdan o difieren las diferentes encuestas. Si el rango y la desviación estándar son pequeñas alrededor del promedio entonces podríamos decir que las encuestas están mostrando una misma realidad. Si por el contrario, el rango y la desviación estándar son grandes tendríamos entonces encuestas mostrando realidades muy diferentes. Y como se pudieron dar cuenta, ese es el caso Venezolano!

Representa esto un problema?

SI!

Se supone que las encuestas de opinión son realizadas mediante técnicas estadísticas de muestreo que deberían dar resultados similares. Es decir, si yo tengo una caja con 100 pelotas, 50 azules y 50 rojas, y saco 10 pelotas al azar y repito esto 20 veces el resultado en promedio debería ser 5 rojas y 5 azules. Es posible que en una oportunidad saque más rojas que azules y viceversa pero esto debería ser la excepción más no la regla.

Así pues si 10 empresas encuestadoras están midiendo la misma intención de voto, en las mismas fechas, en el mismo país, con un muestreo apropiado, entonces los resultados deberían ser relativamente similares (si no me creen vean encuestas de países como México, EEUU, Inglaterra, Chile, Brasil, etc.). 

Siempre habrá variación pero, y aquí esta la clave, NO TANTA!

Qué pasa en Venezuela entonces?

Para usar las respuestas de las encuestas: NO SABE/NO CONTESTA! Lo digo como broma pero es cierto, NO SE!

No puedo decir sinceramente, con pruebas en la mano, que sucede. Lo único que puedo hacer es mostrar que sucede y hacer conjeturas. Voy a evitar decir que las encuestadoras han sido compradas para manipular sus números y ser usadas como instrumento de campaña ya que no tengo pruebas que demuestren esto. Si puedo sin embargo, decir que una o más encuestadoras no están haciendo las cosas bien! Para muestra la serie de artículos que he escrito empezando por el de ayer. Después del domingo podremos evaluar quien no estimo la intención de voto correctamente. Así que ahora solo nos queda ver por qué aquí sucede esto y en otros países no.

Por qué aquí si y en otros países no? Cómo evitamos esto?

Para mí todo se resume en una sola palabra: TRANSPARENCIA.

Yo creo que el problema de las encuestadoras venezolanas, y sé que con todo esto mas nunca me van a querer hablar, es la falta de transparencia. Las encuestas se publican con la más mínima información, pareciera ser que mientras menos información den mejor están. Sin embargo, es todo lo contrario. Al haber mayor información se hace más confiable todo el instrumento. Por ejemplo: por que las encuestadoras no publican el cuestionario con el orden y fraseo correcto de las preguntas? Por qué no muestran tabulaciones de porcentajes de respuestas para cada pregunta?

En otros países (EEUU, Reino Unido, México, por ejemplo) las encuestadoras se han unido en asociaciones para establecer entre otras cosas unas reglas de funcionamiento. Han escrito, por ejemplo, principios de divulgación para las encuestas destinadas al dominio público. Estos principios establecen los requerimientos de divulgación de las encuestas. Veamos por ejemplo a lo que se le obliga a publicar a las encuestadoras estadounidenses.

“Nivel 1 de divulgación: Todos los reportes de encuestas realizados por algún miembro para publicación deben incluir la siguiente información:

Quien patrocina el estudio

Que empresa realizo el trabajo de campo

Fechas de la entrevista

Método de muestreo

Población muestreada

Tamaño de la muestra

Tamaño de la sub-muestra, en caso de no usar toda la muestra

Margen de error de muestreo

Tipo de contacto con encuestados

Fraseo y orden completo de las preguntas en las que se basa el  estudio

Porcentaje de resultados en todas las preguntas

" 

Aclaran que si la encuesta fue comisionada de forma privada pero se hace publica la información anterior debe ser hecha disponible.

Este es solo el  primer nivel de divulgación, si la encuestadora recibe una petición escrita para obtener mayores detalles sobre la encuesta debe publicar un mayor nivel de información sobre la encuesta. Y finalmente las encuestadoras son fuertemente alentadas a publicar en su página web los datos (sin información que permita identificar a los encuestados como numero de teléfono por ejemplo).

Por qué hacer disponible todo esto es bueno?

Simple y llanamente porque permite:

1)    Saber si la empresa tiene una motivación o incentivo para mostrar resultados que favorezcan a un sector

2)    Porque permite determinar si las preguntas promueven algún sesgo en las respuestas (el orden de las preguntas SI altera el producto).

3)    Porque permite evaluar mejor la calidad del producto, bien sea por la prensa o por investigadores.

Y por qué las encuestadoras deberían hacer esto?

1)    Porque no les cuesta nada y ganan mucho.

2)    Porque es lo mismo que exigimos de otras compañías cuyos productos y servicios obtenemos. Piensa que cada vez que compras un producto en el supermercado este debe decir si se vence, el contenido de ciertas vitaminas y minerales, los ingredientes, etc. Porque las encuestas son la excepción?

En fin, creo que ya es suficiente por hoy. Concluyo haciendo un llamado a las encuestadoras para que ellas mismas se regulen por el bien de su profesión inclusive, la falta de confianza en las encuestadoras no les conviene, por el contrario mayor transparencia no va a significar menos trabajo o menos ganancias, significara mayor prestigio.

NCPP - Principles of Disclosure
BPC - Principles of Disclosure