05 octubre 2012

Un llamado a la transparencia


Una de las razones que me llevó a escribir sobre las encuestas es porque estaba tratando de entender la gran diferencia que existía entre unas y otras.  Como muchos no le encuentro lógica al asunto. Así que me puse, en mis ratos de ocio, a recolectar encuestas nuevas y viejas y a analizarlas. El resultado está en las páginas de este blog, así como en algunos otros y uno que otro artículo de periódico cuyo autor consideró interesante algo en estas páginas. A medida que ha pasado el tiempo he llegado a la conclusión que el problema de Venezuela y de las encuestas Venezolanas sólo se podrá solucionar con mayor transparencia de parte de las encuestadoras. Como mencioné en alguna oportunidad anterior (Sello de calidad CNE) el intento del CNE de regular las encuestadoras fue y es una farsa ya que no sirve de nada. No logró disminuir el número de encuestadoras fantasma, ni mejorar las proyecciones de los resultados. Habría que preguntarle a los rectores del CNE cual era el cometido de la regulación porque a mi no me queda claro, asumiré (para no ponerme a atacar al árbitro a dos días de las elecciones) que las buenas intenciones no fueron llevadas a cabo correctamente. Por qué digo todo esto? Bueno, démosle un vistazo a la figura 1.





La figura uno muestra varias cosas. Empecemos por describir el gráfico:
1)    Para cada mes desde Febrero de 2012 hasta Septiembre del 2012 tomé todas las encuestas realizadas en ese mes (si empezaban en un mes y terminaban en otro usé el mes de finalización de campo).
2)    Para cada encuesta tomé la diferencia entre la intención de voto por Chávez y por Capriles.
3)    Para cada mes promedié todas las diferencias. Obtuve el valor máximo y mínimo de estas y la desviación estándar.
4)    Todo esto está representado en el gráfico. Los puntos negros son el promedio de las diferencias. El espacio gris es el rango del valor mínimo (negativo es a favor de Capriles y positivo a favor de Chávez). Y la línea negra es el valor promedio +/- el valor de una desviación estándar.

Que significa todo esto?

Bueno, las dos cosas interesantes de ver aquí son los rangos y las desviaciones estándar. Por qué? se preguntarán. Estos dos valores son interesantes porque nos muestran la dispersión de los datos, es decir nos dicen que tanto concuerdan o difieren las diferentes encuestas. Si el rango y la desviación estándar son pequeñas alrededor del promedio entonces podríamos decir que las encuestas están mostrando una misma realidad. Si por el contrario, el rango y la desviación estándar son grandes tendríamos entonces encuestas mostrando realidades muy diferentes. Y como se pudieron dar cuenta, ese es el caso Venezolano!

Representa esto un problema?

SI!

Se supone que las encuestas de opinión son realizadas mediante técnicas estadísticas de muestreo que deberían dar resultados similares. Es decir, si yo tengo una caja con 100 pelotas, 50 azules y 50 rojas, y saco 10 pelotas al azar y repito esto 20 veces el resultado en promedio debería ser 5 rojas y 5 azules. Es posible que en una oportunidad saque más rojas que azules y viceversa pero esto debería ser la excepción más no la regla.
Así pues si 10 empresas encuestadoras están midiendo la misma intención de voto, en las mismas fechas, en el mismo país, con un muestreo apropiado, entonces los resultados deberían ser relativamente similares (si no me creen vean encuestas de países como México, EEUU, Inglaterra, Chile, Brasil, etc.). 

Siempre habrá variación pero, y aquí esta la clave, NO TANTA!

Qué pasa en Venezuela entonces?

Para usar las respuestas de las encuestas: NO SABE/NO CONTESTA! Lo digo como broma pero es cierto, NO SE!
No puedo decir sinceramente, con pruebas en la mano, que sucede. Lo único que puedo hacer es mostrar que sucede y hacer conjeturas. Voy a evitar decir que las encuestadoras han sido compradas para manipular sus números y ser usadas como instrumento de campaña ya que no tengo pruebas que demuestren esto. Si puedo sin embargo, decir que una o más encuestadoras no están haciendo las cosas bien! Para muestra la serie de artículos que he escrito empezando por el de ayer. Después del domingo podremos evaluar quien no estimo la intención de voto correctamente. Así que ahora solo nos queda ver por qué aquí sucede esto y en otros países no.

Por qué aquí si y en otros países no? Cómo evitamos esto?

Para mí todo se resume en una sola palabra: TRANSPARENCIA.
Yo creo que el problema de las encuestadoras venezolanas, y sé que con todo esto mas nunca me van a querer hablar, es la falta de transparencia. Las encuestas se publican con la más mínima información, pareciera ser que mientras menos información den mejor están. Sin embargo, es todo lo contrario. Al haber mayor información se hace más confiable todo el instrumento. Por ejemplo: por que las encuestadoras no publican el cuestionario con el orden y fraseo correcto de las preguntas? Por qué no muestran tabulaciones de porcentajes de respuestas para cada pregunta?

En otros países (EEUU, Reino Unido, México, por ejemplo) las encuestadoras se han unido en asociaciones para establecer entre otras cosas unas reglas de funcionamiento. Han escrito, por ejemplo, principios de divulgación para las encuestas destinadas al dominio público. Estos principios establecen los requerimientos de divulgación de las encuestas. Veamos por ejemplo a lo que se le obliga a publicar a las encuestadoras estadounidenses.

“Nivel 1 de divulgación: Todos los reportes de encuestas realizados por algún miembro para publicación deben incluir la siguiente información:
Quien patrocina el estudio
Que empresa realizo el trabajo de campo
Fechas de la entrevista
Método de muestreo
Población muestreada
Tamaño de la muestra
Tamaño de la sub-muestra, en caso de no usar toda la muestra
Margen de error de muestreo
Tipo de contacto con encuestados
Fraseo y orden completo de las preguntas en las que se basa el  estudio
Porcentaje de resultados en todas las preguntas
Aclaran que si la encuesta fue comisionada de forma privada pero se hace publica la información anterior debe ser hecha disponible.

Este es solo el  primer nivel de divulgación, si la encuestadora recibe una petición escrita para obtener mayores detalles sobre la encuesta debe publicar un mayor nivel de información sobre la encuesta. Y finalmente las encuestadoras son fuertemente alentadas a publicar en su página web los datos (sin información que permita identificar a los encuestados como numero de teléfono por ejemplo).

Por qué hacer disponible todo esto es bueno?

Simple y llanamente porque permite:
1)    Saber si la empresa tiene una motivación o incentivo para mostrar resultados que favorezcan a un sector
2)    Porque permite determinar si las preguntas promueven algún sesgo en las respuestas (el orden de las preguntas SI altera el producto).
3)    Porque permite evaluar mejor la calidad del producto, bien sea por la prensa o por investigadores.

Y por qué las encuestadoras deberían hacer esto?

1)    Porque no les cuesta nada y ganan mucho.
2)    Porque es lo mismo que exigimos de otras compañías cuyos productos y servicios obtenemos. Piensa que cada vez que compras un producto en el supermercado este debe decir si se vence, el contenido de ciertas vitaminas y minerales, los ingredientes, etc. Porque las encuestas son la excepción?

En fin, creo que ya es suficiente por hoy. Concluyo haciendo un llamado a las encuestadoras para que ellas mismas se regulen por el bien de su profesión inclusive, la falta de confianza en las encuestadoras no les conviene, por el contrario mayor transparencia no va a significar menos trabajo o menos ganancias, significara mayor prestigio.


NCPP - Principles of Disclosure
BPC - Principles of Disclosure

10 comentarios:

  1. Totalmente de acuerdo contigo, excelentes argumento imposible siquiera negar alguno,

    Saludos

    Rubén Molina

    ResponderEliminar
  2. Iñaki, mira este link: http://goo.gl/3nzww . Es un ejemplo de encuesta registrada para las elecciones municipales de São Paulo.

    Brasil es un shithole, pero reconozco que una de las cosas que hacen bien es la parte técnica y del proceso electoral. En la página del TSE o de los TREs (el CNE y los CNEs regionales en Brasil), cualquier ciudadano tiene acceso a todos los datos de cualquier encuesta, especialmente el patrocinador, el costo y el cuestionario.

    Como si lo arriba expuesto fuera poco, los TREs disponibilizan una App para que cualquiera pueda seguir, en tiempo real, el conteo oficial de los votos a medida que estos son transmitidos desde los centros de votación. No hay esa paja dizque cuando sea "irreversible" es cuando voy a decir quién ganó.

    Tuve la oportunidad de participar como miembro de mesa en cuatro elecciones en Brasil, dos nacionales y dos municipales.

    ResponderEliminar
    Respuestas
    1. si, es que a veces la gente confunde una cosa con la otra. La mayor transparencia se logra con la mayor cantidad de informacion.

      Eliminar
  3. Excelente artículo y gran aporte de Ricardo.

    Efectivamente, con más transparencia podemos tener una sociedad mejor.

    José Rondón

    ResponderEliminar
  4. El problema con tu analisis es que justamente tu mismo, al calcular promedios simples, estas incurriendo en una error similar al que probablemente afecta a algunas encuestadores, esto es, falta de rigor estadistico. No se puede promediar encuestas sin antes analizarlas/agruparlas desde el punto de vista de la metodologia (tipo, tamano muestra, metodo de consulta, periodo de tiempo que representa, dominio temporal etc.). Asi, en una situacion de carencia de estandares tecnicos, un promedio generalizado, mustra una situacion peor que la que podria pintarse si se analizara criticamente las metodologias de cada encuestadora y se optara por hacer un filtro de datos antes de estudiar tendencias o sacra conclusiones sobre el promedio. De todas maneras no deja de ser interesante ver estos datos crudos. Saludos. Rodrigo.

    ResponderEliminar
    Respuestas
    1. Me vas a disculpar pero yo no hice promedios simples. Yo tome una metodologia publicada academicamente que busca hacer estimaciones con poca informacion. En particular yo inclui las fechas del estudio, el tamano de la muestra y la encuestadora. Como cada encuestadora utiliza la misma metodologia para todas sus encuestas entonces no ignore la metodologia. Asi pues, difiero de tu opinion de que el analisis de promedio carece de rigor estadistico.
      Saludos

      Eliminar
  5. Este blog fue citado en diferentes medios y de hecho tuvo una gran publicidad. Creo que todo lo que se ha escrito aquí le hizo un flaco servicio a la salud mental de muchos venezolanos.
    Al final, Consultores 21 estaba equivocado. Datanalisis tuvo que soportar cualquier cantidad de insultos y sus resultados fueron correctos.
    Creo que el autor del blog debe comentar en estos puntos y hacer su mea culpa.

    ResponderEliminar
    Respuestas
    1. Estimado Caliban,

      Yo en ningun momento apoye a Consultores 21 o descalifique a Datanalisis. Yo solo mostre un analisis de datos, es mas siempre dije que C21 tenia un sesgo pro-oposicion. No es culpa mia, ni de este blog, o de mis analisis que la "salud mental de muchos venezolanos" se haya visto afectada. Cada persona es adulta y puede tomar decisiones. Mi unica labor ha sido llamar la atencion al sesgo de las encuestadoras.
      Sobre el mea culpa al que te refieres, estoy en eso. Solo que como siempre he dicho esto es algo que hago en mi tiempo libre. Ya vendran posts analizando los resultados, las encuestas, y el analisis que yo hice.
      Saludos

      Eliminar