Cómo se deben informar los resultados de las encuestas de intención

Las encuestas de intención de voto son una constante en las temporadas de elecciones. Las diversas casas encuestadoras realizan investigaciones para tener un panorama de las preferencias e intenciones electorales de la ciudadanía. El profesor Jouni Kuha, profesor del departamento de estadísticas de la London School of Economics señala que las encuestas funcionan como mecanismos de retroalimentación impactan en las decisiones de los partidos y debido al carácter público de los resultados de las encuestas, estas “no son independientes del proceso político”. Y no lo son dado que “pueden influir en el comportamiento de las personas que votan al afectar las expectativas sobre los resultados de la elección”.

Una de las posibles explicaciones para este fenómeno es el llamado “efecto de arrastre”. Se conoce como “efecto de arrastre” a la adopción de comportamientos o creencias debido a que muchas otras personas piensan o actúan de determinada manera. En términos electorales, cuando las encuestas muestran que algún candidato o partido parece tener altas probabilidades de ganar, la intención de voto puede incrementar en favor de este o disminuir según sea el caso. 1

Entendidas así, las encuestas ocupan un lugar muy importante durante los procesos electorales y por lo mismo es necesario que existan altos niveles de transparencia al momento de publicar los resultados de estos ejercicios. Hay organizaciones reconocidas a nivel internacional que, entre sus labores, se dedican a dar la pauta para la difusión de resultados. Una de ellas es la Asociación Estadounidense para la Investigación de la Opinión Pública (APPOR, por sus siglas en inglés).

La APPOR ha emprendido una iniciativa de transparencia que busca promover la divulgación de los datos metodológicos y el diseño de maneras simples y eficientes para hacerlo de manera constante. Ahí ofrece una lista de características que las casas encuestadoras deberían hacer del conocimiento de la gente al publicar los resultados de las investigaciones. Destacan los siguientes diez puntos cuando se trata de las encuestas de intención de voto:

1. Quién patrocina y conduce la encuesta
2. La pregunta que se le aplicó a las personas encuestadas
3. Las características demográficas o sociales relevantes de la población objetivo, por ejemplo: personas mayores de edad, trabajadores de un sector en particular, su ubicación, etc.
4. Método de generación o reclutamiento de la muestra. La descripción de los métodos incluyen al diseño de la muestra, y los métodos de muestreo. Además, debe mostrar la localización geográfica de la recolección de datos para cualquier investigación realizada en persona.
5. Los métodos y modelos de la recolección de datos, es decir, si la encuesta se realizó a través de internet, cara a cara, por llamada telefónica, etc. Además es importante incluir la descripción de los modelos empleados para contactar a los participantes o para recolectar los datos: encuestas web, audio, video, papel y lápiz.
6. Las fechas de recolección de datos.
7. El tamaño de la muestra y, en las pruebas probabilísticas incluir el margen de error. Mencionar si se han ajustado los datos por algún método de ponderación, clustering, etcétera.
8. En caso de haberse aplicado ponderadores, cómo fueron estos calculados y qué variables se utilizaron.
9. Describir pruebas de calidad. Por ejemplo, controles utilizados para evitar que una persona responda la encuesta más de una vez, o para verificar que las respuestas no provengan de bots. Así mismo los métodos para verificar con los encuestadores que la encuesta sí se realizó.
10. Una declaración que reconozca el error no medible asociado con todas las formas de investigación de opinión pública como lo son las encuestas de intención de voto.

Dos organizaciones internacionales más, la Asociación Mundial para la Investigación de la Opinión Pública  (WAPOR, por sus siglas en inglés) y la Sociedad Europea de Opinión e Investigación de Mercados (ESOMAR por sus siglas en inglés) publicaron en 2014 una guía de para la recolección y la publicación de información obtenida por medio de encuestas. En este documento detallan que la publicación de resultados debe incluir lo siguiente:

1. Nombre de la organización que conduce la encuesta, y nombre de la organización o persona que paga por la encuesta.
2. El universo representado, es decir, la población objetivo
3. El tamaño de la muestra, es decir, el total de entrevistas realizadas de las cuales se obtuvieron los resultados
4. Las fechas en las que se realizó la encuesta
5. El método de muestreo empleado. En el caso de muestras probabilísticas se debe incluir, la tasa de respuesta.
6. Método por el que se realizó la encuesta (cara a cara, entrevista telefónica, por medio de internet, de forma mixta, etc.)
7. Si se utilizó una ponderación para ajustar los resultados y las características demográficas o conductuales utilizadas para tal ajuste.
8. Porcentaje de encuestados que respondieron “No se” y en caso de intención de voto que respondieron que no van a votar.
9. Las preguntas formuladas.
10. La elección de fraseo para las preguntas
11. Debe estar disponible la totalidad de la redacción de la pregunta, así como los resultados, incluyendo las respuestas de “No sabe” y “No responde”.
12. Si la pregunta es parte de una encuesta más extensa, debe quedar claro la ubicación de la pregunta en el cuestionario.

Entre los ejemplos estándares de estos lineamientos aplicados ofrecen el siguiente:

“Esta encuesta fue realizada por ABC Research, en nombre de News Inc., utilizando una muestra de cuota nacional de 1,111 adultos en edad de votar entrevistados personalmente en 102 ubicaciones entre el 1 y el 5 de marzo de 2014, ponderadas para reflejar el censo características de edad, género, región y educación.”

Por otra parte, en México la Asociación Mexicana de Agencias de Investigación de Mercados (AMAI) establece una ficha metodológica estándar para las empresas que pertenecen a ella. En esta ficha se deben incluir los siguientes datos:

1. Población sujeta a estudio

2. Fecha de levantamiento

3. Esquema de selección de muestra

4. Tamaño de muestra

5. Perfil de la muestra encuestada

6. Técnica de recolección de datos

7. Personal involucrado

8. Diseño y exploración de resultados

9. Método de estimación de resultados

10. Error máximo y confianza de las preguntas electorales

a) Regiones en que se dividió el país

b) Preguntas electorales (con y sin urna, posición en cuestionario)

11.Tasa general de rechazo a la entrevista

Como puede verse, son datos muy similares a los establecidos por las organizaciones internacionales. En particular en el tema de los sondeos electorales, el Instituto Nacional Electoral (INE) especifica lineamientos para estos en el Reglamento de elecciones. Este largo documento establece, además todos los detalles sobre el proceso electoral, las reglas y prácticas específicas para las encuestas. Habla de los tiempos para publicar encuestas –el plazo va desde el inicio del proceso electoral y hasta tres días antes de la elección–, y de la información que estas tienen que incluir. El artículo 136 del Reglamento de elecciones señala los requisitos que debe incluir toda publicación sin importar el medio, sobre preferencias electorales:

1. Nombre completo, denominación social y logotipo de la persona física o moral que patrocinó o pagó la encuesta o sondeo. Que llevó a cabo la encuesta o sondeo, y que solicitó, ordenó o pagó su publicación o difusión.
2. Las fechas en que se llevó a cabo el levantamiento de la información.
3. La población objetivo y el tamaño de la muestra.
4. El fraseo exacto que se utilizó para obtener los resultados publicados, es decir, las preguntas de la encuesta.
5. La frecuencia de no respuesta (corresponde a respuestas como: “No sabe”, “No contesta”, “No responde”, “Indeciso”, “No votaría”, entre otros) y la tasa de rechazo general a la entrevista.
6. Señalar si el reporte de resultados contiene estimaciones de resultados, modelo de probables votantes o cualquier otro parámetro que no consista en el mero cálculo de frecuencias relativas de las respuestas de la muestra estudiada para la encuesta.
7. Indicar clara y explícitamente el método de recolección de la información, esto es, si se realizó mediante entrevistas directas en vivienda o a través de otro mecanismo, o bien, si se utilizó un esquema mixto.
8. La calidad de la estimación: confianza y error máximo implícito en la muestra.

En el reglamento también se especifica que las encuestas por muestreo o sondeo de opinión publicadas durante el proceso electoral deben entregar una copia completa del estudio realizado al Instituto local o federal según el tipo de elección. Esta entrega debe ser máximo cinco días después de la publicación de los resultados de la encuesta.

Cabe señalar que los dos procesos electorales de este año, el de Coahuila y el Estado de México, las encuestadoras ya debieron de entregar la información correspondiente a sus encuestas.  Durante su primer informe, el Secretario Ejecutivo del estado de Coahuila anunció que para el periodo del 1 al 27 de enero únicamente recibió informe por parte de la encuestadora Massive Caller. Para el segundo reporte que comprende el periodo del 28 de enero al 25 de febrero, el Instituto Electoral de Coahuila recibió cuatro reportes de encuestas realizadas por Massive Caller y El Financiero.

Por su parte, el Secretario Ejecutivo del Estado de México en el primer reporte que comprende hasta el 31 de enero anunció que recibió tres informes sobre encuestas sobre preferencias electorales, dos provenientes de Massive Caller y una de LaEncuesta.mx. En su segundo reporte que comprende el periodo del 21 de enero al 14 de febrero se recibieron 12 informes de las siguientes encuestadoras: Massive Caller, LaEncuesta.mx, Rubrum, El Financiero, VOTIA, CEPLAN, Covarrubias y Asociados y Enkroll.

Realicé un ejercicio de evaluación de las casas encuestadoras que han publicado encuestas sobre intención de voto en los artículos anteriores que he publicado aquí.  Me enfoqué en las características que exige el Reglamento de elecciones del INE.

Según la tabla, la casa encuestadora que cumple con el menor número de requisitos es CERESEARCH pues no reporta la población objetivo, la tasa de rechazo ni la estimación de los resultados. Le siguen El Financiero, Cripes, Facto Métrica, Rubrum, Covarrubias, Ceplan y México Elige al no reportar la tasa de rechazo ni la estimación de resultados.

Por otro lado, TResearch podría ser la única casa encuestadora de nuestra lista que cumple con todos los requisitos, solo porque bajo su tipo de muestreo no aplica una tasa de rechazo. Vale la pena notar que esta encuestadora anuncia que su nota metodológica se apega a los lineamientos del Código Internacional ICC/ESOMAR, al código de ética y prácticas profesionales de AAPOR y en consecuencia, a los requisitos establecidos por el Reglamento de elecciones del INE.

También queda claro que la característica que menos se cumple en la publicación de resultados es la tasa de rechazo. De igual manera, la estimación de los resultados es una característica poco mencionada en las fichas metodológicas, esto es importante debido a que no se esclarece si los resultados que se muestran han sido ajustados por algún método de ponderación ni los recursos utilizados para ello.

Los estándares internacionales recomiendan hacer mención de algunas características que el INE aún no considera en su reglamento. Sin embargo, a pesar de la simplificación de los requisitos, algunas casas encuestadoras no cumplen por completo con las diez características que establece el reglamento ni tampoco con la obligación de compartir sus resultados con el INE durante los cinco días próximos a su publicación. Por el bien de la industria de encuestas en nuestro país sería recomendable revisar más a fondo estos requisitos.

@defoemx @research_next @yamilnares

 

1 Disponible aquí.