Las encuestas han invadido nuestras vidas. Como es obviamente imposible plebiscitar a toda la población sobre algún tema candente, la matemática provee una herramienta muy útil, pero también muy peligrosa: hacer preguntas a un grupo esencialmente “pequeño”, pero cuyas respuestas uno pueda extrapolar e imaginar que representan el “sentir” o “pensar” de la sociedad.
Por supuesto, el método dista de ser infalible, pero es muy poderoso si se lo utiliza apropiadamente. Uno puede “encuestar” a un grupo de mil personas e inferir con un margen de error del 3,1 por ciento [1] (por ejemplo) quién va a ser el ganador de una elección (digamos entre dos candidatos).
Pero se presentan dos problemas logísticos importantes: hay un error estadístico que es imposible de evitar, sencillamente porque ni mil ni cien mil ni un millón de personas encuestadas pueden dar el preciso valor que se obtendría si uno encuestara a toda la población. Sin embargo, hay otro error que transforma todo el proceso en algo muy peligroso: elegir mal la muestra. ¿Qué quiere decir mal? La muestra tiene que ser al azar. Es decir, el “campo” sobre el cual uno va a operar y hacer las preguntas tiene que haber sido elegido sin seguir ningún patrón. No hacerlo produce un error sistemático que es virtualmente imposible de salvar.
Acá va un ejemplo muy interesante y con múltiples ramificaciones para la Argentina de hoy.
Situémonos en agosto de 1936. Franklin Roosevelt era el presidente norteamericano y candidato demócrata a renovar el cargo. Por su parte, Alfred Landon era gobernador de Kansas y candidato republicano para disputarle el lugar.
La revista Literary Digest hizo una campaña impresionante para tratar de predecir quién de los dos sería el futuro presidente. Ya lo habían hecho en forma más modesta durante veinte años, anunciando anticipadamente quién sería el ganador. Es decir, durante dos décadas, había conseguido la reputación de ser quienes podrían adelantar el resultado de la elección: habían acertado siempre.
La revista se ufanaba de ese poder de predicción y lo basaban en la muestra “enorme” que tenían para recoger los datos: sus propios suscriptores. Cada año, la base de datos era más grande y, por lo tanto, ellos pensaban que su poder de anticipación sería cada más infalible.
Pero decidieron dar un paso más. O varios pasos más. El padrón electoral del año 1936 era de casi 40 millones de personas. La revista, en un esfuerzo sin precedentes, decidió consultar a ¡diez millones de personas! Es decir, una cuarta parte del electorado. El método elegido fue el que usted imagina y el más sencillo de todos: 10.000.000 de personas recibieron un sobre a través del correo común. Cada persona devolvía (si quería, claro está) el sobre que traía la estampilla “prepaga” con un anticipo de lo que habría de votar el día de la elección.
Por supuesto, el costo de tamaño esfuerzo fue descomunal, pero la revista Digest escribió, a través de un editorial firmado por su director, que ellos creían que se brindaba un gran servicio público al país, y cuando uno tiene en cuenta semejante responsabilidad, ningún precio se puede considerar alto.
Desde el punto de vista de la revista, la muestra tan desmesuradamente grande justificaba el costo. Aun en el caso de que los votantes devolvieran una fracción pequeña de los sobres, igualmente la muestra sería tan enorme que reduciría el margen de error a un número despreciable, menor a una fracción de 1 por ciento.
Las muestras actuales, las modernas, las del siglo XXI, se hacen con alrededor de 1000 (mil) personas y con un margen de error que orilla el 3,1 por ciento. No bien uno incrementa la muestra, el error se reduce. Una encuesta que consulta a 4000 personas tiene un margen de error de 1,6 por ciento, y si uno amplía la muestra hasta 16.000 (dieciséis mil) entonces el error se reduce a 0,78 por ciento.
Los sobres empezaron a llegar. En la primera semana ya se habían recibido 24.000 respuestas, con lo cual el error se estimaba en alrededor de 0,6 por ciento. Pero habría más: la semana de la elección, la muestra había alcanzado un pico increíble: 2.266.566 votantes. ¿El error? Pequeñísimo: 0,06 por ciento.
Los resultados fueron los siguientes: Landon: 1.293.669 - Roosevelt: 972.897. Por lo tanto, Landon estaba predestinado a obtener su triunfo con más del 57 por ciento de los votos y, encima, con un margen de error que rondaba el ¡0,06 por ciento![2]
La diferencia era tan descomunal que la señora de Roosevelt declaró: “La reelección de mi marido está en ‘las manos de los dioses[3]’”.
Sin embargo, como usted ya sabe, Landon nunca fue presidente de Estados Unidos. No solamente eso: Roosevelt ganó la elección con más del 62 por ciento de los votos. Landon pudo ganar solamente dos estados pequeños: Maine y Vermont.
¡Roosevelt ganó los restantes 46!
¡Todo el esfuerzo, todo el dinero, todo el prestigio, derrumbados en un solo día! ¿Qué pasó? ¿Cómo pudo haber salido todo tan mal?
La propia revista daba –ingenuamente– la respuesta a su propia debacle: los datos se extraían de todas las guías de teléfono que había en Estados Unidos en ese momento, de las listas de socios a clubes (como el Rotary) y asociaciones civiles como nuestro Automóvil Club, para poner otro ejemplo, listas de suscriptores a revistas como Time y Newsweek, etc.
El año 1936 se ubica en el medio de la llamada Gran Depresión. Había una gran división entre pobres y ricos. Los ricos tenían (tienen) la tendencia de votar a los candidatos republicanos, que históricamente tienden a defender sus intereses. Los pobres, en cambio, siempre se inclinaron por los demócratas. Tener un teléfono (que fue la fuente más importante de nombres y direcciones para la revista Digest) era un “lujo”. De hecho, se estima que menos del 20 por ciento de la población (una de cada cinco personas) tenía acceso a una línea telefónica en ese momento. Por lo tanto, haber usado la lista de direcciones de personas a quienes les mandarían los sobres usando las guías telefónicas sirvió para producir una distorsión flagrante: fue como haber hecho una gran lista de republicanos dejando a los demócratas afuera. ¿Por qué?
Antes de contestar la pregunta, me detengo un instante: está claro que a medida que uno amplía la lista de personas a encuestar, uno disminuye la posibilidad de error. Sin embargo, para poder sostener esta afirmación, es necesario conservar un dato esencial: la muestra tiene que ser elegida al azar. No importa si uno encuesta cien, mil, un millón o diez millones de personas: el error ocasionado por una mala elección de la muestra produce una herida mortal a la propia encuesta.
Por otro lado, el hecho de buscar datos entre las personas que tenían un empleo fijo dejó afuera a muchísima gente desocupada, que eran muchísimos teniendo en cuenta la época: más de 9 millones sobre un total de 40 millones que integraban el padrón electoral.
Lo interesante es que en julio de 1936, algunas semanas antes de que la revista Literary Digest empezara con su encuesta, George Gallup (el virtual “inventor” de las encuestas modernas) predijo el error que se produciría en la revista, lo que generó una fuerte reacción de los editores. Sin embargo... Gallup tuvo razón.
Si bien la gente de Digest tenía motivos suficientes para ufanarse de lo que estaban haciendo, omitieron algunos datos esenciales: de los diez millones de sobres que enviaron, solo contestaron 2.300.000. Es decir, más de las tres cuartas partes de los potenciales votantes... no respondieron. Esos 7.700.000 “votos” que no llegaron, incluían un gran número de personas que –quizás– estaban satisfechas con la presidencia de Roosevelt y no tenía muchas ganas de participar en una encuesta de ese tipo. Como usted bien sabe, a los humanos nos interesa mucho más “manifestar nuestro enojo” de cualquier manera que enfatizar nuestra aprobación.
No bien llegaban los sobres, la gente que pertenecía a las clases alta y media-alta, poseedora de autos y líneas telefónicas, quizá disconforme con lo que era la administración del momento, fue mucho más proclive a protestar y utilizar cualquier medio para hacerlo, aun el de contestar una encuesta. De esa forma, quienes respondieron al pedido de la revista fueron desproporcionadamente republicanos.
Estos errores son los que se llaman errores sistemáticos, que son mucho más graves y/o serios que los errores estadísticos.
Gallup sí que usaba los métodos científicos de la época, y si bien sus muestras eran decididamente más pequeñas (para el caso Landon vs. Roosevelt utilizó alrededor de 50.000 encuestados), sus resultados fueron siempre mucho más precisos y certeros.[4]
Final: ¿por qué la historia de Roosevelt y Landon?
La Argentina actual vive momentos muy particulares. En realidad, ¿cuándo no? Pero como hubo algunos acontecimientos puntuales, en particular en el último noviembre (“cacerolazo” y “huelga”) que podrían invitar a extraer conclusiones sobre cuál podría ser el resultado de las próximas elecciones presidenciales, sugeriría que relean lo que pasó en Estados Unidos en 1936 y las predicciones de la revista Digest.
Obviamente, no puedo afirmar nada porque ni tengo autoridad ni conocimientos para hacerlo, pero en función de lo que se pudo leer en algunos diarios y ver en la tele (en algunos canales también), todo parece apuntar a un triunfo del equivalente de Alfred Landon. Les recuerdo que Roosevelt obtuvo más del 62 por ciento de los votos. No sé quién será el equivalente de él en el 2015, pero si uno va a utilizar un método que pretende ser científico, conviene no equivocarse con la muestra.
---------------------------------------------
NOTAS.
[1] En realidad, el error de una muestra de n personas se estima calculando error ~– (0,98)/V–n . Es decir, el error estadístico es inversamente proporcional a la raíz cuadrada del tamaño de la muestra: cuanto mayor es el número de gente encuestada, menor es el error.
[2] Fuente: Revista Literary Digest, 31 de octubre de 1936.
[3] Es una traducción libre mía. La frase de la señora Roosevelt fue: “Lap of the gods”, que se traduciría como “en la falda de los dioses”.
[4] Con todo, hay un error histórico que cometió Gallup en la elección del año 1948, dando por ganador al candidato que enfrentaba a Harry Truman (me refiero a Thomas Dewey), pero eso dará lugar a otra nota.