La era de la confianza ciega en la Big Data debe terminar

Catherine ("Cathy") Helen O'Neil es una matemática estadounidense y autora del blog mathbabe.org y varios libros sobre ciencia de datos, entre los que se incluye Armas de destrucción matemática. Ella fue Directora del Programa Lede en Prácticas de Datos en la Escuela de Periodismo de la Universidad de Columbia, Tow Center y trabajó como Consultora de Ciencia de datos en Johnson Research Labs. Vive en la ciudad de Nueva York con su marido Aise Johan de Jong y sus tres hijos y es activa en el movimiento Ocupy.O'Neil asistió a la Universidad de Berkeley, consiguió un Ph.D. en matemáticas de la Universidad de Harvard en 1999, luego ocupó cargos en los departamentos de matemáticas del MIT y del Barnard Collage, haciendo investigación en geometría algebraica aritmética. Dejó la academia en 2007 y trabajó durante cuatro años en la industria financiera, incluyendo dos años en el fondo de cobertura D. E. Shaw. ?Después de desilusionarse del mundo de las finanzas, O'Neil se involucró en el movimiento Occupy Wall Street, participando en su Grupo Bancario Alternativo.

---

Transcripción

Hay algoritmos por todos lados. Ordenan y separan a los ganadores de los perdedores. Los ganadores consiguen el trabajo o buenas condiciones de crédito. A los perdedores ni siquiera se les invita a una entrevista o tienen que pagar más por el seguro. Se nos califica mediante fórmulas secretas que no entendemos y a las que no se puede apelar. Eso plantea una pregunta: ¿Qué pasa si los algoritmos se equivocan?

Un algoritmo necesita dos cosas: datos ocurridos en el pasado y una definición del éxito; esto es, lo que uno quiere y lo que desea. Los algoritmos se entrenan mirando, descubriendo. El algoritmo calcula a qué se asocia el éxito, qué situaciones llevan al éxito.

En general todos usamos algoritmos pero no los formalizamos mediante un código escrito. Les doy un ejemplo. Yo uso un algoritmo todos los días para preparar la comida en casa. Los datos que uso son los ingredientes de la cocina, el tiempo que tengo y lo ambiciosa que estoy. Y así organizo los datos. No incluyo esos paquetitos de fideos como comida.

Mi definición del éxito es: la comida tiene éxito si mis hijos comen verdura. Lo que sería muy distinto, si mi hijito tuviera el control. Para él el éxito es comer mucha Nutella. Pero yo soy quien elige el éxito. Estoy al mando. Mi opinión cuenta. Esa es la primera regla de los algoritmos.

Muchas cosas pueden salir mal si confiamos a ciegas en datos masivos

Los algoritmos son opiniones que se embeben en código. Es muy diferente a cómo la gente se imagina los algoritmos. Se creen que los algoritmos son objetivos, verdaderos y científicos. Ese en un truco del marketing. Tambien es un truco del marketing la intimidación con algoritmos, que nos hacer confiar y temer los algoritmos porque confiamos y tememos las matemáticas. Muchas cosas pueden salir mal si confiamos a ciegas en datos masivos.

Esta es Kiri Soares. Es la directora de una escuela de Brooklyn. En 2011 me contó que sus maestros se clasificaban mediante un algoritmo complejo y secreto llamado "modelo del valor añadido". Le dije, "Intente saber cuál es la fórmula, muéstremela. Se la voy a explicar". Me respondió, "Trate de conseguir la fórmula, pero un conocido del Departamento de Educación me dijo que era matemática y que no la entendería".

Esto se pone peor. El New York Post la solicitó bajo la Ley de Libertad a la Información. Obtuvo los nombres de los maestros y su puntuación y los publicó como un acto para avergonzar a los maestros. Cuando intenté conseguir las fórmulas en código base, usando el mismo mecanismo, me dijeron que no se podía. Me lo negaron.

Más tarde descubrí que nadie tenía derecho a la fórmula en Nueva York. Nadie lo podía entender. Entonces apareció un tipo muy inteligente, Gary Rubenstein. Localizó a 665 maestros por los datos del New York Post que tenían dos puntuaciones. Eso podía ocurrir si enseñaban matemática en 7º y 8º grado. Decidió hacer un gráfico. Donde cada punto representa a un maestro.

Y eso ¿qué es?

Eso no debiera haberse usado nunca para evaluar a una persona. Es casi un generador de números al azar.

Pero lo fue. Esta es Sarah Wysocki. La echaron junto a otros 205 maestros de una escuela en Washington DC, a pesar de tener muy buena recomendación de la directora y de los padres de sus alumnos.

Me imagino lo que estarán pensando, especialmente los cientificos de datos, los expertos en IA Pensarán "Nosotros nunca produciríamos un algoritmo tan inconsistente." Pero los algoritmos a veces fallan, y tambien provocar mucha destrucción sin querer. Y mientras un avión mal diseñado se estrella y todos lo ven, un algoritmo mal diseñado puede funcionar mucho tiempo provocando un desastre silenciosamente.

Este es Roger Ailes. Fundador de Fox News en el 1996. Mas de 20 mujeres se quejaron de acoso sexual. Dijeron que no pudieron tener éxito en Fox News. Lo echaron el año pasado, pero hemos visto que hace poco los problemas han continuado. Esto plantea una pregunta: ¿Qué debe hacer Fox News para cambiar?

Y si substituyeran su mecanismo de contratación con un algoritmo de auto- aprendizaje automatizado? ¿Suena bien? Piénsenlo, Los datos, ¿qué datos serían? Una eleccion razonable serian las últimas 21 solicitudes recibidas por Fox News Razonable.

Y ¿cuál sería la definición del éxito? Algo razonable sería preguntar, quién es exitoso en Fox News. Me imagino que alguien que hubiera estado alli unos 4 años y subido de puesto por lo menosuna vez. ¿Suena razonable? Y así se adiestraría el algoritmo. Se adiestraría para buscar a gente que logra el éxito. Y qué solicitudes antiguas llegaron al éxito según esa definición. Ahora piensen que ocurriría si lo usáramos con los candidatos de hoy. Filtraría a las mujeres ya que no parecen ser personas que hayan tenido éxito en el pasado.