Un estudio divulgado en la revista Scientific American revela los riesgos emergentes en la “era de la datificación” como se ha bautizado a la tendencia generalizada de construir enormes infraestructuras de datos, para tomar decisiones.
El artículo lleva por título “El daño que los datos hacen” y fue escrito por Joanna Redden, codirectora del Laboratorio de Justicia de Datos. Las historias que cuenta dejan una reflexión sobre los peligros de tener fe ciega a la hora de delegar la toma de decisiones a la secuencia ordenada de comandos de un algoritmo.
El estudio empieza referenciando un caso de Australia, donde un sistema automatizado de recuperación de deudas generó problemas en una comunidad, por la aplicación a raja tabla de los resultados que generaba los errores del algoritmo.
Según el artículo, en 2016 el Departamento de Servicios de Asistencia de ese país introdujo una nueva forma de calcular los ingresos anuales de los beneficiarios de subsidios y ayudas estatales. Inmediatamente el sistema empezó a despachar cartas de cobro a aquellas personas que el sistema señaló por tener, aparentemente, ingresos suficientes para su subsistencia, lo que los sacaba del programa de ayudas públicas.
“El nuevo método de contabilidad establecía que el ingreso quincenal podría ser promediado para estimar el ingreso para el año completo”, explica la autora. El asunto es que en muchos casos, los beneficiarios de la asistencia social contaban con contratos temporales en trabajos muy precarios. Así que el sistema terminó dejando por fuera a muchas personas que realmente necesitaban asistencia.
Este es un ejemplo de cómo el mundo está entrando en una ‘edad de la dataficación’, dice la autora, gracias a las grandes cantidades de información que las empresas y los gobierno están recogiendo por todo el mundo. Esto tiene un gran ‘pero‘: “Nosotros no sabemos aún todas las implicaciones de esto”, dice la autora.
“La asombrosa cantidad de información disponible acerca de cada uno de nosotros, combinada con el nuevo poder de computación, significa, sin embargo, que nos hemos convertido en infinitamente ‘conocibles’ a la par que tenemos poca habilidad para cuestionar y desafiar la manera como nuestros datos están siendo usados”, plantea Redden.
Es claro que la humanidad necesita poner sobre la mesa esos temas y entender que las maravillas de la tecnología implican, también, enormes riesgos que pueden afectar a los más vulnerables.
De allí que hoy existan iniciativas como el Laboratorio de Justicia de Datos, de la Universidad de Cardiff, donde diseñaron un “Registro de daños de datos”, que lleva las estadísticas sobre los problemas que ocasionan la automatización y los sistemas algorítmicos en todo el planeta.
Lo que más preocupa, como ya se mencionó, es que el exceso de automatización y algoritmos, termine profundizando la inequidad, como lo muestra el caso de Australia, donde muchas personas perdieron los beneficios de los programas sociales por cuenta de errores en la programación de esos sistemas.
La autora destaca que ese caso y otros evidentes a lo largo del planeta demuestran “el ‘desequilibrio de poder’ incorporado en muchos sistemas de datos emergentes. Para entender qué pasa, necesitamos respuestas a tales cuestiones como por qué un sistema con tan altas tasas de error fue implementado sin un adecuado proceso de protección para los ciudadanos”, reclama la autora.
Otro caso evidenciado es el de los sistema de reconocimiento facial, que rutinariamente fallan al identificar rostros “no blancos”, lo que se vuelve un problema cuando esta tecnología es empleada en el acceso a servicios gubernamentales o en los procesos de inmigración para turistas y visitantes.
“Joy Boulamwini, fundador de la ‘Liga de la Justicia Algorítmica’, el Media Lab en M.I.T., argumenta que esto sucede, en parte, porque los algoritmos de machine learning son implementados sobre conjuntos de datos que contienen principalmente rostros blancos. Los empleados en las firmas de high-tech que diseñan estos sistemas son en su mayoría blancos, un desequilibrio que puede limitar la posibilidad de detectar y administrar los prejuicios”, señala el artículo.
Otro caso resulta de un hallazgo de Propública, una ONG que promueve la divulgación de información, que descubrió que los algoritmos que predicen la probabilidad de que alguien acusado de un crimen pueda reincidir tenían el doble de posibilidades de equivocarse con una persona negra que con una persona blanca.
“Sistemas similares de calificación están siendo usados a los largo de Estados Unidos y pueden influir en la sentencia, lo que podría dejar a mucha gente por fuera de métodos de rehabilitación distintos a la cárcel (...). Esto parece estar conectado con el peso que los algoritmos le asignan a factores como desempleo, pobreza e historia familiar. Los datos que vienen de un mundo que es desigual reflejarán tal inequidad y al final podrían reforzarla”, explica el documento.
En Colombia el tema todavía no es debatido ampliamente. Aún así, es probable que este foco sea clave en una discusión que está a punto de empezar: los programas sociales que serán fortalecidos, si se decide la generalización del IVA.
De acuerdo con la idea del Gobierno, es claro que el IVA se puede ampliar y para mitigar el impacto en las clases menos favorecidas, se utilizará la compensación por la vía de programas sociales como Familias en Acción, que basan sus capacidad de decisión en una robusta base de datos.
Es claro que antes de implementar esta medida es necesario cuestionarse cuáles podrían ser los errores que se podrían cometer con una base de datos de esta magnitud y qué podría salir mal.
Sin lugar a dudas, todo error que se cometa afectará a las personas menos favorecidas. Ese es un riesgo, que por lo planteado en el artículo de Scientific American, se está cometiendo a lo largo del planeta.
https://www.dinero.com/economia/articulo/como-afectan-los-algoritmos-a-la-gente-pobre/263595
