{"id":16304,"date":"2023-10-02T18:38:44","date_gmt":"2023-10-02T16:38:44","guid":{"rendered":"https:\/\/www.galde.eu\/?p=16304"},"modified":"2023-11-10T09:45:09","modified_gmt":"2023-11-10T08:45:09","slug":"un-ordenador-racista","status":"publish","type":"post","link":"https:\/\/www.galde.eu\/es\/un-ordenador-racista\/","title":{"rendered":"Un ordenador racista est\u00e1 decidiendo tu futuro y t\u00fa no lo sabes"},"content":{"rendered":"

\"\"<\/a><\/p>\n

 <\/p>\n

Galde 42, Udazkena 2023 Oto\u00f1o.- Mar\u00eda S\u00e1nchez D\u00edez.-<\/p>\n

Los algoritmos ya est\u00e1n tomando decisiones cruciales y, en ocasiones, err\u00f3neas, perjudiciales y discriminatorias acerca de si concederte un cr\u00e9dito, seleccionarte para un trabajo, considerarte sospechoso de un crimen o asignarte recursos hospitalarios.<\/em><\/p>\n

En febrero de 2019, Nijeer Parks, un carpintero de la ciudad de Patterson, en Nueva Jersey, recibi\u00f3 una llamada de su abuela: la polic\u00eda de la localidad de Woodbridge se hab\u00eda presentado en la casa que ambos compart\u00edan para arrestarlo, acusado de un robo que hab\u00eda terminado con su huida y el intento de atropello de dos agentes de polic\u00eda.<\/p>\n

Parks pens\u00f3 que todo se trataba de un error sin importancia. Al fin y al cabo, nunca hab\u00eda puesto el pie en Woodbridge, una ciudad a 40 minutos de su hogar. Pero al presentarse en la comisar\u00eda para aclararlo, fue esposado y detenido. Pas\u00f3 los siguientes diez d\u00edas en prisi\u00f3n. \u201cEstaba muy asustado\u201d, dice Parks, que hoy tiene 35 a\u00f1os. Cuando fue puesto en libertad sin cargos y recibi\u00f3 el informe policial del caso, por fin entendi\u00f3 lo que hab\u00eda pasado: una herramienta de reconocimiento facial lo hab\u00eda se\u00f1alado como responsable. \u201cEn lo \u00fanico que nos parec\u00edamos \u00e9l [sospechoso] y yo es en que los dos tenemos barba. Podr\u00eda haber pasado a\u00f1os en la c\u00e1rcel por esto\u201d.<\/p>\n

El caso de Parks parecer\u00eda casi sacado de una pel\u00edcula dist\u00f3pica de ciencia ficci\u00f3n si no fuera porque es real. En Estados Unidos, un pa\u00eds donde el desarrollo tecnol\u00f3gico en Silicon Valley y el capitalismo sin control se dan la mano, la inteligencia artificial est\u00e1 ya integrada en multitud de procesos de toma de decisiones que nos afectan \u00edntimamente, muchas veces para mal.<\/p>\n

La ubicuidad de esta tecnolog\u00eda afecta a \u00e1mbitos cruciales: modelos bancarios que conceden cr\u00e9ditos, hipotecas y tipos de inter\u00e9s menos ventajosos a compradores afroamericanos, algoritmos que otorgan peor puntuaci\u00f3n a las mujeres que solicitan puestos de trabajo en empresas tecnol\u00f3gicas, hospitales que brindan peores tratamientos a personas de color, instituciones educativas que predicen qu\u00e9 notas merece sacar un estudiante en funci\u00f3n de los resultados hist\u00f3ricos de alumnos similares en su misma escuela\u2026 Esta tecnolog\u00eda, m\u00e1s que crear el mundo justo y eficiente que Silicon Valley hab\u00eda prometido, en muchas ocasiones est\u00e1 reproduciendo y amplificando sus desigualdades m\u00e1s flagrantes.<\/p>\n

El problema, explican los expertos, es que, para aprender a ser \u201cinteligentes\u201d, estos modelos necesitan engullir cantidades ingentes de datos. Y en la manzana se encuentra el pecado original: si los datos contienen errores y sesgos impl\u00edcitos, el sistema los reproducir\u00e1 y amplificar\u00e1, pero disfrazados de objetividad y exactitud computacional.<\/p>\n

Un ejemplo para explicarlo que usa Meredith Broussard, profesora de la New York University especializada en los efectos discriminatorios de la inteligencia artificial y autora de dos libros sobre el tema, son las estad\u00edsticas policiales. Estas bases de datos recogen cifras de arrestos, muchos de los cuales tienen lugar en barrios de mayor\u00eda afroamericana que hist\u00f3ricamente la polic\u00eda ha patrullado con mayor intensidad. Lo que la polic\u00eda no sabe es cu\u00e1ntos terminan de verdad con el procesamiento del sospechoso y cu\u00e1ntos se desestiman sin dejar m\u00e1cula en el historial policial. Sin embargo, si alimentas un modelo inform\u00e1tico con esta informaci\u00f3n sin m\u00e1s contexto, el ordenador llegar\u00e1 a la conclusi\u00f3n de que los negros cometen m\u00e1s cr\u00edmenes que los blancos y que son m\u00e1s peligrosos. El resultado de este proceso es la automatizaci\u00f3n del racismo y el sexismo institucional.<\/p>\n

Si los datos con los que se entrena para ser \u2018inteligente\u2019 contienen errores y sesgos impl\u00edcitos, el sistema los reproducir\u00e1 y justificar\u00e1<\/em><\/strong><\/p>\n

La detenci\u00f3n del propio Nijeer Parks es un ejemplo de c\u00f3mo datos corrompidos pueden llevar a errores de consecuencias catastr\u00f3ficas. El suyo es uno de los (por ahora) cinco casos conocidos de detenciones policiales err\u00f3neas basadas en sistemas de reconocimiento facial en Estados Unidos. Los cinco son hombres negros. Ya desde que en 2015 sali\u00f3 a la luz que el algoritmo de Google Photos etiquetaba como \u201cgorilas\u201d los rostros de las personas negras, los sistemas de reconocimiento facial alimentados por inteligencia artificial han demostrado una y otra vez que son m\u00e1s propensos a cometer equivocaciones cuando se trata de reconocer e identificar rostros de color. Las fotograf\u00edas de personas cauc\u00e1sicas son dominantes en internet y los ordenadores aprenden a identificar sus rasgos con mayor precisi\u00f3n que los de otras razas.<\/p>\n

Una tecnolog\u00eda que no funciona<\/strong><\/p>\n

Para Nathan Freed Wessler, un abogado de la Uni\u00f3n Americana de Libertades Civiles (ACLU) que actualmente representa en los tribunales a otro ciudadano de Detroit detenido err\u00f3neamente debido a un algoritmo, la soluci\u00f3n no pasa por perfeccionar la inteligencia artificial para que sea m\u00e1s efectiva al identificar a personas racializadas, sino por no utilizarla en absoluto en pr\u00e1cticas policiales. \u201cEs demasiado peligroso, por los riesgos de identificaci\u00f3n, que afectan desproporcionadamente a las personas de color, pero tambi\u00e9n por el potencial de una abrumadora vigilancia por parte gobierno\u201d, dice.<\/p>\n

Tras incidentes como el de Parks, al menos 20 ciudades, entre las que se encuentran Nueva Orleans, en Luisiana, y Oakland y San Francisco en California, han prohibido a los cuerpos policiales el uso de tecnolog\u00edas de reconocimiento facial. Parks ha denunciado a la ciudad de Woodbrige por falso encarcelamiento y violaci\u00f3n de derechos civiles.<\/p>\n

Los efectos discriminatorios de la inteligencia artificial tambi\u00e9n se dejan sentir en el empleo. Amazon, una de las corporaciones l\u00edderes en el uso de inteligencia artificial, descubri\u00f3 en 2015 que el sistema autom\u00e1tico que estaba empleando para examinar candidatos discriminaba a las mujeres. De nuevo, los datos justificaban el error. Como muchas otras empresas tecnol\u00f3gicas, hist\u00f3ricamente Amazon ha contratado a menos mujeres que a hombres, con independencia de sus cualificaciones. El sistema estaba listo para replicar ese patr\u00f3n, as\u00ed que asignaba un puntuaci\u00f3n menor a curr\u00edculums que mencionaran la palabra \u201cmujer\u201d, como por ejemplo, haber sido \u201ccapitana del club de ajedrez femenino\u201d.<\/p>\n

A pesar de que la ley proh\u00edbe pr\u00e1cticas discriminatorias como esta, la opacidad absoluta sobre c\u00f3mo se aplica la tecnolog\u00eda a los procesos de contrataci\u00f3n es una barrera para la litigaci\u00f3n. Ninguna empresa est\u00e1 obligada a revelar que detr\u00e1s de la evaluaci\u00f3n de curr\u00edculums hay un algoritmo en lugar de un ser humano. O que en plataformas como Linkedin pueden segmentar los anuncios de ofertas de empleo para que sean visibles para determinados grupos de personas en funci\u00f3n de criterios demogr\u00e1ficos o geogr\u00e1ficos que pueden resultar excluyentes. O que hay \u2018software\u2019 que analiza los v\u00eddeos de entrevistas para evaluar la personalidad de los candidatos en funci\u00f3n del tono de voz, el contacto visual, la expresi\u00f3n facial o el lenguaje corporal. \u201cLa gente no tiene ni idea de que est\u00e1n siendo utilizadas este tipo de herramientas \u2013explica Olga Akselrod, abogada especializada de ACLU\u2013. Saben que solicitaron un trabajo, que hicieron una entrevista y que no los llamaron, pero no saben por qu\u00e9\u201d.<\/p>\n

En este panorama del salvaje oeste regulatorio, la norma es la opacidad. Las empresas no quieren revelar sus algoritmos ni que los usan<\/em><\/strong><\/p>\n

Los algoritmos tambi\u00e9n pueden dictar qu\u00e9 tipo de cuidados m\u00e9dicos recibimos. En 2019, un grupo de investigadores de la universidad de Berkeley (California) descubri\u00f3 que exist\u00eda un sesgo racial en uno de los algoritmos m\u00e1s extendidos en los hospitales estadounidenses, un modelo matem\u00e1tico que se aplica a m\u00e1s de 200 millones de personas al a\u00f1o. El algoritmo, en su intento de asignar recursos sanitarios de forma eficiente, ponderaba el coste por individuo como variable para clasificar a los pacientes en funci\u00f3n de su gravedad. Pero como el sistema sanitario tradicionalmente gasta menos en los afroamericanos que en las blancos, consideraba err\u00f3neamente que los pacientes negros est\u00e1n m\u00e1s sanos y no requer\u00edan atenci\u00f3n adicional, aunque en la realidad padecieran los mismos (o peores) problemas de salud cr\u00f3nicos que los blancos.<\/p>\n

Auditor\u00edas algor\u00edtmicas<\/strong><\/p>\n

\u201cLa medicina es diferente que predecir qu\u00e9 pel\u00edcula vas a querer ver en Netflix\u201d, dice Ziad Obermeyer, uno de los investigadores de Berkeley. A pesar de todo se muestra optimista sobre la aplicaci\u00f3n de la inteligencia artificial en ciertos contextos m\u00e9dicos, como el diagn\u00f3stico de ataques al coraz\u00f3n en los servicios de emergencias: \u201cLa buena noticia es que, si nos damos cuenta de estos problemas, los datos que tenemos en el sistema de salud son tan ricos que puede solucionarlos\u201d. Sin embargo, para poder encontrar las trampas en el algoritmo hospitalario fue imprescindible que la empresa propietaria les concediera acceso sin cortapisas al c\u00f3digo. Y no todas las compa\u00f1\u00edas est\u00e1n dispuestas a dejar que se hurgue en las tripas del c\u00f3digo. \u201cA las empresas no les gusta revelar exactamente c\u00f3mo funcionan sus algoritmos. Les gusta llamarlo un secreto comercial\u201d, dice Broussard.<\/p>\n

Ante la par\u00e1lisis de los organismos regulatorios y del Congreso norteamericano, que avanza a velocidad de caracol mientras Silicon Valley, siguiendo su lema, \u201cse mueve r\u00e1pido y rompe cosas\u201d, cada vez son m\u00e1s los expertos en Estados Unidos que ven auditor\u00edas algor\u00edtmicas como la de Obermeyer como uno de los mecanismos de control m\u00e1s efectivos para evitar que aplicaciones de inteligencia artificial tengan todos estos efectos discriminatorios y racistas. La auditor\u00eda algor\u00edtmica consiste en observar un algoritmo o programa y desarmar su c\u00f3digo y la base de datos que lo alimenta para ver c\u00f3mo funciona y los potenciales sesgos y resultados problem\u00e1ticos que puede ofrecer. Para Broussard, deber\u00edamos preguntarnos m\u00e1s a menudo: \u201c\u00bfQu\u00e9 es lo peor que podr\u00eda pasar?\u201d.<\/p>\n

En este panorama de salvaje oeste regulatorio, donde los ordenadores est\u00e1n ya tomando decisiones cruciales y, en ocasiones, err\u00f3neas, perjudiciales y discriminatorias, los humanos tenemos otro peque\u00f1o problema: nosotros mismos. El llamado \u201csesgo de automatizaci\u00f3n\u201d nos empuja a favorecer el criterio de una m\u00e1quina, incluso cuando contradice nuestro sentido com\u00fan. Broussard tiene otro nombre para el mismo fen\u00f3meno, y cree que es la ideolog\u00eda que se empuja desde Silicon Valley: \u201cChovinismo tecnol\u00f3gico\u201d. \u201cLas empresas tecnol\u00f3gicas quieren reemplazar a las personas con ordenadores, pero no debemos apresurarnos\u201d, dice. \u201cLa inteligencia artificial no funciona tan bien como la mayor\u00eda de la gente piensa\u201d.<\/p>\n

Mar\u00eda S\u00e1nchez D\u00edez.-\u00a0Editora senior de Narrativas Digitales de The New York Times.<\/p>\n

Art\u00edculo publicado en Revista de ElDiario.es N\u00ba 39 \u201cInteligencia Artificial: Riesgos, verdades y mentiras<\/a>\u201d.<\/em><\/p>","protected":false},"excerpt":{"rendered":"

Galde 42, Udazkena 2023 Oto\u00f1o.- Mar\u00eda S\u00e1nchez D\u00edez.- Los algoritmos ya est\u00e1n tomando decisiones cruciales y, en ocasiones, err\u00f3neas, perjudiciales y discriminatorias acerca de si concederte un cr\u00e9dito, seleccionarte para un trabajo, considerarte sospechoso de un crimen o asignarte recursos hospitalarios.<\/p>\n","protected":false},"author":2,"featured_media":16310,"comment_status":"closed","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[2,5],"tags":[],"class_list":["post-16304","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-dossier","category-politica","revista-galde-n42"],"_links":{"self":[{"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/posts\/16304","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/comments?post=16304"}],"version-history":[{"count":0,"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/posts\/16304\/revisions"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/media\/16310"}],"wp:attachment":[{"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/media?parent=16304"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/categories?post=16304"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/www.galde.eu\/es\/wp-json\/wp\/v2\/tags?post=16304"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}