Entrevista a Ana Valdivia

«La inteligencia artificial está potenciando la discriminación»

Galde 42, Udazkena 2023 Otoño. Manu González, Koldo Unceta y Alfonso Sanz entrevistan a Ana Valdivia.- 

Ana Valdivia es profesora e investigadora en inteligencia artificial, gobierno y políticas en el Oxford Internet Institute. Basándose en su experiencia como matemática e informática, trabaja actualmente en el impacto político, técnico y ambiental de esta tecnología.

¿De qué hablamos cuando hablamos de inteligencia artificial (IA)?

Es una pregunta que siempre me hacen y con la que me brota el síndrome de la experta: cuanto más sabes de un tema, cuanto más profundizas en él, más difícil resulta definirlo. Hay muchísimas definiciones, pero la que más se aproxima a lo que yo entiendo como IA es la que propone la UniónEuropea en el nuevo marco legal que pretende regular esta tecnología[1]. En ese marco, la IA es un conjunto de ordenadores y programas que aprenden de su entorno y aprovechan la información contenida en bases de datos para optimizar y encontrar la solución más precisa a un objetivo fijado,

Esta tecnología no es nueva, en 1956, un grupo de diez académicos americanos, todos blancos, por cierto, se reunieron para reflexionar sobre las posibilidades de crear inteligencia artificial, acuñándose entonces el concepto. Hay que recordar que en aquella época no había ordenadores tan potentes como los que tenemos hoy, ni se había producido la revolución tecnología que hemos experimentado en la última década, ni se generaba la inmensa cantidad de datos que generamos en nuestro día a día.

¿Crees, por tanto, que está justificada la importante presencia de la IA en la actualidad en los medios de comunicación como consecuencia de un proceso de expansión natural de la tecnología?

Bueno, natural… La expansión se deriva más bien de la ingente cantidad de dinero que han puesto los gobiernos y gracias también a las inversiones que las grandes tecnológicas están dirigiendo a este campo. Su presencia en los medios de comunicación está justificada por las novedades que se están introduciendo. Por ejemplo, cuando empecé a trabajar en 2016 con procesamiento del lenguaje natural, que es la rama de la inteligencia artificial que se basa en analizar la comunicación entre el ordenador y el ser humano, todo este tipo de tecnologías ya estaba presente. Pero la irrupción del ChatGPT[2] representa un cambio de paradigma: por la manera que tiene de comunicar parece realmente que estés hablando con otra persona. Este cambio de paradigma se ha hecho posible gracias a la evolución de los sistemas de computación de los ordenadores, que ahora son capaces de procesar muchísima más información en menos tiempo y, también, a la gran cantidad de datos que se están recogiendo de diferentes fuentes. Un programa como el ChatGPT sin una base de datos con todo el texto de Wikipedia, Twitter, etc., no se podría haber desarrollado, ni entrenado.

¿Qué nos puedes decir de los desafíos que plantea esta tecnología?

La socióloga e informática británica Enid Mumford ya investigó en los años 70/80 cómo los ordenadores iban a transformar el panorama laboral. Y hablaba de cómo, entonces ya hubo un cambio con la digitalización, con la introducción de ordenadores personales en los puestos de trabajo. Y se hablaba de la previsión de destrucción de gran cantidad de empleos. Es cierto que se destruyeron, pero también que en el proceso intervinieron otros factores como, por ejemplo, las políticas de Margaret Thatcher privatizando todas las esferas y organismos públicos. Mi opinión es que la IA no va a destruir puestos de trabajo directamente, sino que se va a utilizar para precarizarnos aún más. Por ejemplo, todos estos guionistas que están en Estados Unidos en huelga porque ven cómo sus trabajos, independientemente de que vayan a desaparecer o no, se van a precarizar; puede que les toque supervisar lo que diga el algoritmo y eso va a ser un trabajo muy precario porque simplemente van a estar contratados menos horas.

Otro de los problemas que se están mencionando ahora con la IA son las posibles modificaciones de nuestro comportamiento en la vida cotidiana. ¿Cómo puede afectar la inteligencia artificial a nuestras decisiones y a nuestra visión de la realidad?

Lo que tenemos que precisar es lo que hace el ChatGPT y otro tipo de aplicaciones y programas que han puesto la IA en boca de todos. La cuestión clave es si crean contenido o simplemente aprovechan el creado por otros. En el caso de las tecnologías que son capaces, por ejemplo, de generar imágenes a partir de las instrucciones que les das y de un banco inmenso de imágenes existentes. No se genera “nuevo contenido”, simplemente analiza patrones de millones de imágenes que hemos ido generando las personas.

Pero cuando hablamos de IA también tenemos que mirar otros aspectos. Sin ir más lejos, en España se ha utilizado un algoritmo con reglas precisas para la solicitud del bono social. En este caso el gobierno desarrolló un sistema informático que analizaba cada petición y decidía si podías disponer de esa ayuda para pagar las facturas de la luz, por ejemplo. Afortunadamente existe en España una organización que se llama CIVIO[3] que se dio cuenta de que había un error en ese sistema informático: mucha gente que empleaba la aplicación que CIVIO había desarrollado respecto al bono social, comprobaba que cumplía los requisitos para tener la ayuda, pero luego cuando acudían al sistema del gobierno, les salía denegada. CIVIO demostró que BOSCO, la aplicación del gobierno, tenía fallos y denegaba el bono social a personas que tenían derecho a recibirlo.CIVIO llevó al Consejo de Transparencia el tema pidiendo conocer su especificación técnica, los resultados de las pruebas de comprobación de la aplicación y su código fuente. Y están aún en batalla legal porque el gobierno se ha negado a dar información al respecto.

¿Contribuye la IA a deshumanizar y generar desigualdad o discriminación?

Sí, este es un tema que he estado estudiando en mis últimos años como investigadora, tanto en España como en el Reino Unido, porque comprobamos que efectivamente la IA se utiliza como una herramienta de discriminación. Por ejemplo, en el campo migratorio se utilizan sistemas biométricos para evidenciar estancias irregulares y así impedir el acceso a la condición de refugiado o a demandas de asilo dentro de la UE. Hay que advertir, no obstante, de que esto tampoco empieza con la IA. De hecho, recientemente escribí un artículo en el que explicaba cómo la datificación, que es el proceso que recoge y transforma en datos diversos aspectos de nuestra vida, ya se utilizó como un mecanismo de discriminación en el siglo XIX, mucho antes de la digitalización[4]. Francis Galton, que es considerado el padre de la eugenesia, desarrolló también la biometría y avanzó algunos conceptos de estadística que se utilizan en el aprendizaje automático dentro de la inteligencia artificial. Galton tenía una obsesión por clasificar “la raza” o las diferentes “razas humanas” en función de los patrones que se encuentran en nuestras huellas dactilares. Para demostrar su hipótesis, lo que hizo fue recoger huellas dactilares de ingleses, de galeses, de negros, como él decía, y hasta de niños vascos, para analizar si existían patrones dentro de las huellas dactilares que dieran pie a una teoría de la raza humana. Y la conclusión de este estudio de Galton fue que no se pueden identificar o clasificar las “razas humanas” mediante las huellas: Galton no encontró patrones que diferenciaran unos grupos de otros.

¿Crees que la inteligencia artificial potencia esa discriminación?

Claro, la IA es una herramienta que se utiliza para recrear la violencia institucional y neoliberal. Lo vemos, por ejemplo, en migraciones hoy en día. Los Estados miembros de la Unión Europea, utilizan bases de datos con sistemas biométricos de inteligencia artificial para recoger evidencias digitales de las personas que cruzan fronteras. O, por ejemplo, para volcar toda la información existente de huellas dactilares. Hay también proyectos que pretenden recoger información de las caras (reconocimiento facial) de las personas que lleguen a la Unión Europea pidiendo un visado, para crear un sistema que automatice las entradas y las salidas del espacio europeo y el control de estas personas.La UE está invirtiendo muchísimo dinero en crear estos sistemas biométricos e informáticos para elcontrol de personas basados en IA.

Estamos comentando el lado en sombra de la IA, pero habitualmente lo que hay en los medios de comunicación es el otro lado, el brillante. ¿Cuál es el balance entre no negativo y lo positivo?

Obviamente hay una mirada pesimista sobre la IA, pero también se reconoce que es una herramienta útil, por ejemplo, dentro del campo de la medicina, pues puede ayudar a entender mejor algunas enfermedades, por esta búsqueda de patrones aprovechando bases de datos inmensas. Es el caso de la interpretación de las pruebas radiológicas en la detección e identificación del cáncer;se está constatando que realmente pueden ayudar y apoyar el trabajo de la gente que trabaja en medicina. Y también se puede utilizar la IA para, por ejemplo, auditar procesos. En mis investigaciones sobre la discriminación en el proceso tecnológico he utilizado inteligencia artificial. He utilizado algoritmos que, por ejemplo, estructuran en una base de datos todos los contratos destinados a control migratorio de la Unión Europea. Descargando todos estos datos lograba identificar de un modo masivo y sencillo a qué compañías privadas se le concedía el contrato, por cuánto dinero, cuál era el objetivo del contrato.Esta aproximación ha sentado las bases de una investigación tanto académica como periodística para entender mejor a quése destina eldinero en la Unión Europea, qué tipo de tecnologías de control migratorio se aplican y qué compañías reciben las inversiones públicas. Gracias al apoyo de esta tecnología se ha podido comprobar, por ejemplo, que son seis o siete empresas privadas las que se llevan todo el dinero para desarrollar estos sistemas de información de control migratorio.En definitiva, estas herramientasse pueden utilizar también para vigilar a quien nos vigila y también, como he dicho anteriormente, avanzar en muchos ámbitos como el de la medicina.

Algunas voces señalan que la IA puede jugar un papel positivo en la lucha contra la crisis climática, Sin embargo, ¿las crecientes necesidades de computación derivadas de la IA no pueden afectar negativamente a la energía y a la crisis de recursos?

Uno de los proyectos de investigación en los que me estoy centrando ahora es en el impacto medioambiental de la IA, de sus infraestructuras y funcionamiento, más allá del código, más allá del algoritmo que se utiliza y su capacidad de discriminar[5]. Porque cuando pensamos en la IA, nos imaginamos como un ente tecnológico, virtual y cuasi inmaterial. “Todo está en la nube”. Pero ese ente tecnológico se sustenta en unas infraestructuras que para su desarrollo necesitan una ingente extracción de recursos naturales, como el litio, el cobre, el silicio… minerales necesarios para crear ordenadores y centros de datos. El almacenamiento de datos y el propio proceso de entrenamiento de los sistemas de inteligencia artificial necesitan también grandes cantidades de agua y energía, con su correspondiente impacto medioambiental. Y, por último, cuando estas infraestructuras ya no son útiles se desechan y los residuos se envían a países como Kenia o Ghana, que tienen que lidiar con toda la toxicidad de los aparatos electrónicos. Así, vemos otra vez que la IA discrimina más allá de su código y también crea precariedad más allá de su código, porque vemos cómo en las tres diferentes fases descritas (extracción de materiales, uso de las infraestructuras y residuos)hay muchas personas con trabajo precarizado y en condiciones penosas.

Una de las ramas de la IA es la denominada IA generativa, es decir, la que permite generar a partir de datos previos nuevos textos e imágenes. Sabemos que no te gusta ese concepto ¿cuál usarías tú?

Hay que revisar críticamente la palabra generativa aplicada a la IA, pues parece indicar que crea de la nada arte y/o textos, pero lo cierto es queno lo genera de la nada, lo hacea partir deunas bases de datos que alimentan al algoritmo para que aprenda patrones de millones y millones de pinturas y de productos de artistas o de libros y de todo el contenido que hemos volcado en nuestras redes sociales durante tantos años. O sea, para mí no genera, sino que copia, analiza y reproduce.

¿Estamos, por tanto, ante una inteligencia artificial “copiativa”?

Efectivamente, “copiativa” es como se debería llamar. De hecho, hay un argumento de Kate Crawford que en el 2021 publicó su libro The Atlas of AI en la explica que para ella la IA ni es inteligente ni es artificial. No es artificial, porque como he dicho anteriormente, depende de recursos naturales, no tiene nada artificial la inteligencia artificial y no es inteligente, primero porque no se ajusta a una definición de inteligencia que le guste a todo el mundo dentro de la academia. En realidad, la manera que tienen estas herramientas, de comportarse, de producir, parece inteligente, pero realmente no lo es. Copia y reproduce.

Como decías, en la huelga de los sindicatos de guionistas y actores de cine de Estados Unidos de este verano de 2023 una de las reclamaciones es precisamente la regulación de la IA generativa. ¿Cómo crees que puede afectar la IA en el mundo de la creación, el arte y la propiedad intelectual?

En los últimos años, la denominadaIA generativa ha contribuido reemplazar a artistas y profesionales del diseño en pro del uso de estos algoritmos que crean imágenes o textos. Por eso, se han puesto en pie de guerra en contra no tanto de la IA, sino de las empresas privadas y tecnológicas que desarrollan estos productos, porque no crean arte de la nada, sino que crean arte a partir de arte desarrollado por un ser humano. De ese modo, han llevado a juicio el uso de este tipo de algoritmos, porque para que la IA cree una determinada imagen, ha necesitado una enorme cantidad de imágenes de artistas y eso es una vulneración de los derechos de autoría. Es un tema que va a dar que hablar y que seguirá debatiéndose en el sistema judicial. Es el talón de Aquiles de los sistemas de IA generativa como ChatGPT (generador de conversaciones) o Dall-E (generador de imágenes a partir de descripciones de texto).

Revisando todo lo comentado anteriormente ¿se puede hablar del mito de la inteligencia artificial?

Sí, sí. Recuerdo que escribí un artículo en 2020 en El Salto Diario sobre los mitos de la inteligencia artificial[6]. Una de las predicciones que hacía sobre el mito de la IA, y que está pasando, es que cada vez más, la innovación de esta tecnología iba a estar en manos de empresas como Google, Microsoft, porque son las que tienen los recursos. La IA iba a dejar de innovar dentro de las universidades públicas porque no tienen los recursos económicos y e infraestructuras necesarias para sostener el avance en esta tecnología. Y lo estamos viendo. Quien ha configurado Chat-GPT es Open AI, que depende de Microsoft, no lo ha hecho una universidad pública. En definitiva, es conveniente siempre ponerse las gafas críticas cuando se mire a esta tecnología, cuando se lea sobre esta tecnología, porque hay mucho mito. Hay muchas noticias periodísticas que lo alimentan, porque así se revaloriza, porque hay gente que está ganando mucho dinero con esta tecnología y sus expectativas. Y, sobre todo, que hay que perder el miedo, porque no es una tecnología que sea inteligente, es una tecnología que se basa en fórmulas matemáticas estadísticas de hace muchísimos años y además está alimentada con datos. O sea, lo que ha hecho, entre comillas, “inteligente”, esta tecnología, es transformar en datos nuestro día a día. Hoy se puede analizar nuestros patrones de todo, hasta de nuestras pulsaciones si tenemos relojes inteligentes, de cómo nos movemos, de qué compramos. Y eso es lo que nos debería de dar un poco de respeto, el cómo estamos monitorizadas digitalmente. Es ahí donde radica el poder de esta tecnología.

Nos estas diciendo que hay que perder el miedo al código, a los algoritmos, pero tener mucha precaución con los resultados y con las aplicaciones de ese código.

Sí. Las bases de datos son el talón de Aquiles de la inteligencia artificial. Sin una base de datos que recoja información no existiría la IA que se ha desarrollado hoy en día.

Vamos a utilizar IA para transcribir esta entrevista.

Claro, yo también utilizo ChatGPT. Por ejemplo, ahora estoy formulando un proyecto de investigación y me apoyo en ChatGPT. Muchas veces le pregunto cosas. Por ejemplo, a mí que no soy nativa inglesa me viene muy bien porque me da expresiones que no me salen solas. Esto lo podía haber dicho también cuando he hecho investigación en temas de migración de inteligencia artificial, sí que es verdad que se utilizan esos sistemas de biometría para la vigilancia, pero los migrantes utilizan traductores automáticos para comunicarse contigo. Y eso les viene muy bien a estas personas. A pesar que en muchas ocasiones los traductores automáticos sirven para traducir lenguas mayoritarias como el inglés o el español. Cuando tenemos que traducir del vasco al kurdo, la calidad de la traducción es malísima. Es aquí donde vemos otra vez cómo la IA (y los equipos y empresas que las desarrollan) discrimina.

Para terminar, qué alcance crees que puede tener la petición de una moratoria para la IA que han reclamado varios millares de científicos. ¿Es viable una iniciativa de este tipo en este sistema económico, social y político?

Yo creo que el tema de la moratoria que, por cierto, ha sido impulsado por los grandes hombres blancos dentro del mundo de la inteligencia artificial, no es más que nada una campaña propagandística para engordar el mito de la IA. Porque si estas grandes mentes, estos grandes personajes dentro del mundo tecnológico, están pidiendo una moratoria, están alimentando el mito de la IA y que el público general le pueda coger miedo. Yo creo que es simplemente una estrategia propagandística para aún revalorizar más el producto de la IA. Yo no creo que se vaya a pausar. Hay muchos intereses económicos detrás y no creo que se vaya a parar; llevamos muchos años denunciando las malas praxis y las diferentes maneras de discriminación que tiene esta tecnología y aun así no se ha parado. En definitiva, no creo que esto se vaya a parar, pedir una moratoria es simplemente una estrategia propagandística.

·

Qué es la inteligencia artificial

El término «inteligencia artificial» (IA) se aplica a los sistemas que manifiestan un comportamiento inteligente, pues son capaces de analizar su entorno y pasar a la acción –con cierto grado de autonomía– con el fin de alcanzar objetivos específicos.

Los sistemas basados en la IA pueden consistir simplemente en un programa informático (p. ej. asistentes de voz, programas de análisis de imágenes, motores de búsqueda, sistemas de reconocimiento facial y de voz), pero la IA también puede estar incorporada en dispositivos de hardware (p. ej. robots avanzados, automóviles autónomos, drones o aplicaciones del internet de las cosas).

Estamos utilizando la IA diariamente, por ejemplo, para traducir de un idioma a otro, generar subtítulos en los vídeos o bloquear el correo electrónico no solicitado (spam).

Muchas tecnologías de IA requieren datos para poder mejorar su rendimiento. Una vez que funcionan bien, pueden ayudar a mejorar y automatizar la adopción de decisiones en el mismo ámbito. Por ejemplo, un sistema de IA se puede entrenar con vistas a utilizarlo para detectar los ataques informáticos a partir de los datos obtenidos de la red o del sistema en cuestión.

Definición de la Comisión Europea en su Comunicación Inteligencia artificial para Europa (Bruselas, 25.4.2018; COM(2018) 237 final)

Notas: 

  1. A definition of AI: Main capabilities and scientific disciplines. High-Level Expert Groupon Artificial Intelligence. Comisión Europea, 2019. En la web de la Comisión Europea se describe el proceso que se está siguiendo para llegar a la aprobación de una Ley de Inteligencia Artificial (https://digital-strategy.ec.europa.eu/es/policies/european-approach-artificial-intelligence). Uno de los primeros hitos de ese proceso fue la Estrategia Europea de Inteligencia Artificial (Bruselas, 25.4.2018; COM(2018) 237 final). Posteriormente, en 2020 se presentó el Libro Blanco sobre la inteligencia artificial – un enfoque europeo orientado a la excelencia y la confianza (Bruselas, 19.2.2020; COM(2020) 65 final). En abril de 2021, la Comisión presentó su paquete de IA, que incluye tres acciones: una Comunicación sobre el fomento de un enfoque europeo de la IA; una revisión del Plan Coordinado de Inteligencia Artificial; y una propuesta de Reglamento por el que se establecen normas armonizadas sobre IA (Ley de IA).
  2. ChatGPT (Chat Generative Pre-Trained Transformer) es un programa presentado públicamente en 2022 por la empresa OpenAI que se especializa en el diálogo con humanos.
  3. https://civio.es/
  4. Datafication Genealogies beyond Algorithmic Fairness: Making Up Racialised SubjectsNeither opaque nor transparent: A transdisciplinary methodology to investigate datafication at the EU borders
  5. Ana Valdivia. Silicon Valley y los costos ambientales de la IA. Centro de Investigación de Economía Política, Goldsmiths, Universidad de Londres. 2022Disponible en: https://www.perc.org.uk/project_posts/silicon-valley-and-the-environmental-costs-of-ai/
  6. La paradoja de Jevons. Un blog sobre ciencia y poder. https://www.elsaltodiario.com/paradoja-jevons-ciencia-poder/sobre-el-mito-de-la-inteligencia-artificial-y-el-futuro-que-no-vendra..

Categorized | Miradas, Política

Un mundo en cambio, Iñaki Gabilondo. STM | Galde

UCRANIA

Protagonistas

Juan Gutiérrez
Cristina Monge
Pedro Arrojo Agudo
Iñaki Gabilondo
Ana Valdivia
Dora María Téllez
Pedro Miguel Etxenike
Marta Cabezas
Tomás Arrieta
Maixabel Lasa
Carlos Berzosa
Esteban Beltrán
Lurdes Imaz
Garbiñe Biurrun
Javier Moreno Luzón
Koldo Martinez
Tomás García Azcárate
Lourdes Oñederra
Mikel Reparaz
Virginijus Sinkevicius
Laia Serra
Gerardo Pisarello
Daniel Raventos
Daniel Innerarity
Yayo Herrero
María Eugenia Rodríguez Palop
Carlos Juárez
Helena Taberna
Pablo J. Martínez Osés
Koldo Unceta
Xabier Aierdi
Aitzpea Goenaga
Javier de Lucas
Ander Bergara
Garbiñe Biurrun
Pedro Santisteve
Marina Garcés
Carod Rovira
María Silvestre
Joao Pedro Stédile
Enrique Villareal "El Drogas"
José Luis Rodríguez García
Adela Asúa
Xabier Rubert de Ventós
Catarina Martins
Iñaki Gabilondo
Alberto Acosta
Victoria Camps
Lluís Torrens
Mario Rodríguez Vargas
Mikel Aizpuru
Marta Macho Stadler
Ramón Sáez Valcárcel
Frédéric Lordon
Xabier Vence
Carmen Gisasola
Paco Etxeberria
Cristina Narbona
Juan Calparsoro
Joaquim Bosch
Idoia Estornés
Iñigo Lamarca
Tarana Karim
Txema Urkijo
Dolores Juliano
Yayo Herrero
José Ignacio Lacasta
Gurutz Jáuregui
Silvia Gil
Ramón Barea
Daniel Cohn-Benditt
Ada Colau
José Manuel Naredo
Anna Freixas
Carlos Beristain
Carlos Berzosa
Manuela Carmena
Gloria Flórez Schneider
Paco Etxeberria
Cristina Narbona
Juan Calparsoro
Idoia Estornés
Iñigo Lamarca
Tarana Karim
Txema Urkijo
Dolores Juliano
Yayo Herrero
José Ignacio Lacasta
Gurutz Jáuregui
Silvia Gil
Ramón Barea
Daniel Cohn-Benditt
Ada Colau
José Manuel Naredo
Anna Freixas
Carlos Beristain
Carlos Berzosa
Manuela Carmena
Gloria Flórez Schneider
“LIKE”. Eduardo Nave
La larga espera
Shushi (República del Alto Karabakh —Artsakh—, 08/10/2020)
Eugenia Nobati, Argentina
"Homenage a Marcel Proust" Marisa Gutierrez Cabriada
Zutik dirauena
Shushi (Karabakh Garaiko errepublika —Artsakh—, 2020/10/08)
Txema García
Alfredo Sabat, Argentina
Sebastião Salgado
Refugiados sirios: Mujer cocinando
Txema García
"Lemoniz", Mikel Alonso
Inmigrantes rescatados por salvamento marítimo
Debekatutako armak
Shushi (Karabakh Garaiko errepublika —Artsakh—, 2020/19/08).
Txema García
Abrazo. Luna a Abdou
Playa del Tarajal, Ceuta
"El origen del mundo" José Blanco
Metro de París
Jose Horna.
Irene Singer, Argentina
“LIKE”. Eduardo Nave
"El mal del país" José Blanco
"El instante decisivo" Iñaki Andrés
"Homenaje a Federico García Lorca" Marisa Gutierrez Cabriada
Txema García
"El instante decisivo" Iñaki Andrés
“JAZZ for TWO”, José Horna
Cientificos-Volcán
La Palma 2021
Fotografía de José Horna
Sebastião Salgado
Sueños Rotos
República del Alto Karabakh —Artsakh—, 06/10/2020
Fotografía de José Horna
Sebastião Salgado
Canción de París
Jose Horna.
Bonill, Ecuador
Encaramado a la valla de Ceuta
Antonio Sempere
Porteadoras
Sebastião Salgado
Txema García
“JAZZ for TWO”, José Horna
"Mujeres del Karakorum", Mikel Alonso
"Mujeres del Karakorum", Mikel Alonso

Autores