¿Cómo impacta el desarrollo de la IA en las políticas de género?

Una de las fronteras más desafiantes para el conocimiento humano es su propia naturaleza. Muchos pensadores han ocupado su vida entera en dilucidar cómo «funcionamos», tanto a nivel del cuerpo como de la mente. Justamente, los procesos de pensamiento y razonamiento son objeto de estudio de varias disciplinas, a veces enfocándose en la forma en que aprendemos, a veces en la relación entre emociones y decisiones, a veces estableciendo cómo se manifiesta un pensamiento a nivel eléctrico-químico en nuestros cerebros.

Nuestras cabezas son sistemas altamente complejos, allí tomamos conciencia de nosotros mismos y reinterpretamos la realidad que experimentamos. En razón de ello, un estímulo permanente para nuestra imaginación ha sido la posibilidad de que otros agentes sean capaces de pensar y sentir como nosotros lo hacemos. Así, desde la época del mito hasta la actualidad, diversas figuras y personajes han mostrado alguna particularidad de nuestro pensamiento. El Golem y el monstruo de Frankestein, apenas imaginarios, abrieron paso rápidamente a creaciones cada vez más sofisticadas como el autómata de Vaucanson, los sistemas expertos, y hoy en día la inteligencia artificial (IA).

Todos esos maquinismos –si se permite el término– se parecen entre sí en la idea de que algo hecho de materia inanimada puede «animarse», ya sea por magia o ciencia, de alguna manera, siendo esa animación la capacidad del nuevo ser de procesar estímulos y, en consecuencia, actuar o decidir.

Efectivamente, los estímulos y sus reacciones han sido elementos fundamentales para varias teorías de explicación del pensamiento, cuya estructura es lo suficientemente simple para ser abordada desde diversos arreglos tecnológicos, pero es también flexible por la cantidad de estímulos y respuestas que puede relacionar en diversas situaciones.

En la actualidad, la humanidad atraviesa una fase de vertiginosos cambios provocados por las tecnologías digitales. Entre las tecnologías, la IA ha conseguido instalarse rápidamente en las esferas laborales, académicas y científicas, con impacto todavía impredecible. Vivimos la masificación de la IA y su integración en prácticamente todo tipo de aplicativos. Sus algoritmos están presentes en las principales dinámicas del mundo actual: deciden lo que vemos, sugieren qué comprar, aplican normas de censura, seleccionan talento humano, recomiendan decisiones, reportan resultados de investigación, entre muchos otros usos.

Los sistemas de inteligencia artificial combinan un conjunto de avances anteriores e innovaciones propias para poder generar información nueva. Por una parte, incluyen procesos de estímulo–reacción, (sí, entonces), con bases que contienen respuestas válidas ante un estímulo en sus sensores; por otra, esas bases de causa y efecto se actualizan de manera permanente al interactuar con miles de usuarios, conociendo nuevos estímulos y nuevas respuestas a través de procesos de Machine Learning (ML).

Al mismo tiempo, los avances de la informática y la microelectrónica proveen lenguajes de programación más sofisticados y semiconductores mejorados que permiten la construcción de máquinas más potentes y de menor tamaño. Todos estos avances se relacionan –de manera directa o indirecta– con los algoritmos, conjuntos de instrucciones desarrolladas en un lenguaje de programación, que dan las órdenes para que la computadora capture, procese y emita resultados.

Desde la optimización, el apoyarse en algoritmos significa ahorro de tiempo y esfuerzo, pues las personas se dedican a procesos más importantes en lugar de ocuparse en cuestiones rutinarias. Recientemente, el Secretario General de la ONU puso énfasis en la inteligencia artificial como una herramienta para la gobernanza democrática, con un mensaje claro: «La inteligencia artificial debe estar al servicio de la humanidad de forma equitativa y segura, al tiempo en que conmina a (…) seguir trabajando para construir un mundo más inclusivo, justo e igualitario»¹.

Sin embargo, se nos olvida que, a pesar de la innegable versatilidad de los algoritmos, ciertos escenarios, problemas y contextos requieren superar el razonamiento lógico secuencial matemático (si–entonces, cuánto) para atenerse a un pensamiento humano, más amplio y con otro tipo de variables relevantes (emoción, compasión, diversidad, igualdad).

En ese sentido, la discriminación algorítmica se entiende como la vulneración que ciertos grupos o personas pueden sufrir ante las decisiones automáticas de una aplicación. Los sistemas basados en IA y Machine Learning son vulnerables a este problema ya que basan sus decisiones en el análisis permanente de datos que nacen de las personas, cuyas elecciones llevan imbuidas sus preferencias, incluyendo también sus prejuicios.

En esa línea, un algoritmo que selecciona personal para ramas de ingeniería se basaría en las características de los colaboradores actuales mejor evaluados, lo cual es adecuado, pero por la data histórica de ese campo laboral, es muy probable que termine contratando solo personal masculino.

El presente ensayo tiene un doble propósito: en primer lugar, presentar los impactos de que los algoritmos se apliquen sin vigilancia, con especial atención en lo referente a políticas excluyentes y discriminatorias con relación al género; y en segundo lugar, contribuir a que la IA se use para construir un mundo inclusivo, justo e igualitario. Para el efecto, se han revisado artículos y textos específicos sobre el tema.

Sección 1Algoritmos, IA y discriminación algorítmica

En la introducción, hablamos de la capacidad del ser humano de abstraerse la realidad, representando o reinterpretando en una infinidad de formas lo que vivimos y sentimos. De modo que, además del conocimiento empírico que nace de la experiencia, podemos generar conocimiento desde esquemas que desarrollamos para representar el mundo real y comprenderlo mejor. La matemática, por ejemplo, representa el mundo natural a través de símbolos numéricos, capaces de significar pesos, tensiones, variaciones y cualquier otra magnitud, establecer sus relaciones, e incluso predecir su comportamiento.

La informática también nos permite esquematizar la realidad, se apoya fuertemente en las matemáticas con sus funciones, fórmulas y números, y desde esa base utiliza lenguajes de programación para lograr que el computador obtenga resultados a partir de datos. Esta idea de procesamiento suena sencilla, pero tiene una potencia inmensa que vivimos día a día, evidente a través de la creación de otros mundos como los videojuegos; tutores inteligentes para aprender nuevos idiomas; gemelos digitales de fábricas e industrias que identifican averías antes de que ocurran, o sistemas cada vez más precisos para prevenir desastres naturales.

Para alcanzar esos y otros resultados, el procesamiento de datos no puede ocurrir en un solo paso. La elegancia y eficiencia en la programación se expresa en el modularidad, es decir, se crean pequeños bloques de programación que cumplan con transformaciones pequeñas, de manera que las salidas del primer bloque alimentan al siguiente, consiguiendo que la velocidad de procesamiento sea mayor, se puedan ubicar errores con facilidad y la posibilidad de usar un mismo bloque en diferentes programas. Dichos bloques que agrupan instrucciones para lograr algo son los algoritmos.

Todo programa o aplicación tecnológica digital se forma de algoritmos, ciertas innovaciones tecnológicas permiten que los algoritmos hagan cada vez cosas más complejas, o incluso se puedan actualizar a sí mismos, como la IA. Efectivamente, la inteligencia artificial es el conjunto de innovaciones tecnológicas que tienen la intención de imitar al menos una de las características del pensamiento humano. Según Egupiluz (2020)², dichos sistemas «manifiestan un comportamiento inteligente, siendo capaces de analizar el entorno y pasar a la acción» (p. 6).

Una primera implementación de una IA digital se fundamentó en la interpretación del pensamiento de las personas como reglas heurísticas tipo «si–entonces», las cuales eran cargadas en un sistema para simular el proceso de selección del ser humano en escenarios cerrados. Estos sistemas llamados expertos, tenían aplicaciones en toma de decisiones financieras (si este indicador baja, entonces compra o vende acciones), evaluación de procesos o vencer a un campeón mundial de ajedrez.

Por supuesto, mientras más complejo era el escenario de elección, mucho más específicas y numerosas eran las reglas que debían integrarse al sistema para su funcionamiento, y más complicados aún los escenarios, pues cambian de manera tan frecuente que las reglas pueden entrar en obsolescencia con rapidez. En definitiva, se requería que los sistemas de IA no solo estuviesen preparados para responder a ciertos escenarios, sino que identificaran cambios del contexto para que sus respuestas fueran pertinentes.

Ante esa necesidad, una rama de la IA, el Machine Learning consiste en «el estudio científico de algoritmos y modelos estadísticos que los sistemas computarizados usan para completar una tarea específica que no ha sido explícitamente programada» (Mahesh, 2018, nuestra traducción)³ como por

ejemplo el «aprender». Así, el propósito de ML es aprender de los datos a través del reconocimiento de patrones, clasificación de grupos de datos o identificación de secuencias que después usa en sus funciones.

Por supuesto, al igual que las personas, las formas y estilos de aprender son varios y dependen de diversos factores como el contenido que se quiere interiorizar, características del que aprende y el contexto en que se aplicará lo aprendido. En clave informática, todo lo anterior se traduce en sistemas de ML con diversas funcionalidades, cada sistema con algoritmos afines a sus características, el comportamiento que se quiere aprender y el tipo de datos a ser analizados. De modo tal que para la generación de aquellos algoritmos, los procedimientos estadísticos y los arreglos informáticos se dan la mano, aplicándose permanentemente a los datos del sistema. La siguiente tabla describe varios tipos de ML.

Como decíamos, cada tipo de ML tiene algoritmos propios basados en arreglos matemáticos y estadísticos. Por ejemplo, el aprendizaje supervisado utiliza árboles de decisión, el aprendizaje no supervisado aplica algoritmos de componentes principales (PCA), y el aprendizaje por combinación usa técnicas de boosting. Los aspectos técnicos están fuera del alcance de este artículo, pero los nombramos para señalar que este tipo de sistemas, mientras más potentes, son también más opacos.

La opacidad significa que muchas personas tienen certeza de qué esperar de las tecnologías, pero no tienen conocimiento de cómo funcionan. Por ejemplo, las sugerencias de películas que hace un servicio de streaming, o el etiquetado automático de fotografías en redes sociales son comprendidos con facilidad, pero poco se sabe de cómo ello ocurre a nivel de plataforma. Mientras más procesos son vinculados a algoritmos complejos, más efectos tienen las tecnologías en el cotidiano y más «cajas negras» aparecen.

El problema se agrava al considerar los algoritmos no supervisados, que se basan en el aprendizaje autónomo, y que en ciertos casos y etapas no se tiene certeza de cómo los sistemas toman decisiones, pues la cantidad de interacciones con usuarios y sistemas vuelve imposible determinar integralmente lo aprendido y menos aún, los efectos que tienen en las decisiones.

La opacidad hace complicado determinar qué problemas puede causar un algoritmo aplicado a la toma de decisiones, evidenciándose los inconvenientes solo cuando el sistema se pone en marcha, siendo uno de los principales problemas la discriminación algorítmica.

Según Soriano (2021)⁴, aquella debe entenderse desde dos vertientes:

Como fenómeno que vulnera el principio de igualdad y los derechos fundamentales a la igualdad y la no discriminación y, por otra, como uno de los múltiples daños y riesgos generados por las tecnologías de procesamiento de datos y de automatización de la toma de decisiones.

Mientras los sistemas aprenden de los datos a través de algoritmos de inteligencia artificial no supervisados, ocurre que también pueden aprender sesgos que han quedado latentes en la información histórica, o incluso en las interacciones con las personas. Por ejemplo, datos que sub-representan un género o una raza, o muestras de una sola región o cultura, tarde o temprano reflejarán algún tipo de favoritismo a través de los sistemas. En la siguiente sección, nos referimos a aquellos sesgos, con énfasis en la cuestión de género.

Sección 2Inclinaciones de género en el uso de la inteligencia artificial

El uso creciente de la IA en todas las esferas de interacción humana ha despertado el interés por conocer si estas tecnologías aportarían en la reducción de las brechas de género o cuál sería su influencia en el largo transitar de las mujeres por reivindicar sus derechos. Sin embargo, la realidad muestra ciertos signos de alarma debido a que estas aplicaciones realizadas sin supervisión están reproduciendo modelos desiguales y segregacionistas.

Según Vallejo (2022) existe mucha preocupación por el uso generalizado de algoritmos que establecen los procesos de selección de personal o las condiciones de trabajo, lo que constituye un riesgo para el valor de la igualdad y el derecho a la no discriminación, especialmente de mujeres y otras minorías excluidas o relegadas del mercado laboral. A ello se suma la poca transparencia de los procedimientos automatizados, que complicaría la comprensión para reclamar derechos a las empresas.

Al respecto, la tendencia general pareciera ser que la IA va ganando terreno a los profesionales y expertos de talento humano, pues las empresas automatizan sus procesos de selección y otros procesos para ahorrar recursos, principalmente con aplicativos que hacen la analítica de los datos actuales de la empresa, comparan los mismos con currículos y formularios digitales, y finalmente eligen perfiles «aptos» para contratación.

Como habíamos dicho, es en la información histórica donde pueden existir sesgos discriminatorios que en el escenario planteado son excluyentes y podrían referirse a sectores geográficos de pobreza o embarazo, sexo, edad, condición social o enfermedad, entre otros, contraviniendo con ello a la prohibición de discriminación directa, que opera como una prohibición absoluta en categorías protegidas por el derecho (Manus & Parga, 2024). Lo que agrava el tema es que pareciera que estas amenazas latentes no son consideradas en su real magnitud por los organismos competentes con políticas claras para enfrentar esos riesgos derivados de la infracción del derecho a la igualdad y no discriminación en el acceso al empleo.

Sobre este aspecto, la OIT cuenta con varios instrumentos⁵ que señalan el pleno derecho de no discriminación, y se refieren, entre otras, de manera directa a la igualdad salarial y la lucha contra el acoso y la violencia hacia las mujeres. Recientemente la organización publicó algunos estudios generales sobre el impacto de la IA, entre los cuales advierte que:

Las brechas en la infraestructura digital y otras desigualdades podrían dificultar los posibles impactos de la GenAI en la región y que los gobiernos deben implementar políticas para proteger los puestos de trabajo, mejorar la productividad y maximizar el potencial transformador de la GenAI con el fin de promover un crecimiento más inclusivo y un desarrollo sostenible (La IA generativa y los empleos en América Latina y el Caribe, 2024).

Por otro lado, Viteri y Gómez-Pineda (2023)⁶ destacan usos positivos de la IA, como su aplicación para detectar enfermedades o identificar contenido virtual abusivo y violento contra las niñas y mujeres, pero no dejan de observar con preocupación los sesgos de género que pueden estar presentes en estas tecnologías avanzadas, señalando que «la IA se ha convertido en un espejo que refleja las desigualdades existentes en nuestras sociedades, reiterando diferencias y estereotipos basados en género, etnicidad, raza, clase social, lugar de origen, entre otros».

Dichas afirmaciones generan preocupación, ya que el aumento en el uso de estas tecnologías tiene la capacidad de trastornar derechos fundamentales, por lo que se deben generar políticas y soluciones legislativas que promuevan equilibrios ajustados al nuevo escenario tecnológico (Azuaje Pirela, 2023). En esa línea, varias investigaciones sobre la IA establecen principios y valores repensados para poner a los sistemas de inteligencia artificial «al servicio de la humanidad, las personas, las sociedades, el medioambiente y los ecosistemas, así como para prevenir daños» (Bedecarratz y Aravena, 2023: 203-218), tal y como lo hace, por ejemplo, la Recomendación sobre la Ética de la inteligencia artificial, adoptada por la Unesco en 2021.

De acuerdo con ello, si consideramos que el aprendizaje vía ML, en varios casos no tiene control humano, estaríamos ad portas de la revictimización de mujeres, ocasionada por los datos algorítmicos que replican el discurso de discriminación de género. En esa línea, UNESCO es el sistema de Naciones Unidas que mayores pasos ha dado frente a los sesgos de género a los que nos referimos.

En su último estudio, de 2024, explora los modelos que se encuentran en las aplicaciones de procesamiento del lenguaje natural que alimentan los programas de IA generativa más conocidos, encontrando «pruebas inequívocas de prejuicios contra las mujeres en los contenidos generados por cada una de estas plataformas».

Dicho estudio titulado Challenging Systematic Prejudices: an investigation into bias against women and girls in large language models reveló también que estas nuevas aplicaciones de IA tienen el poder de moldear sutilmente las percepciones de millones de personas, de forma que pequeños sesgos de género en su contenido se amplifican significativamente y aportarían a las desigualdades en el mundo real.

Sobre aquello, la Unesco:

(…) pide a los gobiernos que desarrollen y apliquen marcos regulatorios claros, y a las empresas privadas que lleven a cabo un seguimiento y una evaluación continuos para detectar sesgos sistémicos, como se establece en la recomendación [...] sobre la ética de la inteligencia artificial, adoptada por unanimidad por nuestros Estados miembros en noviembre de 2021.

Para indagar si había otros documentos o instrumentos para proteger derechos frente al desarrollo tecnológico y de la inteligencia artificial o si se reflejaban denuncias publicadas acerca del tema, se revisó también el último informe de ONU Mujeres, que de acuerdo a su último plan 2022-2025 no contenía ninguna referencia en esta materia (Informe de rendición de cuentas de Generación Igualdad 2022, 2023). Lo propio, ocurrió en Ecuador al revisar el Perfil Nacional Sobre Igualdad de Género 2023, donde no se encontró mención a este tópico en las sugerencias de la sociedad civil (Perfil Nacional sobre Igualdad de Género ECUADOR.pdf, s. f.). En este sentido, cobra más importancia lo mencionado por el secretario de ONU en la Cumbre del Futuro: «Las nuevas tecnologías, incluida la inteligencia artificial (IA), se están desarrollando en un vacío moral y legal, sin gobernanza ni barandales» (Nations, s. f.), recalcando que las instituciones internacionales no pueden hacer frente con eficacia a los retos políticos, económicos, medioambientales y tecnológicos actuales, previendo un mañana más duro y peligroso.

Por otra parte, la Convención sobre la Eliminación de toda forma de Discriminación contra la Mujer (CEDAW), así como la Declaración y Plataforma de Acción de Beijing, la Agenda 2030 y todas las resoluciones sobre las mujeres, la paz y la seguridad que han impuesto compromisos a los Estados sobre medidas decisivas para erradicar todas las formas de violencia contra la mujer, deberían incluir alcances que reflejen los desafíos respecto a las nuevas tecnologías y derechos de las mujeres, es decir, adoptar y emplear regulaciones políticas en las temáticas emergentes, tendientes a proteger el derecho a la información y al tratamiento y protección de datos personales con las IA.

Debido a las alertas descritas, creemos que es necesario que dichos instrumentos sienten las bases para adoptar políticas y leyes que garanticen y promuevan el respeto a los derechos humanos, la inclusión, la igualdad, la transparencia, la responsabilidad y la confiabilidad de los sistemas, siendo necesario también mostrar con claridad cómo estos principios serán llevados a la práctica.

Adicionalmente, podemos observar que en lugar de acercarnos a la disminución de desigualdades, nos aproximamos a un escenario donde la utilización de información por algoritmos de la IA, de forma deliberada o no, promueve la reproducción de estereotipos de género. Como sabemos, las narrativas que se usan de manera general, constituyen el arquetipo de la construcción del poder y desde allí se instala en las relaciones cotidianas, reproduciendo las desigualdades a nivel global.

Es de esperar que el orden internacional impulse con mayor fuerza la elaboración de instrumentos reguladores vinculantes, basados en valores inclusivos que protejan la privacidad como un derecho fundamental, reduzcan las brechas de desigualdad de forma general, con énfasis en el género, en las esferas mencionadas aquí y, sobre todo, exija a los Estados parte la utilización reglada éticamente de la inteligencia artificial.

ConclusionesConclusiones

Los procedimientos de aprendizaje a partir de información de algoritmos de inteligencia artificial no supervisados, no solo corren el riesgo de generar decisiones discriminatorias, sino que evidencian la vigencia del discurso discriminatorio, reproduciendo relaciones desiguales de género que se sitúan tanto en el mundo real como en el digital.

Los modelos de IA estarían utilizando datos históricos que reflejan las desigualdades de género, alentando con ello prejuicios que influyen en sus decisiones y que en muchos casos afectan a grandes cantidades de personas. En definitiva, se estaría reproduciendo, de forma consciente e inconsciente una cultura de desigualdad digital que no ayuda a cumplir las políticas de eliminación de todas las formas de violencia, sino que, por el contrario, mantiene los sesgos discriminatorios sin que se pueda definir una vía de acción clara hasta el momento.

Azuaje Pirela, M. (2023). Propiedad intelectual como herramienta para promover la transparencia y prevenir la discriminación algorítmica. Revista chilena de derecho y tecnología, 12. https://doi. org/10.5354/0719-2584.2023.70131 Challenging systematic prejudices: An investigation into bias against women and girls in large language models—UNESCO Biblioteca Digital. (s. f.). Recuperado 28 de septiembre de 2024, de https:// unesdoc.unesco.org/ark:/48223/pf0000388971 Informe de rendición de cuentas de Generación Igualdad 2022. (2023, septiembre 17). ONU Mujeres. https://www.unwomen.org/es/digital-library/ publications/2022/09/generation-equality-accountability-report-2022 Inteligencia artificial y equidad de género: Un espejo de nuestras sociedades. (2023, noviembre 29). Sostenibilidad. https://blogs.iadb.org/sostenibilidad/ es/inteligencia-artificial-y-equidad-de-genero-un-espejo-de-nuestras-sociedades/ La IA generativa y los empleos en América Latina y el Caribe: ¿La brecha digital es un amortiguador o un cuello de botella? | International Labour Organization. (2024, julio 19). https://www.ilo.org/es/publications/la-ia-generativa-y-los-empleos-en-america-latina-y-el-caribe-la-brecha Library (Indira), I. L. O. (s. f.). ILO Research Guides: Igualdad de género: Normas Internacionales del Trabajo. Recuperado 16 de septiembre de 2024, de https://libguides.ilo.org/gender-equality-es/standards Manus, A. C. M., & Parga, R. P. (2024). Discriminación algorítmica en los procesos automatizados de reclutamiento y selección de personal. Revista Chilena de Derecho y Tecnología, 13. https://doi. org/10.5354/0719-2584.2024.71312 Mirada.pdf. (s. f.). Recuperado 28 de septiembre de 2024, de https://www.afese.com/img/revistas/revista68/mirada.pdf Nations, U. (s. f.). Discursos—Cumbre del Futuro | Naciones Unidas. United Nations; United Nations. Recuperado 29 de septiembre de 2024, de https:// www.un.org/es/summit-of-the-future/statements Perfil Nacional sobre Igualdad de Género ECUADOR.pdf. (s. f.). Recuperado 22 de septiembre de 2024, de https://ecuador.unwomen.org/sites/default/ files/2023-03/Perfil%20Nacional%20sobre%20Igualdad%20de%20G%C3%A9nero%20ECUADOR.pdf Ruiz, V. V., & Olvera, A. L. (2023). Capítulo 6. Resistencia algorítmica y discursos contra la violencia feminicida en las redes sociales. Estudios de género, narrativas digitales y visualidades analíticas. Espejo de Monografías de Comunicación Social, 16, Article 16. https://doi.org/10.52495/c6.emcs.16.cyg1 Vallejo, P. R. (2022). Sesgos de género en el uso de inteligencia artificial para la gestión de las relaciones laborales: Análisis desde el derecho antidiscriminatorio. e-Revista Internacional de la Protección Social, 7(1), Article 1. https://doi.org/10.12795/e-RIPS.2022.i01.04

↓ Descargar el ensayo completo en PDF