En 2015, Google pidió disculpas por un error de su algoritmo que confundió fotos de personas negras con gorilas; dos años después, en Arkansas, se encontró que un algoritmo utilizado para gestionar el acceso a beneficios de salud no consideraba enfermedades importantes como la parálisis cerebral o la diabetes.

En 2020, estudiantes en el Reino Unido lograron que el Gobierno dejara de usar un algoritmo que favorecía a escuelas privadas sobre las de barrios desfavorecidos en la determinación de las calificaciones.

Esos errores de la inteligencia artificial (IA) son causados por los algoritmos de caja negra.

Un algoritmo de caja negra es aquel cuyo funcionamiento es desconocido, lo que implica que no se sabe cómo ha tomado una decisión específica.

Te puede interesar: ¿En qué consiste el acuerdo para regular la inteligencia artificial?

Esa falta de transparencia puede llevar a sesgos y errores en la inteligencia artificial, especialmente en algoritmos de deep learning y machine learning, que son ampliamente utilizados en la actualidad.

La falta de comprensión de cómo operan los sistemas de inteligencia artificial generativa plantea riesgos significativos, especialmente en cuanto a la posibilidad de que la IA adquiera un poder que escape al control humano.

El principal obstáculo en el uso de la IA es el sesgo presente en las decisiones que adopta, lo que puede resultar en discriminación.

La Propuesta de Reglamento del Parlamento Europeo y del Consejo busca abordar estos sesgos en los sistemas de IA de alto riesgo, estableciendo medidas para evitar la incorporación de sesgos, garantizar la transparencia y la trazabilidad del sistema, y neutralizar posibles riesgos mediante la vigilancia humana.