Aún no sabemos por qué la IA confunde a un perro con un gato: así es la 'caja negra'

2026-02-18 - 06:23

En la programación tradicional, lo más habitual es que se construyan reglas para comprender por qué ocurre una cosa u otra, y así poder interpretar los resultados y las causas. En la inteligencia artificial moderna, mayormente en el ámbito del aprendizaje profundo, se rompe totalmente con esta dinámica clásica, lo que provoca que exista la denominada "caja negra". Uno de los principales estudios fundacionales de este concepto es el titulado ¿Podemos abrir la caja negra de la IA?, publicado en Nature en 2016, en el que su autor reflexiona sobre la opacidad de los algoritmos. En él, el autor llegó a la conclusión de que ni siquiera los creadores de algoritmos de aprendizaje profundo son capaces de saber por qué un input –cualquier entrada en una IA– toma la forma de un resultado, y no de otro. En términos humanos, esto sería algo parecido al razonamiento: aunque una persona da una respuesta, en condiciones normales, no se aprecia el funcionamiento del cerebro humano para llegar hasta ella. A pesar de que ni siquiera los creadores pueden saber en muchos casos qué se esconde detrás de la IA, en esa caja negra, cada vez más usuarios y compañías la usan para su día a día. El gran peligro de la caja negra de la IA El gran problema de la IA actual, es que su caja negra incluye billones de parámetros de aprendizaje, es decir, que modelos como los más avanzados de GPT, por ejemplo, se "educan" mediante datos que ningún cerebro humano es capaz de acumular. Imagina esto como la receta de un chef en la que, en lugar de decenas de ingredientes, usa miles de ellos, pero el resultado final es sobresaliente; el chef logrará vender más platos, aunque no siempre saldrá igual y, por supuesto, el resultado puede ser ligeramente diferente. Las compañías hacen lo mismo con la IA moderna, ya que no comprenden exactamente por qué se llega a una respuesta concreta, pero si la respuesta sirve, esa es la clave. En este contexto, entran en juego los sesgos que se puedan producir al dar la respuesta, como ocurre en algunos chatbots que simplemente buscan agradar al usuario, en lugar de buscar una respuesta acertada y contrastada. Sesgos que, por cierto, se agravan aún más en esos casos en los que se utiliza la IA para aceptar candidatos en ofertas de empleo o, peor aún, con fines de vigilancia y control policial. En el último caso, los sistemas de policía predictiva parece que son el futuro –y presente en algunos proyectos piloto–, aunque tendrían que considerar muy bien cómo esquivan esa caja negra, para no afectar los derechos de los ciudadanos. Si se entrena un modelo, por ejemplo, con una base de datos en la que todos los sujetos sean personas racializadas que han cometido hurtos, la propia IA pensará que todas las personas racializadas son ladronas. Así lo han expresado figuras relevantes en el campo de estudio de las formas contemporáneas de racismo, xenofobia y discriminación racial de la ONU, como Ashwini K.P., quien explica esto con las predicciones policiales. "Las actuaciones policiales basadas en modelos predictivos pueden agravar la exagerada vigilancia policial a la que se ha sometido históricamente a ciertas comunidades atendiendo a sus características raciales y étnicas", destacó la relatora. En definitiva, a la caja negra de la IA habría que sumar las actuaciones históricas centradas en el racismo, en la mirada fija en vecindarios con comunidades de migrantes y colectivos más desfavorecidos. "Este hecho repercute a su vez sobre dónde predicen los algoritmos que ocurrirán futuros delitos, lo que conduce a a un aumento del despliegue policial en estas zonas en cuestión", añade.