Sobre Cajas Negras y la importancia de entender los algoritmos

En el mundo de la Inteligencia Artificial el concepto «caja negra» está muy extendido.

Hace referencia a aquellos algoritmos en los que no se puede explicar por qué han llegado a un resultado concreto. Cuando un coche autónomo decide hacer un giro, están influyendo muchísimos factores al mismo tiempo: la ruta del gps, el radar para detectar obstáculos alrededor del vehículo, la cámara que identifica un semáforo, etc. La decisión se realiza teniendo en cuenta todos ellos. Y es imposible saber cuál es el que ha determinado el giro.

Im-po-si-ble

En el caso del coche nos da igual, porque el objetivo es que nos lleve al sitio acordado y, a poder ser, sin ningún sobresalto. Cómo lo haga nos da igual. Mientras lo haga bien.

Pero qué ocurre si la decisión del algoritmo genera injusticias. Por ejemplo, que tu banco te niegue una hipoteca porque eres mujer o porque eres negro. O porque considera que el barrio donde vives tiene unos altos índices de impago y por tanto puede que no devuelvas el dinero. 

No tienes a quién reclamar. Porque esa injusticia quede oculta bajo una arquitectura que hace prácticamente imposible descubrirlo. La Banca y los Seguros se enfrentan a este problema a menudo. Con una regulación cada vez más estricta en cuanto al uso de algoritmos.

Hay un campo entero dedicado a la «explicabilidad». Es decir, la creación de nuevos modelos que sean capaces de replicar los resultados del algoritmo original añadiéndole esa capacidad explicativa. 

Es un tema muy complejo. En un área para el que las compañías no están preparadas. Para llegar a poder discutir sobre explicabilidad tienes que haber trabajado antes con tus datos y con modelos más sencillos.

Una regla para tener éxito en el largo plazo, es empezar por lo básico para luego hacerlo más complejo. No al revés.

Pero en el tema de la IA hay empresas que quieren ir demasiado rápido. Contar con modelos extremadamente enrevesados que luego no entienden. Y entonces te conviertes en esclavo del algoritmo. Lo necesitas para poder llevar a cabo tu actividad pero no sabes cómo funciona ni qué implicaciones tiene en tu organización. Te conviertes en dependiente de una tecnología que no comprendes.

Mientras la cosa no cambie y solo tengas que apretar el botón, todo funciona. Pero si el entorno sufre algún cambio. Lo más mínimo. El modelo deja de funcionar. Tal cual. Ayer le dabas al botón y no había problemas y hoy ya no sirve. 

Qué hacer.

Tienes dos opciones.

Una. Acudes al proveedor que te hizo el modelo para que te lo arregle y volver a la casilla de salida. Hasta que la cosa vuelva a cambiar.

Dos. Te apoyas en un «partner» que te ayude a evolucionar el modelo actual. Que te ayude, no que te lo haga. Porque solo así se genera una transferencia de conocimiento efectiva. Si tu proveedor no quiere crecer contigo. Si a lo único que aspira es a ver cuándo le vas a llamar porque la herramienta no funciona. Huye. Nunca va a ser un buen socio.

Ojo, no soy un ingenuo. En DECIDATA no trabajamos gratis. Ayudamos a otras empresas en este proceso y cobramos por ello. Apoyándoles en el desarrollo de su área de Ciencia de Datos y obligándonos a seguir evolucionando. Porque ese cliente mañana me planteará un problema más complejo que nos obligará a dar un paso más… o desaparecer. Y en DECIDATA tenemos cuerda para rato.

Es por ello, que trabajamos codo con codo con nuestros clientes. Con total transparencia. En cada proyecto dejamos un científico de datos en la empresa.

Aseguramos que alguien en el equipo del cliente entiende el modelo, puede explicarlo y es autónomo a la hora de incluir nuevos datos y mejorar el algoritmo. 

Porque la Analítica Avanzada y la Inteligencia Artificial deben de ser una prioridad en la empresa. Una herramienta clave para mejorar día a día la competitividad de la empresa. Más datos, mejores resultados.


Encantados de tener una conversación.

Iñaki Pertusa
Socio en DECIDATA