En este enlace hay un artículo de Benjamin Cheatham, Kia Javanmardian y Hamid Samandari para McKinsey sobre la inteligencia artificial, sobre sacar más partido que perjuicio de aplicarla, con los riesgos que conlleva.
Cómo enfrentarse a los riesgos de la inteligencia artificial
Por Benjamin Cheatham, Kia Javanmardian y Hamid Samandari
Un gran poder implica una gran responsabilidad. Las organizaciones pueden mitigar los riesgos de aplicar la inteligencia artificial y la analítica avanzada haciendo suyos tres principios.
Recurso descargable (Artículo en PDF – 670KB)
La inteligencia artificial (AI, por sus siglas en inglés) está demostrando ser una espada de doble filo. Mientras que esto puede decirse de la mayoría de las nuevas tecnologías, los dos filos de la AI son mucho más afilados, y ninguno de los dos se ha entendido bien.
Hablemos en primer lugar de lo positivo. Estas tecnologías están empezando a mejorar nuestras vidas de mil maneras, desde simplificar nuestras compras hasta realzar nuestras experiencias de cuidado de la salud. Su valor para el negocio también se ha hecho innegable: casi el 80 por ciento de los ejecutivos de las empresas que están desplegando la AI recientemente nos han dicho que ya están viendo un valor moderado en ello. Aunque el uso extendido de la AI en los negocios está todavía en su infancia y quedan pendientes preguntas sobre el ritmo del progreso, así como la posibilidad de alcanzar el santo grial de la «inteligencia general», el potencial es enorme. La investigación de McKinsey Global Institute sugiere que en 2030, la AI podría arrojar un resultado económico adicional global de 13 millardos de dólares al año.
Sin embargo, aunque la AI genera beneficios para los consumidores y valor de negocio, también está haciendo aflorar un conjunto de consecuencias no deseadas, incluso graves. Y aunque en este artículo nos estamos centrando en la AI, estos impactos (y las formas de prevenirlos o mitigarlos) se aplican por igual a toda la analítica avanzada. Los más visibles, que incluyen violaciones de la privacidad, discriminación, accidentes y manipulación de sistemas políticos son más que suficientes para requerir precaución. Aún más preocupantes son las consecuencias que todavía no se han conocido o experimentado. Cabe la posibilidad de repercusiones desastrosas -incluyendo la pérdida de vidas humanos, si un algoritmo médico de AI falla, o riesgos sobre la seguridad nacional, si un adversario introduce desinformación a un sistema de AI militar- al igual que de desafíos significativos para las organizaciones, como el daño a la reputación de la compañía, pérdidas de ingresos o reacciones normativas nefastas, investigaciones criminales y una reducción de la confianza del público.
Como la AI es una fuerza relativamente nueva en los negocios, pocos líderes han tenido la oportunidad de afinar su intuición sobre el alcance completo de los riesgos societarios, organizativos e individuales, o de desarrollar un conocimiento práctico de las palancas que lleva asociadas, que van desde los datos que se le suministran a los sistemas AI hasta la operación de modelos algorítmicos y las interacciones entre los humanos y las máquinas. A consecuencia de esto, los ejecutivos suelen pasar por alto los peligros potenciales («No estamos utilizando la AI en nada que podría ‘reventar’, como coches autónomos») o sobrevalorar la capacidad de mitigar riesgos de una organización («Hemos estado haciendo analítica mucho tiempo, así que ya tenemos los controles correctos deseplegados, y nuestras prácticas están alineadas con las del resto del sector»). También es frecuente entre los líderes agrupar indiscriminadamente los riesgos de la AI con otros que son competencia de especialistas de TI y analítica («Confío en mi equipo técnico: están haciendo to lo posible para proteger a nuestros clientes y nuestra empresa»).
Los líderes que aspiran a evitar, o al menos mitigar, las consecuencias indeseadas deben tanto construir sus habilidades de reconocimiento de patrones con respecto a los riesgos de la AI como comprometer a toda la organización para que esté lista para acoger el poder y la responsabilidad asociados con la AI. El nivel de esfuerzo necesario para identificar y controlar todos los riesgos clave excede las normas previamente existentes en la mayoría de las organizaciones. Hacer progresos significativos exige un planteamiento multidisciplinar que involucre a los líderes del comité de dirección y todos los ámbitos de la empresa; a expertos en áreas que van desde jurídico y riesgos hasta TI, seguridad y analítica, y gerentes que puedan asegurar que se mantiene la vigilancia en todos los frentes.
Este artículo intenta ayudar ilustrando, en primer lugar, un conjunto de peligros que es fácil pasar por alto. A continuación presenta esquemas de trabajo que ayudarán a los líderes a identificar sus mayores riesgos y a implementar la amplitud y profundidad de controles matizados que hacen falta para evitarlos. Por último, proporciona un primer vistazo a algunos esfuerzos del mundo real que están actualmente en marcha para abordar los riesgos de la AI por medio de la aplicación de estos planteamientos.
Antes de continuar, queremos subrayar que nuestro enfoque aquí está centrado en las consecuencias de primer orden que surgen directamente del desarrollo de soluciones de IA, de su mal uso (inadvertido o intencionado), o del manejo incorrecto de las entradas de datos que las impulsan. Hay otras consecuencias importantes, entre las cuales está el muy comentado potencial de amplias pérdidas de puestos de trabajo en algunos sectores debido a la automatización del puesto de trabajo guiada por la IA. También hay efectos de segundo orden, como la atrofia de las capacidades (por ejemplo, las habilidades de diagnóstico de los profesionales médicos) a medida que crezca la importancia de los sistemas de IA. Estas consecuencias seguirán recibiendo atención a medida que crezca su importancia percibida, pero están fuera del alcance de este artículo.
Comprender los riesgos y sus palancas
Cuando algo va mal con la IA, y la causa raíz del problema sale a la luz, suele haber muchas sacudidas de cabeza. A toro pasado parece inimaginable que nadie lo viese venir. Pero si encuestas a ejecutivos bien posicionados sobre el próximo riesgo de la IA que es probable que aparezca, es muy poco probable que obtengas algún tipo de consenso.
Los líderes que tienen la esperanza de cambiar su postura desde la retrospectiva hacia la prospectiva tendrán que entender mejor los tipos de riesgos que están asumiendo, sus interdependencias y sus causas subyacentes. Para ayudar a constuir esa intuición que falta, describimos más abajo cinco puntos de dolor que pueden dar entrada a riesgos de la IA. Los tres primeros -dificultades de datos, problemas tecnológicos y fallos de seguridad- están relacionados con lo que podrían llamarse habilitadores de la IA. Los dos últimos están enlazados con los algoritmos y las interacciones humano-máquina que son centrales al funcionamiento de la propia IA. Claramente, estamos todavía en los primeros días de la comprensión de qué hay detrás de los riesgos que estamos asumiendo, cuya naturaleza y alcance también hemos catalogado en el Diagrama 1.
Diagrama 1
Dificultades de datos. Ingerir, clasificar, enlazar y utilizar apropiadamente los datos se ha vuelto cada vez más difícil a medida que la cantidad de datos no estructurados que se ingieren desde orígenes como la web, las redes sociales, los dispositivos móviles, los sensores y el Internet de las cosas ha aumentado. Como consecuencia, es fácil ser presa de tropiezos como usar o revelar de forma inadvertida información sensible oculta entre datos anonimizados. Por ejemplo, mientras el nombre de un paciente puede estar censurado en un registro medico que utilizar un sistema de IA, podría estar presente en la sección de notas del doctor de dicho registro. Es importante que los líderes sean conscientes de estas consideraciones cuando trabajan para cumplir las reglas de privacidad, como la regulación general de protección de datos de la Unión Europea (GDPR por sus siglas en inglés) o la ley de intimidad de los consumidores de California (CCPA), y de otro modo gestionar el riesgo para su reputación.
Problemas tecnológicos. Los problemas de tecnología y procesamiento en todo el panorama operativo pueden impactar negativamente sobre el rendimiento de los sistemas de IA. Por ejemplo, una gran institución financiera tuvo graves problemas después de que su sistema de cumplimiento normativo fallase al identificar problemas de transacciones porque los historiales de datos dejaron de incluir todas las transacciones de los clientes.
Enganches de seguridad. Otro problema emergente es el potencial de que los defraudadores saquen partido de datos aparentemente poco sensibles de marketing, salud y financieros que las empresas recopilan como combustible de sus sistemas de IA. Si las precauciones de seguridad son insuficientes, es posible tejer esos hilos para crear falsas identidades. Aunque las empresas objetivo (que desde los demás puntos de vista pueden ser altamente efectivas en la salvaguarda de la información personal identificable) sean cómplices sin saberlo, podrían sufrir el rechazo de los consumidores y repercusiones normativas.
Mal comportamiento de los modelos. Los modelos de IA en sí mismos pueden crear problemas cuando ofrecen resultados sesgados (lo que puede ocurrir, por ejemplo, si un sector de la población está poco representado en los datos utilizados para entrenar al modelo), se vuelven inestables o arrojan conclusiones para las que no hay posibilidad de réplica por los afectados por sus decisiones (como alguien a quien se le deniega un préstamo sin que sepan lo que podrían hacer para revertir la decisión). Pensemos, por ejemplo, en el potencial de que los modelos de IA discriminen de forma involuntaria contra clases en riesgo de exclusión y otros grupos al cruzar el código postal y los datos de ingresos para crear ofertas segmentadas. Son más difíciles de detectar los casos en que los modelos se cuelan como ofertas de software como un servicio (SaaS). Cuando los proveedores las presentan, las características inteligentes -a menudo con poco bombo y platillo- también están introduciendo modelos que podrían interactuar con datos en el sistema del usuario y crear riesgos inesperados, incluidos los que saquen a la luz vulnerabilidades ocultas que los hackers podrían explotar. La implicación es que los líderes que crean que están fuera de peligro si no han adquirido sistemas de IA previamente construidos o que sólo están experimentando con su desarrollo, podrían estar en un error.
Problemas de interacción. La interfaz entre las personas y las máquinas es otra zona de riesgo clave. Entre los más visibles están los retos del transporte, la fabricación y los sistemas de infraestructuras automatizados. Los accidentes y las lesiones son posibilidades si los operadores de maquinaria pesada, vehículos u otra maquinaria no reconocen cuándo los pilotos automáticos de los sistemas deberían desactivarse o tardan mucho en desactivarse porque la atención del operador están en otra parte -una posibilidad nítida en aplicaciones como las de los coches autónomos. Y al contrario, el juicio humano puede resultar erróneo al desestimar los resultados del sistema. Entre bambalinas, en la organización de la analítica de datos, errores de programación, lapsus en la gestión de datos y errores de apreciación en los datos de entrenamiento de los modelos pueden comprometer fácilmente la equidad, intimidad, seguridad y cumplimiento regulatorio. El personal de primera línea puede además contribuir involuntariamente, como cuando una fuerza de ventas más proclive a vender a ciertos segmentos de la población entrena de forma inadvertida una herramienta de ventas conducida por la IA a excluir a ciertos segmentos de la clientela. Y estas son sólo las consecuencias involuntarias. Sin salvaguardas rigurosas, empleados despechados o enemigos externos pueden llegar a corromper los algoritmos o usar una aplicación de IA de forma perniciosa.
Gestión de riesgos de la IA: Tres principios básicos
Además de proporcionar pistas sobre los desafíos que se avecinan, los ejemplos y la categorización mostrados arriba son útiles para identificar y priorizar los riesgos y sus causas raíz. Si comprender dónde los riesgos pueden estar latentes, mal comprendidos o simplemente no identificados, tienes más posibilidades de atraparlos antes de que ellos te atrapen a ti.
Pero necesitarás un esfuerzo concentrado, a escala empresarial, para avanzar desde catalogar riesgos hasta erradicarlos. Las experiencias de dos bancos líderes ayudan a ilustrar la claridad, amplitud y rigor matizado que se requieren. El primero, un actor Europeo, ha estado trabajando para aplicar capacidades de analítica avanzada e IA para optimizar su centro de atención telefónica, la toma de decisiones acerca de las hipotecas, la gestión de relaciones y las iniciativas de gestión de tesorería. El segundo es un lider global, que busca aplicar un modelo de aprendizaje automático a sus decisiones de crédito a los clientes.
Estos bancos, como muchos otros en el sector de los servicios financieros, han estado aplicando alguna forma de analítica avanzada durante cierto número de años, desde su uso temprano en la detección de fraude con tarjeta de crédito y comercio de acciones. También están sujetos a un alto grado de supervisión regulatoria y por ello han estado aplicando y haciendo transparente un amplio rango de protocolos y controles para mitigar los riesgos relacionados -incluyendo el de ciberseguridad, donde están frecuentemente en primera línea de fuego dado el obvio atractivo de sus activos para los atacantes.
Sin embargo, estas historias de bancos sólo ilustran un subconjunto de los controles específicos contra riesgos que las organizaciones deberían estar considerando. El Diagrama 2 presenta una lista más completa de posibles controles, cubriendo todo el proceso de analítica, desde la planificación al desarrollo, el uso subsiguiente y la monitorización. Nuestra esperanza es que tomada en su conjunto, la herramienta y los ejemplos ayudarán a los líderes que deben afrontar un amplio rango de problemas -evitar el sesgo en motores de recomendación, eliminar el riesgo de identidades personales, adaptar mejor las respuestas de los bots de atención al cliente a las necesidades de clientes concretos, y muchos más.
Diagrama 2
Claridad: Usa un planteamiento estructurado de identificación para precisar los riesgos más críticos.
El COO de un banco europeo empezó reuniendo líderes del negocio, TI, seguridad y gestión de riesgos para evaluar y asignar prioridades a sus mayores riesgos. Las entradas para este ejercicio incluían una mirada nítida a los riesgos existentes de la empresa y cómo podrían exacerbarse por los esfuerzos de analítica guiada por IA considerados, y a los nuevos riesgos que los facilitadores de la IA, o la propia IA, podrían crear. Algunos eran evidentes, pero otros lo eran menos. Uno que se acercó a la cima de la lista de forma inesperada fue la entrega de recomendaciones pobres o sesgadas de productos a los consumidores. Tales recomendaciones defectuosas podrían desembocar en un aumento significativo de los daños y perjuicios, incluyendo la pérdida de clientes, devaluación de la reputación y multas por incumplimientos.
Lo que los líderes del banco lograron con este proceso estructurado de identificación de riesgos fue una gran claridad sobre los escenarios más preocupantes, lo que les permitió asignar prioridades a los riesgos identificados, reconocer los controles que faltaban y a asignar tiempo y recursos en consecuencia. Esos escenarios y riesgos priotarios variarán en cada sector, como es natural, y en cada empresa. Un manufacturero alimentario podría dar prioridad a los escenarios de productos contaminados. Un desarrollador de software podría estar especialmente preocupado por la revelación del código fuente del software. Una organización de cuidados sanitarios podría centrarse en problemas como errores de diagnóstico de los pacientes o causar daños de forma inadvertida a los pacientes. Poner a un equipo transversal gerentes a identificar y desmenuzar escenarios problemáticos es un buen modo de estimular la energía creativa y de reducir el riesgo de que personal muy especializado o estrecho de miras pasen por alto vulnerabilidades relevantes. Las organizaciones no tienen porqué empezar de cero con este esfuerzo: En los últimos pocos años, la identificación de riesgos se han convertido en una disciplina bien desarrollado, y puede desplegarse de forma directa en el contexto de la IA.
Transversalidad: Establecer controles robustos a lo largo y ancho de la empresa
Afilar tu pensamiento sobre riesgos que podrían detener el espectáculo es sólo un comienzo. También es crucial la aplicación de controles que abarquen toda la empresa para guiar el desarrollo y el uso de sistemas de IA, asegurar una supervisión correcta, y establecer políticas, procedimientos, formación del personal y planes de contingencia robustos. Sin esfuerzos con una amplia base, aumentan las probabilidades de que los factores de riesgo como los descritos previamente se abran paso por las brechas.
Preocupados por el riesgo potencial procedente de recomendaciones erróneas o sesgadas, el banco europeo comenzó a adoptar un conjunto robusto de principios de negocio orientados a detallar cómo y dónde las máquinas pueden utilizarse para tomar decisiones que afectan a la salud financiera de un cliente. Los gestores identificaros situaciones donde un ser humano (por ejemplo, un gestor comercial o un responsable de préstamos) necesitan estar «en el bucle» antes de que se entregue una recomendación al cliente. Estos trabajadores proporcionarían una red de seguridad para identificar si un cliente tiene circunstancias especiales, como el fallecimiento de un miembro de la familia o dificultades financieras, que harían que una recomendación fuese inoportuna o inapropiada.
El comité de supervisión del banco también realizó un análisis de brechas, identificando las áreas en que el marco de trabajo de gestión de riesgos del banco necesitaban una profundización, una redefinición o una extensión. Una gobernanza exhaustiva y consistente en el banco asegura actualmente la definición adecuada de las políticas y procedimientos, controles específicos para los modelos de IA, principios fundamentales (apoyados en herramientas) para guiar el desarrollo de modelos, una segregación de cometidos, y una supervisión adecuada. Por ejemplo, las herramientas de desarrollo de modelos aseguran que los científicos de datos registran de forma consistente el código de los modelos, los datos de entrenamiento y los parámetros seleccionados a lo largo del ciclo de vida del desarrollo. También se adoptaron librerías estándar para facilitar la explicabilidad, informar del desempeño de los modelos y monitorizar los datos y modelos en productivo. Este marco de gobierno está demostrando un valor incalculable tanto para los esfuerzos internos de desarrollo de IA como para evaluar y monitorizar herramientas de IA de terceros como un modelo SaaS que el banco había contratado.
Además, las políticas del banco requieren ahora que todos los grupos de interés, incluyendo a los ejecutivos de negocios patrocinadores, que desarrollen una planificación de escenarios y un plan de restablecimiento para el caso en que un modelo de IA vaya a la deriva, que los datos de entrada tengan un salto inesperado, o que ocurran cambios repentinos como un desastre natural en el entorno exterior. Estos planes de restablecimiento se incluyen en el proceso regular de revisión de riesgos, dando al comité de riesgos visibilidad sobre los pasos que se están tomando para mitigar los riesgos guiados por la analítica o relacionados con la IA.
La formación y concienciación del personal son también actuaciones destacadas en el plan de mitigación de riesgos del banco. Todos los empleados afectados reciben comunicaciones detalladas sobre dónde se está usando la IA; qué pasos está dando el banco para asegurar decisiones justas y precisas y para proteger los datos de los clientes; y cómo el modelo de gobierno del banco, la tecnología automatizada y las herramientas de desarrollo funcionan de forma coordinada. Además, los patrocinadores de negocio, los equipos de riesgos y el personal de analítica reciben una formación específica acerca de su rol en identificar y minimizar riesgos. Por ejemplo, los patrocinadores de negocio están aprendiendo a pedir explicaciones sobre el comportamiento d elos modelos, los cuales están usando para realimentar el proceso acerca de las suposiciones de negocio que hay detrás del modelo. Mientras tanto, el equipo de riesgos se ha entrenado sobre cómo identificar y mitigar mejor los problemas legales y de cumplimiento normativo, como la posible discriminación contra grupos protegidos o el cumplimiento de la GDPR.
La monitorización de la analítica guiada por IA es un esfuerzo continuado, más que una actividad que se ejecute y se pueda dar por concluida.. Como tal, los grupos de supervisión del banco, incluidos los comités de riesgos de la directiva, revisan con regularidad el programa para estar al corriente de nuevos riesgos que puedan haber emergido como consecuencia de cambios regulatorios, rupturas en el sector, interpretaciones legales (como el ejemplo de la emergente ley GDPR), evolución en las expectativas de los clientes y la los rápidos cambios tecnológicos.
Matiz: Refuerza los controles específicos dependiendo de la naturaleza del riesgos.
Por importantes que sean los controles transversales en la empresa, rara vez serán suficientes para contrarrestar cada posible riesgos. Otro nivel de rigor y matiz suele ser necesario, y los controles requeridos dependerán de factores como la complejidad de los algoritmos, sus requisitos de datos, la naturaleza de la interacción humano-máquina (o máquina-máquina), el potencial de explotación por agentes malintencionados y el grado de implantación de la IA en un proceso de negocio. Los controles conceptuales, comenzando por un diagrama de casos de uso, pueden ser necesarios en ocasiones. También lo serán los controles específicos de datos y analítica, incluidos los requisitos de transparencia, así como los controles para la realimentación y monitorización, como los análisis de rendimiento para detectar su deterioro o su sesgo.
Nuestro seegundo ejemplo arroja una valiosa luz sobre los controles matizados. Esta institución quería visualizar cómo exactamente un modelo de aprendizaje automático estaba tomando decisiones para un proceso concreto orientado al cliente. Después de sopesar cuidadosamente los requisitos de transparencia, la institución decidió mitigar el riesgo limitando los tipos de algoritmos de aprendizaje automático que utilizaba. Deshabilitar ciertas formas del modelo que eran excesivamente complejas y opacas permitió a la institución alcanzar un cómodo equilibrio. Se había perdido algo de potencia predictiva, lo que conllevaba costes económicos. Pero la transparencia de los modelos que se utilizaron dio a la plantilla más confianza en las decisiones que tomaban. Los modelos más sencillos también hacen que sea más sencillo comprobar que tanto los datos como los modelos no presenten sesgos que podrían surgir a partir del comportamiento de los usuarios o cambios en las variables de datos o sus ponderaciones.
Como sugiere este ejemplo, las organizaciones necesitarán una mezcla de controles específicos de cada riesgo y les conviene implementarlos creando protocolos que seguran que estén desplegados y supervisados a lo largo de todo el proceso de desarrollo de IA. Las instituciones de nuestros ejemplos implantaron esos protocolos, así como protocolos transversales a toda la organización, al menos en parte, a través de su infraestructura de riesgos existente. Las empresas que carecen de una organización centralizada de riesgos aún pueden poner en funcionamiento estas técnicas de gestión del riesgo de la IA utilizando procesos robustos de gestión de riesgos.
Aún queda muco que aprender sobre los riesgos potenciales que las organizaciones, individuos y la sociedad afrontan en lo que se refiere a la IA; sobre el equilibrio adecuado entre la innovación y el riesgo y sobre el despliegue de mecanismos de control para gestionar lo inimaginable. Hasta el momento, la reacción de la opinión pública y la normativa han sido relativamente moderadas.
Pero es probable que esto cambie si hay más organizaciones que tropiecen. A medida que crezcan los costes de los riesgos asociados a la IA, la capacidad de tanto evaluar esos riesgos como de comprometer a los trabajadores de todos los niveles en definir e implantar controles se convertirán en una nueva fuente de ventaja competitiva. En el horizonte, para muchas organizaciones, está una re-conceptualización de la «experiencia del cliente» para atender tanto la promesa como las trampas de los resultados de la IA. Otro imperativo es del de comprometerse en un debate serio sobre la ética de aplicar la IA y dónde trazar líneas que limiten su uso. La acción colectiva, que podría involucrar un debate a nivel sectorial sobre la autorregulación y el compromiso con los legisladores tiene también visos de ganar importancia. Las organizaciones que cultiven esas capacidades estarán mejor posicionadas para prestar servicios con efectividad a sus clientes y a la sociedad, para evitar problemas éticos, de negocio, de reputación y regulatorios, y para prevenir una potencial crisis existencial que podría poner de rodillas a la organización.
Sobre los autores
Benjamin Cheatham es un socio senior de la oficina de McKinsey en Philadelphia y dirige QuantumBlack, una empresa McKinsey, en Norteamérica. Kia Javanmardian es socio senior en la oficina de Washington, DC y Hamid Samandari es un socio senior partner en la oficina de Nueva York.
Los autores quieren agradecer a Roger Burkhardt, Liz Grennan, Nicolaus Henke, Pankaj Kumar, Marie-Claude Nadeau, Derek Waldron y Olivia White sus contribuciones a este artículo.
Blog de Simón Pulido 