Artículos
3 de diciembre de 2025
Daños algorítmicos ¿Cuándo la Inteligencia Artificial daña a las personas?
Reseña del libro Algorithmic Harm: Protecting People in the Age of Artificial Intelligence Bar-Gill & Sunstein (2025), Oxford University Press — 200 páginas.
Imagine que en la factura mensual de energía de la familia Gómez la empresa incluye un informe que compara su consumo eléctrico con el de hogares similares y le sugiere acciones “a la medida de la familia Gómez”, por ejemplo, subir la temperatura del aire acondicionado durante la noche, cambiar el horario en que la familia Gómez usa la lavadora o recomendarle cambiar el viejo e ineficiente refrigerador que ha sido detectado por la empresa a partir del perfil de uso de la familia Gómez. Hoy, la tecnología permite hacer estos informes personalizados: los algoritmos pueden analizar el historial, los patrones y horarios de consumo, y una inteligencia artificial puede hacer recomendaciones a la medida de cada consumidor. ¿el resultado? Una reducción en los precios de las facturas que paga cada usuario y un menor consumo de energía. En efecto, programas de este tipo, por ejemplo, Home Energy Reports de Opower han mostrado reducciones del consumo permanentes en torno a 2–3% por cada usuario, y unos 41 TWh de energía ahorrada; algo así como tres veces el consumo anual de energía eléctrica de Bogotá.
Opower es un ejemplo de personalización algorítmica, esto es, usar los algoritmos y la inteligencia artificial para diseñar y personalizar intervenciones para cada usuario; en concreto, se trata de usar estas tecnologías para diseñar soluciones a problemas a la medida de cada persona: para informar mejor, para que las personas estén más atentas, y en definitiva, para orientar a cada uno a mejores decisiones. Pero la personalización algorítmica también se está utilizando para lo contrario, es decir, para perjudicar a las personas. Los peligros y el daño que los algoritmos pueden causar a las personas es el tema central del reciente libro de Oren Bar-Gill y Cass R. Sunstein, Algorithmic Harm: Protecting People in the Age of Artificial Intelligence (2025),
En efecto, en Algorithmic Harm, los autores ofrecen un marco para entender cuándo la personalización algorítmica pasa de crear más valor y a extraerlo. La pregunta de fondo no es si los algoritmos y la inteligencia artificial pueden solucionar problemas y mejorar el bienestar de las personas; los autores reconocen beneficios claros (por ejemplo, enviar mensajes personalizados por Whatsapp a un contribuyente para recordarle que está cerca la fecha límite para pagar impuestos), la verdadera pregunta de fondo es ¿en qué condiciones la misma tecnología profundiza asimetrías, explota sesgos cognitivos y extrae excedentes al consumidor?
La colaboración entre Bar-Gill y Sunstein para escribir el libro Algorithmic Harm, no es una casualidad sino más bien la predecible unión de las ya muy maduras líneas de investigación en que cada autor a trabajado desde hace muchos años. Así, en Seduction by Contract (2012) Bar-Gill, mostró cómo los contratos de consumo (tarjetas de crédito, hipotecas, telefonía celular, etc.) suelen estar diseñados premeditadamente por las empresas para explotar sesgos cognitivos de los usuarios y conducirlos a decisiones desfavorables. Los algoritmos y la IA lo que hacen es automatizar la explotación de sesgos cognitivos y elevar la escala de las decisiones desfavorables. Por su parte, Cass Sunstein en su ya extensa obra que incluye, Nudge (2008), Choosing Not to Choose (2015), Too Much Information (2020), Sludge (2021) y Manipulation (2025) propone y defiende que el gobierno puede diseñar o modificar el entorno, la “arquitectura de elección” (v. gr. los defaults u opciones predeterminadas) para mitigar los problemas derivados de los sesgos cognitivos, y guiar –dar los conocidos nudges– a las personas para que tomen mejores decisiones para si mismas. Como en el caso de Opower, los algoritmos y la IA, permiten automatizar y diseñar mejores nudges, a la medida de cada persona.
En síntesis, al reconocerse y ratificar la persistencia de sesgos en las decisiones de las personas, ello puede conducir indistintamente a propuestas sobre cómo (re)diseñar la “arquitectura de elección” para mejorar el bienestar de las personas, pero también a propuestas de (re)diseños de la misma arquitectura que perjudiquen a esas mismas personas. Los algoritmos y el creciente uso de la IA lo que permite es aumentar el grado en que dicha arquitectura se ajusta “a la medida” de cada individuo, es decir, un mayor grado de personalización, y multiplicar los ámbitos en los cuales dicha personalización de la “arquitectura de elección” ocurre. Es decir, la tecnología permite profundizar y diseñar mejores nudges, pero al tiempo, aumenta el peligro de que las personas resulten perjudicadas, es decir, un mayor riesgo de que ocurran daños algorítmicos.
Una breve taxonomía de los daños algorítmicos
Al hablar de “personalización” esta también puede traducirse como “discriminación”, pero, lejos de considerarse como algo necesariamente negativo, esta ha sido una práctica común en los mercados desde hace bastante tiempo. En concreto, en muchos mercados las empresas aplican estrategias de “discriminación de precios” mediante las cuales, cobran precios diferentes por un mismo producto a diferentes consumidores; dicho de otra manera, las empresas tratan de cobrar diferentes precios, cada uno “a la medida” de cada consumidor. Por ejemplo, los tiquetes de cine para las funciones de matiné suelen ser mucho más baratos que los tiquetes de las funciones en las noches o en los fines de semana, ello, porque los consumidores que acuden a cada tipo de función de cine tienen un perfil distinto.
Ahora, el uso de algoritmos agrega dos nuevas capas a esta discriminación que potencialmente podría generar daños: (1) por un lado, a través de la discriminación algorítmica de precios, es posible acercarse con más precisión a lo máximo que cada consumidor está dispuesto a pagar por cada producto del mercado, es decir, la tecnología permite reducir al mínimo el excedente que cada consumidor obtiene de adquirir cualquier producto. (2) adicionalmente, los algoritmos permiten no solo discriminar precios sino el producto en si mismo. A través del targeting o perfilamiento algorítmico, es posible que la IA decida qué productos se ofertan, se le muestran o se le ocultan a cada consumidor. Por supuesto, para obtener más beneficios tanto de la discriminación de precios como del perfilamiento algorítmico, la mejor estrategia para las empresas es aprovecharse de los errores previsibles o sesgos cognitivos (heurística de anclaje, sesgo optimista, de confirmación, etc.) de cada consumidor.
Por otro lado, en Algorithmic Harm los autores destacan dos capas más de posibles daños: (1) por un lado, señalan los daños derivados de prácticas de coordinación algorítmica entre competidores, es decir, prácticas anticompetitivas de fijación de precios supra-competitivos sin que haya un acuerdo explícito entre empresas, y por otro lado, (2) señalan los daños por discriminación diferencial algorítmica, es decir, que para hacer un perfilamiento más preciso e incrementar sus beneficios, las empresas puedan utilizar señales o proxies correlacionados para deducir de ahí características individuales críticas y establecer diferencias de tratamiento según el género, la raza, las creencias religiosas o las tendencias sexuales de cada consumidor.
La matriz (S)/(U) y sus implicaciones en los mercados financieros.
Un elemento conceptual importante que atraviesa el libro Algorithmic Harm es la matriz (S)/(U). Un concepto que ya había sido desarrollado por Bar-Gill en Seduction by Contract (2012). Esta matriz se refiere a que en los mercados suelen coexistir una escala (o continuun) entre consumidores muy sofisticados (S por Sophisticated) y consumidores poco sofisticados (U por Unsophisticated). La tesis elemental de fondo es que la discriminación algorítmica resulta beneficiosa en el caso de S y perjudicial en el caso de U, esto último especialmente en productos mas o menos complejos (v gr, productos financieros y seguros) en los que los consumidores poco sofisticados (U) tienen mayores probabilidades de equivocarse, y por tanto, respecto de los cuales, el daño algorítmico es potencialmente mayor.
Respecto de los mercados de productos financieros, en un mundo S, la personalización algorítmica permitiría ofrecer productos mejor ajustados al perfil de cada cliente, pero en un mundo U como el de la mayoría de los usuarios financieros en Colombia –con baja educación financiera y altos niveles de vulnerabilidad– la misma tecnología puede servir para ofrecer sobreendeudamiento “a la medida” de cada usuario, fijar tasas y comisiones cercanas al máximo que cada persona soporta, o explotar sesgos cognitivos para que el consumidor financiero adquiera productos complejos que no entiende pero que le parecen atractivos. En estas condiciones, la personalización algorítmica deja de generar beneficios y en su lugar extrae excedente de los consumidores, desplazando entonces el centro de gravedad del debate sobre la protección del consumidor financiero hacia la explotación de sus sesgos en el mercado.
Vale agregar, el uso de la matriz (S)/(U) en Algorithmic Harm, lo que señala es que utilizar algoritmos para personalizar, discriminar o perfilar consumidores no es algo negativo en si mismo, mas bien, lo que demuestra es la necesidad de repensar cómo diseñar la regulación, en concreto, valerse de la misma tecnología algorítmica de perfilamiento para que consumidores muy sofisticados (S) y consumidores poco sofisticados (U) sean tratados por la regulación de manera distinta. Esto último, conduce a la discusión sobre la regulación o derecho personalizado. Algo que traté en un artículo recientemente publicado en la Revista de Derecho Privado de la Universidad Externado de Colombia.
Más allá del consumo y del crédito: los daños algorítmicos en los mercados laborales y los mercados políticos.
Es cierto que el uso de algoritmos e inteligencia artificial es –de hecho– ya bastante común en los mercados de bienes y servicios –y en el que el mercado de productos financieros sería un caso más– sin embargo, Bar-Gill y Sunstein extienden a analizar los riesgos y daños que esta tecnología puede causar en los mercados laborales y en los mercados políticos.
Sobre los mercados laborales, los autores insisten en la matriz (S)/(U), distinguiendo entre trabajadores sofisticados (S) y no sofisticados (U). Respecto de estos últimos, los algoritmos pueden generar “daños salariales algorítmicos” derivados de identificar y explotar percepciones erróneas sobre el valor del trabajo, los beneficios y los riesgos laborales. Por ejemplo, la IA puede diferenciar y personalizar entre potenciales trabajadores y ofrecer paquetes salariales inferiores, ocultar cláusulas o riesgos o dirigir ofertas laborales de baja calidad a quienes subestiman su valor o su exposición al peligro. El resultado –nuevamente– es identificar y explotar los sesgos de los trabajadores, como el optimismo exagerado, la atención limitada o el sesgo del presente para reducir los precios de los salarios. Los autores, además, vuelven a advertir sobre riesgos de coordinación algorítmica entre empleadores (presión a la baja sobre salarios) y de los peligros de discriminación indirecta por raza o género derivados del uso de variables proxy en modelos predictivos.
El libro Algorithmic Harm, advirtiendo sobre los daños que la diferenciación algorítmica puede causar en los mercados políticos, en donde partidos políticos y candidatos “venden” mensajes, identidades y agendas “a la medida” de cada elector. Los algoritmos pueden personalizar y microdirigir solicitudes de donación o mensajes políticos, explotando los sesgos y la desatención de votantes y donantes poco sofisticados (U). Esto incluye el uso de tácticas como formularios con casillas preactivadas de apoyo a un candidato, mensajes emocionalmente manipulativos o contenido diseñado por IA que crea o amplifica percepciones erróneas. Por supuesto, casos como el uso de la “arquitectura de la decisión” en campañas recientes o el conocido caso de Cambridge Analytica ilustran el potencial daño de estas prácticas. En este caso, el riesgo es que las decisiones políticas –los votos y aportes económicos a campañas– se produzcan no por una convicción informada, sino por explotación algorítmica de sesgos individuales, con consecuencias mediatas graves en la calidad de la democracia.
Con todo, Bar-Gill y Sunstein y su nuevo libro Algorithmic Harm nos recuerda que el mayor uso de algoritmos y de inteligencia artificial en la cotidianidad no es en sí misma buena ni mala, no hace una sociedad ni más “liberadora” ni más “opresiva”. Más bien, Algorithmic Harm, pone sobre la mesa un nuevo contexto de debate sobre problemas ya existentes. En países como Colombia, los riesgos descritos por Bar-Gill y Sunstein no son un futuro abstracto, sino un escenario que ya hoy existe y que se materializa a través de prácticas como el crédito digital microsegmentado, la publicidad política hipersegmentada y la intermediación laboral. En este orden, si no repensamos desde ahora cómo aproximarnos ¿o regular? las posibilidades que ofrece el diseño de la arquitectura de decisión, entonces, corremos el riesgo de que la personalización algorítmica, que podría ser una herramienta de mayor inclusión y bienestar, termine consolidando nuevas formas de explotación de vulnerabilidades, de desigualdad y de manipulación.
Bibliografía
Bar-Gill, O., & Sunstein, C. R. (2025). Algorithmic harm: Protecting people in the age of artificial intelligence. Oxford University Press.
Bar-Gill, O., Sunstein, C. R., & Talgam-Cohen, I. (2022). Algorithmic harm in consumer markets. Journal of Legal Analysis, 15(1), 1–47.
Bar-Gill, O. (2012). Seduction by contract: Law, economics, and psychology in consumer markets. Oxford University Press.
Investopedia. (2025 mayo 10). What is price discrimination, and how does it work [Página web] https://www.investopedia.com/terms/p/price_discrimination.asp
Monroy Cely, D. (2025). El derecho personalizado: orígenes, definición y debates actuales. Revista de Derecho Privado, (48), 119–153.
Oracle. (2025). Eficiencia energética de servicios públicos | Opower [Página web]. https://www.oracle.com/latam/utilities/opower-energy-efficiency/
Thaler, R. H., & Sunstein, C. R. ([2008] 2021). Nudge: The final edition. Penguin Books.
Sunstein, C. R. (2015). Choosing not to choose: Understanding the value of choice. Oxford University Press.
Sunstein, C. R. (2020). Too much information: Understanding what you don’t want to know. MIT Press.
Sunstein, C. R. (2021). Sludge: What stops us from getting things done and what to do about it. MIT Press.
Sunstein, C. R. (2025). Manipulation: What it is, why it’s bad, what to do about it. Cambridge University Press.
Autor: Daniel Alejandro Monroy