¿Quién ha decidido qué daños debemos aceptar?
Hay una expresión que me cuesta aceptar cuando hablamos de inteligencia artificial, esa idea de que tendremos que asumir que ocurran algunas cosas malas para poder disfrutar de sus beneficios. Me incomoda por todo lo que deja sin explicar y por la facilidad con la que parece colocar a la humanidad dentro de un acuerdo que, al menos yo, no recuerdo haber firmado, como si ya hubiéramos decidido colectivamente qué estamos dispuestos a perder, quién tendrá que soportarlo y hasta dónde merece la pena seguir adelante.
Sam Altman ha defendido esa posición en una entrevista reciente, en la que menciona daños como las estafas y los ataques informáticos y sostiene que los usos positivos de la IA compensarán ampliamente los negativos. Al mismo tiempo, establece un límite al rechazar los riesgos verdaderamente catastróficos, incluida una pérdida grave de control sobre esta tecnología, un matiz que conviene conservar si queremos discutir con honestidad lo que ha dicho, aunque no termine de resolver la inquietud que me provoca su planteamiento.
Lo que me preocupa es cómo podemos estar seguros de que los daños que hoy consideramos asumibles no forman parte del camino hacia aquello que hemos declarado inaceptable, especialmente si todavía no comprendemos suficientemente la evolución de estos sistemas ni las consecuencias de concederles cada vez más capacidad de actuar. Podemos aceptar ciertos riesgos porque creemos que están acotados y que sabremos intervenir si algo empeora, pero esa confianza depende de que seamos capaces de reconocer a tiempo las señales de peligro y de que, cuando aparezcan, conservemos un margen real para detenernos.
Y ahí es donde me pregunto si parte de la tranquilidad con la que hablamos de control podría ser un espejismo, porque la ausencia de problemas graves no demuestra por sí misma que sepamos evitarlos. Quizá todavía no se han dado las condiciones para que aparezcan, o quizá nuestras pruebas no permiten detectar todo lo que necesitaríamos conocer antes de seguir avanzando. En ese contexto, aceptar pequeños incidentes como un coste razonable del progreso podría llevarnos a normalizar señales cuyo significado aún no entendemos, mientras ampliamos el uso de una tecnología sobre la que seguimos teniendo preguntas fundamentales.
Las cosas malas siempre le pasan a alguien
Antes de llegar a los grandes riesgos, quisiera detenerme en esa expresión tan ligera, porque bajo las mismas palabras podemos incluir una respuesta incorrecta que corregimos en unos segundos o una estafa que deja a una familia sin sus ahorros. Hablar de ambas como cosas malas permite agruparlas con facilidad, pero también puede ocultar diferencias fundamentales en su gravedad y en las posibilidades de reparar lo ocurrido, hasta el punto de que acabemos discutiendo sobre un daño abstracto y perdamos de vista a la persona que tendrá que vivir con sus consecuencias.
Imaginemos a alguien que recibe una llamada con una voz que reconoce y que, bajo la presión de una supuesta emergencia, transfiere dinero creyendo que ayuda a un familiar. Si analizamos millones de interacciones, ese caso podría aparecer como una incidencia dentro de un porcentaje pequeño, mientras que para quien pierde sus ahorros puede significar años de dificultades y una desconfianza que se extienda mucho más allá de aquella llamada. La estadística es necesaria para comprender la dimensión de un problema, aunque cualquier valoración quedaría incompleta si el porcentaje terminara ocultando lo que esa pérdida representa en una vida concreta.
Por eso me parece frívolo hablar de aceptar daños sin aclarar quién tendrá que soportarlos, especialmente cuando esa propuesta procede de alguien con intereses en el desarrollo de la tecnología y con recursos para protegerse de algunas de sus consecuencias. No necesito atribuirle mala intención para preguntarme cómo influye su posición en lo que considera tolerable, porque nuestra disposición a asumir un riesgo puede cambiar mucho según seamos nosotros quienes suframos sus efectos o podamos observarlos desde una situación de mayor seguridad.
La afirmación de que habrá más cosas buenas que malas tampoco resuelve esta dificultad si no explicamos qué estamos comparando y por qué consideramos que unas pueden compensar las otras. Que un millón de tareas administrativas se resuelvan con mayor rapidez no permite concluir, mediante un simple recuento, que determinados perjuicios graves quedan justificados, pues el tiempo que gana una empresa no repara por sí mismo el daño que sufre otra persona. Incluso si el balance global resultara favorable, seguiríamos teniendo que responder qué les debemos a quienes han soportado sus costes y qué capacidad tuvieron para decidir si querían asumirlos.
Declarar una línea roja no garantiza que sepamos verla
Cuando distinguimos entre daños aceptables y riesgos catastróficos, damos por supuesto que seremos capaces de reconocer la frontera entre ambos y de detenernos antes de cruzarla. Esa es precisamente la seguridad que me cuesta asumir, porque sostenerla exige comprender cómo podría empeorar una situación y qué señales nos permitirían advertirlo con suficiente antelación. Además, tendríamos que conservar la capacidad de intervenir cuando aparecieran esas señales, algo que no queda garantizado por el hecho de haber declarado que ciertas consecuencias nos parecen inaceptables.
El Informe internacional sobre seguridad de la IA de 2026 recoge limitaciones que obligan a examinar esa confianza con cuidado, al señalar que los resultados de las evaluaciones no bastan para predecir de forma fiable todos los riesgos en condiciones reales. A esa dificultad se añaden lagunas sobre la frecuencia y la gravedad de los daños, así como dudas acerca de la eficacia que tendrán las medidas de seguridad ante sistemas más capaces, de modo que la incertidumbre afecta tanto a lo que podría suceder como a nuestra capacidad para evitarlo.
Nada de esto demuestra que una catástrofe vaya a ocurrir ni permite interpretar cualquier fallo actual como el anuncio de una pérdida de control, pero sí nos obliga a distinguir entre lo que hemos comprobado bajo determinadas condiciones y lo que esperamos que siga siendo cierto cuando esas condiciones cambien. Si la evidencia es incompleta, necesitamos que quienes afirman que un sistema es seguro expliquen en qué se apoyan, hasta dónde llegan sus comprobaciones y qué aspectos siguen sin poder evaluar con suficiente fiabilidad.
Ahí sitúo la posibilidad del espejismo, en la distancia que puede existir entre comprobar que un sistema supera nuestras pruebas y concluir que conocemos sus límites. Si esas pruebas dejan fuera situaciones relevantes, podríamos sentirnos tranquilos porque no hemos detectado problemas que, en realidad, todavía no sabemos identificar, y esa tranquilidad podría animarnos a ampliar sus usos o concederle más autonomía. Por eso me parece necesario preguntarnos qué parte de nuestra confianza descansa en garantías contrastadas y qué parte procede de haber encontrado, hasta ahora, únicamente los problemas que sabíamos buscar.
El riesgo puede cambiar mientras nos acostumbramos a él
Imaginemos una organización que empieza utilizando inteligencia artificial para redactar propuestas que una persona revisa antes de decidir qué hacer con ellas. Como el sistema suele funcionar bien, con el tiempo le permite enviar algunas respuestas sin supervisión previa y, más adelante, le concede acceso a herramientas con las que puede ejecutar determinadas operaciones. Cada ampliación puede parecer razonable si la observamos por separado, aunque al final hayamos pasado de una herramienta que prepara documentos a un sistema capaz de actuar sobre procesos de la organización, cuya seguridad exige garantías diferentes de las que bastaban al principio.
El propio informe de seguridad señala que el entorno en el que se utiliza un sistema influye en el riesgo, porque las posibles consecuencias dependen de la importancia de los procesos sobre los que actúa, de los recursos a los que puede acceder y de las acciones que tiene autorizadas. Mi preocupación es que traslademos la confianza adquirida en un uso limitado a otro más exigente sin examinar si las comprobaciones anteriores siguen siendo suficientes, como puede ocurrir cuando el buen funcionamiento de una herramienta nos lleva a concederle responsabilidades para las que todavía no la hemos evaluado.
Un fallo al redactar un correo tiene consecuencias distintas de un error al actuar sobre una infraestructura, especialmente si otros sistemas dependen de ella y pueden verse afectados por lo que suceda. Cuando conectamos procesos y organizaciones, necesitamos comprender hasta dónde podría propagarse un incidente y qué capacidad tendríamos para contenerlo si fallaran las medidas previstas, cuestiones que no quedan resueltas porque una aplicación haya funcionado correctamente durante meses. La experiencia anterior aporta información valiosa, pero debemos interpretarla dentro de las condiciones en las que la obtuvimos.
A esa confianza puede sumarse la costumbre de convivir con los avisos, sobre todo si cada incidente se presenta como una dificultad propia del aprendizaje y la respuesta habitual consiste en corregirlo para seguir adelante. Sin una revisión consciente, podríamos terminar aceptando situaciones que antes nos habrían llevado a detenernos, mientras ampliamos los usos del sistema y nuestra dependencia de él. Por eso convendría acordar de antemano qué señales exigirían una investigación y en qué circunstancias habría que restringir su capacidad de actuar, porque esperar a que el daño confirme por completo nuestros temores puede dejarnos sin margen para evitar consecuencias irreversibles.
¿Cuánto daño sería suficiente para cambiar de rumbo?
No creo que podamos responder con una cifra universal, porque la gravedad de un daño debe valorarse junto a la posibilidad de evitarlo y a las opciones reales de reparar sus consecuencias. Tampoco tendría sentido aplicar el mismo criterio a una herramienta que utilizamos en una tarea de poca trascendencia y a un sistema cuyas decisiones pueden afectar a la seguridad de muchas personas. Si queremos hablar de prudencia con rigor, necesitamos concretar qué uso estamos evaluando y qué podría perder alguien si las cosas salieran mal.
También debemos considerar la diferencia entre el riesgo que una persona decide asumir para sí y el que una organización traslada a quienes reciben los efectos de sus decisiones. Yo puedo aceptar que una herramienta me haga perder tiempo o me obligue a revisar un trabajo, porque conozco esa posibilidad y tengo cierto margen para decidir si me compensa utilizarla. Sin embargo, esa disposición personal no justifica que otras personas queden expuestas a consecuencias graves sin información suficiente ni una vía efectiva para reclamar, de modo que la libertad para incorporar una tecnología debe tener en cuenta los derechos de quienes podrían sufrir sus perjuicios.
Me preocuparía que, ante estas cuestiones, acabáramos esperando una prueba definitiva de peligro para reconocer la necesidad de actuar, especialmente cuando la falta de datos también limita las afirmaciones de seguridad que podemos sostener. Si todavía no comprendemos bien un riesgo, necesitamos examinar qué consecuencias podría tener equivocarnos y qué margen conservaríamos para corregir la decisión. Cuanto más grave sea el daño plausible y más difícil resulte revertirlo, mayor debería ser la exigencia de garantías antes de ampliar un uso, aunque aún no dispongamos de evidencia que permita calcular su probabilidad con precisión.
Eso tampoco implica exigir una certeza absoluta que difícilmente podremos alcanzar, pues renunciar a determinadas aplicaciones de IA también puede privarnos de oportunidades valiosas y ese coste merece formar parte de la conversación. Lo que me interesa es que podamos decidir el ritmo y las condiciones del avance, con permisos ajustados a cada tarea, evaluaciones independientes y alternativas que nos permitan responder si un sistema falla. Entre aceptar cualquier riesgo y detener cualquier desarrollo hay decisiones concretas que podemos tomar, siempre que la discusión deje espacio para cuestionar cómo se introduce una tecnología sin interpretar cada límite como una renuncia al progreso.
La humanidad no puede quedar reducida a un mercado
Cuando escucho estas declaraciones, me pregunto qué capacidad tenemos para intervenir en unas decisiones cuyas consecuencias pueden afectar a nuestra vida, incluso aunque nunca hayamos utilizado las herramientas de las que se habla. Afirmar que todo está en manos de tres o cuatro empresas y de Estados Unidos y China simplifica una realidad en la que participan muchos más actores, pero expresa una inquietud que considero legítima sobre la concentración de poder y sobre el lugar que ocupamos quienes tendremos que convivir con lo que otros decidan. Poder acceder a una tecnología está lejos de significar que podamos influir en las condiciones bajo las que se desarrolla y se incorpora a la sociedad.
Comprar una suscripción nos permite elegir un servicio entre los disponibles, aunque esa elección diga muy poco sobre los riesgos colectivos que estamos dispuestos a aceptar o los derechos que queremos preservar. Además, una persona puede quedar expuesta a los efectos de la IA sin haber decidido utilizarla, como sucede cuando una organización evalúa su candidatura laboral mediante un sistema automatizado o cuando alguien emplea su imagen para crear una falsificación. En esos casos, la posibilidad de elegir otra herramienta o cancelar una cuenta apenas responde al problema, porque lo que necesitamos es capacidad para intervenir sobre decisiones que nos afectan y que se toman fuera de nuestro control.
Por eso me parece necesario que la participación social tenga consecuencias que podamos reconocer, de manera que quienes observan o sufren determinados perjuicios puedan aportar su experiencia y conseguir que esta influya en las condiciones de uso de la tecnología. Una consulta difícilmente cumple esa función si llega cuando las decisiones relevantes ya están cerradas, o si las personas convocadas carecen de información comprensible y de medios para valorar lo que se les propone. Escuchar a la sociedad debería implicar la disposición a modificar una decisión a partir de lo que esa conversación revele, incluso cuando hacerlo resulte incómodo para quienes impulsan el desarrollo.
La competencia entre países tampoco puede sustituir esa participación ni interpretarse como una autorización de la humanidad para asumir cualquier riesgo. Que un gobierno quiera conservar una ventaja estratégica puede explicar sus prioridades, pero no demuestra que todas las personas compartan sus criterios o acepten las consecuencias de perseguirlas. Entiendo que la presión de otros actores complique la búsqueda de acuerdos, aunque precisamente por eso necesitamos discutir qué controles podemos establecer y qué límites queremos sostener, porque aceptar que siempre habrá alguien dispuesto a avanzar acaba convirtiendo la prisa ajena en una razón para renunciar a nuestras propias decisiones.
La responsabilidad debe empezar antes del daño
Si se nos pide aceptar riesgos, deberíamos poder discutir desde ahora qué responsabilidades corresponderían a quienes los generan, teniendo en cuenta las decisiones que toma cada participante y la capacidad que tiene para evitar sus consecuencias. Quien desarrolla un sistema interviene de una manera distinta de quien lo incorpora a un servicio o autoriza su uso en determinadas condiciones, aunque esa distribución de funciones no debería dificultar la identificación de las decisiones que contribuyeron a un perjuicio. Necesitamos poder reconstruir lo ocurrido para que, después de un incidente, la responsabilidad no se diluya entre organizaciones que atribuyen el problema a otra parte del proceso.
Con esto no presupongo que cualquier daño permita exigir responsabilidad personal a un directivo, porque esa valoración dependerá de los hechos y de las obligaciones aplicables, pero sí creo que debemos acordar qué información habrá que conservar y cómo podrán investigarse los incidentes. También necesitamos pensar en los medios que tendrán las personas afectadas para obtener una explicación y reclamar cuando corresponda, especialmente si deben enfrentarse a organizaciones con muchos más recursos que ellas. Una vía de reclamación pierde buena parte de su utilidad cuando el coste o la dificultad de utilizarla la sitúan fuera del alcance de quien necesita una respuesta.
La discusión debería incluir quién asumirá el coste de prevenir los daños y de reparar sus consecuencias, sobre todo cuando una organización obtiene una ventaja económica al introducir una tecnología cuyos riesgos también recaen sobre otras personas. Parece razonable preguntarnos qué obligaciones acompañan a esa decisión y cómo garantizamos que sus costes no terminen trasladándose a quienes apenas pudieron influir en ella. La promesa de beneficios generales puede formar parte de la valoración, pero deja pendiente la situación concreta de quien ha sufrido un perjuicio y necesita que alguien responda por él.
Además, hay pérdidas para las que una reparación posterior resulta insuficiente, porque una indemnización puede aliviar determinadas consecuencias sin devolver todo lo que una persona ha perdido. Cuando hablamos de daños irreversibles, la prevención exige un compromiso mayor y obliga a examinar con cuidado la idea de que podremos aprender de los errores a medida que aparezcan. Antes de aceptar ese aprendizaje como parte del progreso, tendríamos que considerar quién soportará sus costes y qué sucederá si descubrimos demasiado tarde que aquello que creíamos corregible ya no tiene vuelta atrás.
La confianza que necesitamos tiene que admitir dudas
Utilizo inteligencia artificial y encuentro valor en muchas de las cosas que me permite hacer, por eso me interesa que podamos hablar de sus riesgos con la misma disposición con la que hablamos de sus posibilidades. Quiero que esta tecnología contribuya a mejorar nuestra vida y considero que esa aspiración exige pedir explicaciones cuando alguien plantea qué daños deberíamos aceptar para seguir adelante, sin que nuestras preguntas se interpreten como un rechazo al desarrollo o queden descalificadas por cuestionar el ritmo al que se está produciendo.
Entiendo que ninguna tecnología esté libre de riesgo, aunque asumir esa realidad requiere saber cómo lo estamos valorando y qué capacidad tendremos para intervenir si las garantías resultan insuficientes. También necesitamos que reconocer la incertidumbre tenga consecuencias en las decisiones, porque admitir que todavía no comprendemos algo debería llevarnos a mejorar las pruebas y a reconsiderar ciertos usos mientras buscamos respuestas. Me costaría confiar en una prudencia que aparece en el discurso, pero apenas modifica lo que estamos dispuestos a autorizar.
La inquietud con la que empecé sigue presente, porque podemos creer que hemos dejado fuera los escenarios catastróficos y, aun así, aceptar decisiones que aumenten nuestra exposición a ellos sin advertirlo a tiempo. No afirmo que ese sea nuestro destino, pero me preocupa que descartemos esa posibilidad antes de comprender suficientemente qué condiciones permitirían evitarla, sobre todo si nuestra confianza termina apoyándose en la ausencia de problemas que aún no sabemos detectar. Si llegáramos a equivocarnos, necesitaríamos poder examinar las decisiones que nos condujeron hasta allí, en lugar de dar por inevitable algo sobre lo que quizá tuvimos margen para actuar.
Quisiera que la sociedad tuviera un lugar efectivo en esa discusión y pudiera acceder a información comprensible para cuestionar lo que se presenta como necesario, incluso cuando sus dudas incomoden a quienes tienen capacidad para decidir. Cuando hablamos de la humanidad, hablamos también de personas que podrían soportar daños sin haber participado en la elección de esos riesgos y cuya experiencia debería contar antes de que las decisiones queden cerradas. Por eso, antes de pedirnos que aceptemos unas cosas malas, habrá que escucharnos cuando intentemos comprender cuáles son, quién tendrá que vivir con sus consecuencias y qué garantías tenemos de que podremos detenernos mientras todavía sea posible.
#InteligenciaArtificial #ÉticaIA #ResponsabilidadTecnológica #PensamientoCrítico #DeCeroAIA
