Tecnología y desigualdad: la gobernanza tecnológica como nuevo paradigma de la seguridad internacional

MILENA COSTAS TRASCASAS

Experta Independiente del Comité Asesor del Consejo de Derechos Humanos, ONU

Title: Technology and Inequality: Technological Governance as a New Paradigm of International Security

Resumen: En este trabajo examinamos el impacto que la introducción de las tecnologías digitales y la inteligencia artificial está teniendo en materia de igualdad y discriminación. El análisis de la arquitectura global de gobernanza existente, y de las propuestas para su remodelación, demuestra que existen numerosos aspectos que aún no se encuentran lo suficientemente desarrollados, lo que produce el riesgo de exacerbar las desigualdades y perpetuar las discriminaciones. La regulación de las actividades de las empresas multinacionales para anticipar y mitigar los impactos negativos sobre los derechos humanos que se derivan de las mismas y para que rindan cuentas por posibles daños, se presenta como elemento esencial en este contexto. Igualmente se precisa la adopción de acuerdos internacionales que se apliquen con carácter general a aquellas tecnologías que, por su propia naturaleza, tienen el potencial de poner en riesgo la paz y la seguridad internacionales. Este proceso debe perseguir el objetivo de ofrecer igualdad de oportunidades a los ciudadanos, la protección de los valores compartidos entre los Estados y, en definitiva, el bien común de la humanidad.

Palabras clave: Gobernanza Tecnológica Global, Derechos Humanos, Seguridad Internacional, Democracia, Desigualdad, Discriminación, Acceso a las Nuevas Tecnologías.

Abstract: In this paper we examine the impact that the introduction of digital technologies and artificial intelligence is having on equality and discrimination. The analysis of the existing global governance architecture and proposals for reshaping it shows that there are many aspects that are not yet sufficiently developed. This poses a risk of exacerbating inequalities and perpetuating discrimination. In this context, regulating the activities of multinational companies to anticipate and mitigate the human negative impacts they pose, and to make them accountable for potential damage is essential. It is also necessary to adopt international agreements that apply generally to technologies that, by their very nature, have the potential to jeopardize international peace and security. This process should be rooted in the objective of providing equal opportunities to citizens, the protection of shared values among States, and ultimately, the common good of mankind.

Keywords: Global Technological Governance, Human Rights, International Security, Democracy, Inequality, Discrimination, Access to New Technologies.

Para citar este artículo/To cite this article: Milena Costas Trascasas, <<Tecnología y desigualdad: la gobernanza tecnológica como nuevo paradigma de la seguridad internacional>>, Revista de Estudios en Seguridad Internacional, Vol. 8, No. 2, (2022), pp. 89-107. DOI: http://dx.doi.org.10.18847/1.16.6

Introducción

El 20 de septiembre de 2022, el Secretario General de la Organización de las Naciones Unidas (ONU), António Guterres, en la sesión anual de la Asamblea General, se dirige a los máximos representantes de todos los Estados del mundo. Comienza su discurso con palabras duras y directas. Necesita sacudir la conciencia de la comunidad internacional, para sacarla del estado de aletargamiento en el que parece encontrarse ante un mundo que agoniza. Un mundo, dice, que “vive momentos sumamente difíciles”: las divisiones se están haciendo más profundas, las desigualdades mayores, los retos se están extendiendo. Estos síntomas evidencian el estado crítico de nuestras sociedades y la imperiosa necesidad de adoptar medidas paliativas y eficaces con carácter inmediato.

Además de la multiplicación de los conflictos en todo el mundo, el Secretario General destaca la emergencia climática, la pérdida de biodiversidad, la grave situación financiera de los países en desarrollo, y el destino de los Objetivos de Desarrollo Sostenible (ODS). Sin embargo, por primera vez, Guterres dirige la atención de los Estados hacia la nueva crisis que, silenciosamente, ha ido fraguándose en los últimos años, la que se deriva de los enormes avances tecnológicos. Estos están produciéndose a una velocidad pasmosa en ausencia de todo marco regulatorio tanto a nivel nacional como internacional y, por lo tanto, sin que existan salvaguardias adecuadas. Estos desarrollos son de tal magnitud que plantean riesgos sin precedentes para la humanidad.

Sin embargo, señala, “nuestra comunidad internacional no está preparada o no está dispuesta a afrontar los retos de nuestra época, que son enormes y trascendentes”, y precisa: “No tenemos ni por asomo una arquitectura global para hacer frente a los numerosos retos y crisis que amenazan el futuro de la humanidad. […] Estamos bloqueados en una disfunción global de proporciones colosales”, afirma (Guterres, 2022).

Seis años antes, en enero de 2016, la reunión anual del Foro Económico Mundial de Davos (Suiza) se dedicaba a la denominada “Cuarta Revolución Industrial”. Los asistentes debían reflexionar sobre el potencial, los riesgos y el impacto social de la denominada “industria 4.0”. En su discurso de inauguración, el fundador del foro, Klaus Schwab, señala que “nunca antes ha habido un momento más prometedor, o de mayor peligro”. Y explica que esta nueva revolución, en su forma más pesimista y deshumanizada, tiene el potencial de “robotizar” a la humanidad, de “privarnos de nuestro corazón y alma”. En su versión positiva, sin embargo, puede servir “como complemento de las mejores partes de la naturaleza humana (creatividad, empatía, administración)”, elevando así a la humanidad a una nueva conciencia colectiva y moral. Schwab finalizaba diciendo que “nos corresponde a todos asegurarnos de que prevalezca lo último” (Schwab, 2016).

El poder transformativo de las nuevas tecnologías

Parece, en efecto, que estamos ante la mayor irrupción transformadora que haya vivido la humanidad desde el surgimiento del Internet. La nueva revolución es el resultado de la convergencia de los diversos sistemas basados en la infraestructura digital y que hasta ahora se habían desarrollado separadamente, entre otros, la robótica, la computación cuántica, la inteligencia artificial (IA), el internet de las cosas, la nanotecnología y la biotecnología. Lo revolucionario de esta nueva era es que estas tecnologías no sólo sirven para acompañar al ser humano, contribuyendo a que este optimice su trabajo, sino que ahora se fusionan con la propia actividad humana, e incluso con el cuerpo de la persona. Vienen, por tanto, a desdibujar los límites entre los espacios virtual, físico y biológico (Jorge Ricart, 2020). Debido a su grado acelerado, volátil e impredecible, se afirma que estos nuevos retos únicamente pueden afrontarse mediante una “arquitectura de gobernanza de carácter global”.

Sin duda, estos avances ofrecen unas perspectivas de progreso prometedoras. Se espera que ayuden a superar algunos de los principales desafíos a los que nos enfrentamos en la actualidad, entre ellos la desigualdad, acelerando la adopción de soluciones. Por otro lado, resulta evidente que estas tecnologías tienen la capacidad de introducir cambios profundos en nuestras sociedades, alterando nuestra forma de entender el mundo y, más en general, las relaciones de poder. Su introducción producirá transformaciones en muchos ámbitos de la vida, modificando las formas de organización, modelando el comportamiento de las personas, e introduciendo nuevas formas de relación interpersonales y con las máquinas.

Así, una de las particularidades de estas tecnologías es que todas ellas se apoyan en el proceso denominado de “datificación” a través del cual los sujetos, objetos y prácticas se transforman en datos digitales que sirven para automatizar las acciones y los procesos de toma de decisiones (Comité Asesor del Consejo de Derechos Humanos de la ONU, 2021: párrs. 3-8)[1]. Estos procedimientos automatizados, sin embargo, vienen a dificultar considerablemente la capacidad de ofrecer una interpretación causal de los resultados que se obtienen. De ahí que conceptos fundamentales para el Estado de Derecho como la transparencia, el control humano, la rendición de cuentas y la responsabilidad se encuentren seriamente cuestionados. Este proceso conlleva, además, la idea de que ciertos conceptos esenciales en materia de derechos humanos tales como la dignidad humana, la privacidad, la libertad de pensamiento y la autonomía individual deban reinterpretarse a fin de adaptarlos a los nuevos avances y contextos (High-level Panel, 2019: 16-17). Este ejercicio no es del todo simple, pues implica predecir de antemano los daños concretos −para las personas y la sociedad− que pueden derivarse de tecnologías y aplicaciones que nunca antes han sido empleadas (CEPD-SEPD, 2021: 1-4).

En su Llamamiento a la acción en materia de derechos humanos, el Secretario General reconocía expresamente los beneficios que la era digital ha comportado para la humanidad, abriendo “nuevos horizontes en materia de bienestar, conocimiento y exploración”. Se considera que la nueva revolución tecnológica contribuirá a reducir las desigualdades existentes, “elevando los niveles de ingresos mundiales y mejorando la calidad de vida de las poblaciones de todo el mundo”. Aunque se pretende que “todos los ciudadanos del mundo puedan beneficiarse de estos extraordinarios avances”, no deja de insistirse sobre el riesgo que existe de que este proceso acabe por acelerar o exacerbar las desigualdades tanto entre los diversos Estados como dentro de la misma sociedad “en caso de que los beneficios no se repartan de forma equitativa”. Al mismo tiempo, existen impactos negativos que ya se están observando en conexión con el uso de estas tecnologías que demasiado frecuentemente, dice el Secretario General, sirven para socavar en línea los derechos humanos, especialmente de los más vulnerables y desfavorecidos. Otros avances, además de utilizarse para erosionar los derechos humanos, pueden contribuir a profundizar las desigualdades o exacerbar las discriminaciones existentes, por ejemplo, a través de programas informáticos de reconocimiento facial, la robótica, la identificación digital y la biotecnología (Guterres, 2020: 13-14).

Este enfoque ambivalente nos plantea la cuestión de si todas estas transformaciones, efectivamente, podrán ponerse al servicio de los cambios estructurales y radicales que precisa el sistema de gobernanza actual con el objetivo de invertir la actual tendencia al incremento de las desigualdades sociales y económicas.

Nuevas formas de capitalismo

En efecto, una de las principales causas de la desigualdad consiste en los pilares sobre los que se sostiene en la actualidad el modelo de crecimiento económico, que tiende a favorecer la acumulación del poder económico y político en manos de una pequeña porción de la población, dentro de los Estados y ahora también en el ámbito global. La nueva era tecnológica y digital, sin duda, ha reforzado esta tendencia. Se confiaba en que, con el paso del capitalismo de masa a una estructura de consumo individualizada, la tecnología podía contribuir a una lógica económica diversa, ajustando la oferta y demanda de manera más precisa a las necesidades de los individuos (Laidler, 2019). Las tecnologías digitales facilitarían así la democratización del conocimiento y el empoderamiento de las personas, favoreciendo de este modo su inclusión social y el avance en materia de igualdad de oportunidades. Sin embargo, comienza a observarse que este proceso, lejos de traer aparejada la profunda transformación estructural que se esperaba, ha desembocado en lo que ha venido a denominarse el “capitalismo de la vigilancia”.

Esta nueva variante de capitalismo se desarrolla a partir de las nuevas tecnologías digitales y de inteligencia artificial para la recolección masiva de datos personales. La experiencia humana se convierte así en la materia prima, obtenida de forma totalmente gratuita, de la que se extraen los datos de comportamiento característicos de la personalidad y que, tras introducirse en procesos de fabricación avanzados conocidos como “inteligencia de máquina”, se utilizan para influir, e incluso predecir, las acciones humanas. Estos nuevos activos se negocian en un nuevo tipo de mercado denominado “mercado de futuros del comportamiento” (Zuboff, 2019: 130). Las estrategias elaboradas sobre la base de los perfiles personales obtenidos a través de la información facilitada por los usuarios pueden utilizarse con diversas finalidades, como influenciar sus decisiones y orientaciones políticas, tal y como demostró el escándalo de Cambridge Analytica (Hern, 2018)[2].

Está demostrado que muchos gobiernos recurren a estos métodos para singularizar, disciplinar y castigar a las clases más desfavorecidas y vulnerables y sirven para la imposición de comportamientos sociales. Otra de las consecuencias es que los beneficiarios de estas prestaciones pueden verse obligados a renunciar a su derecho a la privacidad y a la protección de datos para hacer efectivos sus derechos sociales, incluida la protección social (Relator Especial sobre la extrema pobreza y los derechos humanos, 2019: párrs. 3-8 y 61- 64). También se confirma la idea de que las personas con menos recursos resultan sometidas a niveles superiores de escrutinio, supervisión y vigilancia que quienes disponen de mayor nivel de riqueza.

Sin duda, una de las maneras de obtener esa materia prima consiste en “democratizar el acceso a las tecnologías digitales”. Si en un principio estos datos se recopilaban para identificar patrones de consumo, lo cierto es que en la actualidad los productos predictivos se venden a una variedad de clientes, y pueden desarrollarse a partir de métodos sofisticados que actúan de forma sutil, por lo que resultan imperceptibles para los usuarios (Council of Europe, 2019a).

La reorientación del modelo de negocio

La crisis provocada por la pandemia ha hecho evidente la creciente acumulación del poder en manos de las denominadas “superfirms” como Facebook, Google, Amazon y Apple. Debido a la creciente dependencia tecnológica de la población mundial, estas compañías continúan multiplicando sus ganancias. Según un informe de Oxfam, “la desigualdad de los impactos económicos de la COVID-19 no es casual, sino el resultado de un modelo económico que utiliza el valor que aportan la mayoría de la ciudadanía en beneficio de un reducido grupo de personas ricas” (Gneiting, Lusiani & Tamir, 2020). La organización sostiene que, “si no cambiamos de rumbo, la desigualdad económica se incrementará, y un número aún menor de grandes empresas ejercerá un mayor poder económico y político, en detrimento de las pequeñas empresas, las personas trabajadoras y las instituciones democráticas” (Gneiting, Lusiani & Tamir, 2020). La decisión de maximizar las ganancias percibidas por los accionistas por encima de cualquier otra consideración pone en evidencia el doble discurso de las grandes empresas, que “por un lado manifiestan nobles compromisos, se adhieren a estándares voluntarios y hacen donaciones con fines benéficos, pero al mismo tiempo evitan que se lleven a cabo los necesarios cambios estructurales en nuestro sistema económico” (Gneiting, Lusiani & Tamir, 2020).

Existe, por tanto, un creciente descontento con respecto al comportamiento social y ético de las empresas. Se critica su falta de contribución a la justicia social y por ende a la sostenibilidad económica. Esto ha provocado la emergencia de propuestas legislativas que se dirigen a controlar de manera más estricta las actividades de las empresas, especialmente las de carácter multinacional. Estas deberían observar la diligencia debida identificando, evaluando, previniendo y mitigando los efectos adversos sobre los derechos humanos que puedan causar o a los que pueda contribuir o estar directamente vinculada (ACNUDH, 2021: párr. 28). Sin embargo, los modelos de negocio innovadores en el ámbito tecnológico se desarrollan deliberadamente para explotar los limbos jurídicos, por lo que, en realidad, tienen un interés en mantener el statu quo y eludir la rendición de cuentas(Comité Asesor del Consejo de Derechos Humanos de la ONU, 2021: párr. 55).

Por eso, esta creciente presión busca provocar un cambio de orientación en cuanto a los objetivos de los modelos de negocio para que las empresas calibren de manera más consciente el objetivo de las propias políticas así como su puesta en práctica (OACNUDH, 2020)[3]. Se insiste en que es preciso dejar atrás el modelo de capitalismo cortoplacista, orientado a obtener el máximo beneficio posible, e introducir otro que busque alinear el interés privado con el público, lo que reporta beneficios más a largo plazo, teniendo en cuenta el interés de todas las partes interesadas, esto es, además de los accionistas, los asalariados y las colectividades en las que operan (Stiglitz, 2006: 344).

Las consideraciones de derechos humanos deberían, por tanto, estar presentes en todas las etapas de desarrollo, implantación y explotación de las nuevas tecnologías, lo que implica anticipar y mitigar los impactos que estas puedan tener sobre las personas y la sociedad a más largo plazo. En este sentido, cabe destacar el surgimiento de iniciativas que promueven de manera más concreta la “innovación ética y responsable”,con el objetivo de que los avances tecnológicos se pongan al servicio de la sociedad, promoviendo el interés público[4].

La falla del sistema: la rendición de cuentas

A pesar de los avances en este sentido, siguen existiendo importantes déficits en materia de rendición de cuentas sobre los efectos perjudiciales que las actividades de las empresas tecnológicas pueden producir en el ámbito global. La experiencia ha demostrado que estas conductas no pueden controlarse adecuadamente si no es a través de normas de carácter obligatorio[5]. Debe tenerse en cuenta a este respecto que muchos gobiernos siguen mostrándose reticentes a regular las actividades de las empresas tecnológicas, al mismo tiempo que estas se resisten de manera contundente a tener en cuenta sistemáticamente consideraciones de derechos humanos (Relator Especial sobre la extrema pobreza y los derechos humanos, 2019: párr. 72). Como es sabido, hasta ahora, como resultado de las políticas de carácter liberal, las empresas han dispuesto de una gran flexibilidad para innovar y desarrollar sin trabas. Su actividad únicamente debía acomodarse a aquellas medidas que asumieran con carácter voluntario, lo que ha facilitado la falta de transparencia de sus actividades, así como una falta de comportamiento responsable y la falta de rendición de cuentas por los perjuicios causados.

A estos obstáculos de carácter político se añaden las dificultades prácticas para que los particulares puedan identificar cuándo y en qué medida se están violando sus derechos, y tomar medidas al respecto. Este estado de cosas no sólo impide que el modelo de negocios se oriente hacia el interés público, sino que supone un obstáculo para la defensa de los intereses de las personas. Por eso resulta imprescindible el establecimiento de órganos y mecanismos especializados e independientes, con capacidad para sancionar los usos ilícitos o abusivos que desemboquen en daños o violaciones, así como para determinar la reparación que corresponde a las víctimas de las mismas.

Nuevas formas de desigualdad y discriminación

Aunque las nuevas tecnologías digitales se presentan como neutrales y positivas pensadas en beneficio del bienestar de la ciudadanía y dirigidas a lograr una gobernanza más eficiente, está claro que las mismas pueden plasmar valores que distan mucho de los que protegen los derechos humanos. Existe el riesgo de que a través de esta retórica positiva se esté abriendo paso más bien a una especie de “distopía digital” donde, en realidad, lo que ocurre es que se está automatizando la desigualdad (Relator Especial sobre la extrema pobreza y los derechos humanos, 2019: párr. 8). No sólo los algoritmos reflejan los sesgos de las personas que los crean, sino que en su diseño no siempre se les dota de toda la información que resulta relevante y esas lagunas hacen que las decisiones que adopta la inteligencia artificial sean discriminatorias en la práctica. Se ha destacado, no obstante, que, si se utilizan de manera correcta, los algoritmos también podrían servir para identificar sesgos sistemáticos y, potencialmente, pueden servir para limitar el trato discriminatorio derivado de los prejuicios existentes, contribuyendo a mejorar las decisiones humanas (Sunstein, 2020: 54).

Se insiste, en cualquier caso, en que los algoritmos deben adecuarse al principio de transparencia y diseñarse de tal manera que pueda explicarse de forma efectiva el modo en el que operan. Por otra parte, existe acuerdo en que la decisión sobre la vida o muerte no puede delegarse a máquinas, sistemas o programas que actúen sin intervención humana (Secretario General de las Naciones Unidas, 2020: párrs. 53 y 55). De esta forma se pretende facilitar también el acceso a la justicia de las personas que cuestionan las decisiones que se apoyan fundamentalmente en datos. De hecho, el principal problema que subsiste en relación con el empleo de sistemas de IA es de naturaleza fundamentalmente jurídica, y se refiere a las dificultades para determinar la responsabilidad individual por los daños y consecuencias no deseadas. Sin mecanismos adecuados para la rendición de cuentas, las personas afectadas por los malos usos o abusos de estas tecnologías se encuentran en completa indefensión, una situación que, como es bien sabido, exacerba la vulnerabilidad de las personas marginadas o pertenecientes a grupos minoritarios que pueden resultar siendo los principales afectados por las actividades violatorias de derechos.

Exacerbación de la desigualdad y la discriminación

Por otra parte, como se ha visto, el proceso de digitalización y la creciente preminencia de la adopción automatizada de decisiones mediante el uso de algoritmos y de la IA producen un impacto directo en la capacidad de las personas –especialmente las más vulnerables, como los refugiados y migrantes irregulares– para acceder y ejercitar sus derechos. Los servicios públicos se hacen cada vez más dependientes de datos digitales y biométricos, a través de procesos que pueden fácilmente derivar en decisiones injustas o discriminatorias que afectan de manera desproporcionada a estas personas. El problema esencial aquí es que, muy a menudo, esos sesgos son tan sutiles que pueden pasar desapercibidos aunque tengan un gran impacto en la vida de las personas. Así, se considera que la preeminencia de las tecnologías digitales emergentes en la determinación de decisiones cotidianas en el empleo, la educación, la atención de la salud o la justicia penal acarrea el riesgo de una discriminación sistematizada a una escala sin precedentes.

También se ha advertido de que ciertas tecnologías utilizadas a fines de mantenimiento del orden y la seguridad, especialmente en el ámbito del control de fronteras y de la inmigración, como los programas informáticos de reconocimiento facial, están contribuyendo a exacerbar las discriminaciones. De igual manera, se ha denunciado la tendencia a recurrir a la IA en el ámbito de la inmigración para pronosticar si personas sin antecedentes penales cometerán delitos en el futuro, dada la propensión de la IA a crear y reproducir bucles de retroalimentación racialmente discriminatorios (Relatora Especial sobre las formas contemporáneas de racismo, discriminación racial, xenofobia y formas conexas de intolerancia, 2021: párr. 59).

El uso de estas tecnologías por parte de gobiernos e incluso por parte de la ONU, se considera que vulneran los derechos humanos de los refugiados, migrantes, apátridas y otras personas y obtienen de ellos grandes cantidades de datos en condiciones de explotación que los privan de su capacidad de acción y dignidad humanas fundamentales. La Relatora Especial de las Naciones Unidas sobre las formas contemporáneas de racismo denuncia a este respecto que las tecnologías digitales emergentes están contribuyendo a agudizar y amplificar las desigualdades existentes, especialmente por motivos de raza, etnia y origen nacional.

Brecha y dependencia tecnológicas

Otro de los grandes objetivos que se marcan en este ámbito consiste en potenciar el acceso universal a las nuevas tecnologías. Se alerta de que la falta de acceso a la tecnología digital podría provocar una brecha de desigualdad entre los Estados y también dentro de las sociedades, y que debe trabajarse para reducir esta brecha. Se argumenta que estas tecnologías son necesarias pues, en determinadas circunstancias, pueden contribuir a dar acceso a los servicios públicos a un número más amplio de personas, evitando su exclusión social (High-level Panel, 2019: párr. 12.f)[6]. Resultan encomiables en este sentido los esfuerzos hechos en los últimos años por cerrar la “brecha digital”[7]. Se estima que, en 2019, el 96,5 % de la población tenía cobertura de red, como mínimo, 2G. En términos de infraestructura de comunicaciones, más de la mitad de la población mundial está ahora conectada y casi toda la población global vive en un área con cobertura de red móvil. Sin embargo, el acceso a este servicio se mantiene desigual, pues de los estimados 2,9 billones de personas que permanecen desconectadas, el 96% habita en países en vías de desarrollo.

No existen suficientes estudios que permitan entender el funcionamiento de los mecanismos financieros destinados a reducir la brecha tecnológica entre los Estados. Sin embargo, no parece aceptable que la tecnificación de los países menos desarrollados implique un incremento en sus niveles de endeudamiento. Conviene también tener muy presente el riesgo de crear una dependencia tecnológica con respecto a los países o actores prestatarios de las mismas.

La pandemia del Covid-19 ha venido a apuntalar la progresiva dependencia de la ciudadanía de las tecnologías digitales, que han sido imprescindibles no sólo para la comunicación, sino también para la realización de tareas normales de nuestra vida doméstica y profesional. Tras esta crisis, el proceso de tecnificación y de digitalización se percibe como algo inevitable e irreversible[8].

Sin embargo, el “estado del bienestar digital” puede acabar teniendo efectos perniciosos en las políticas dirigidas a disminuir las desigualdades sociales y económicas. El Relator Especial de la ONU sobre la extrema pobreza y los derechos humanos, tras realizar sendas visitas a los Estados Unidos y el Reino Unido, ha demostrado cómo la mera introducción de requisitos tecnológicos puede llegar a pervertir los objetivos del sistema de protección social, obstaculizando el derecho a percibir ciertas prestaciones sociales.

La burocratización y la deshumanización que introducen las tecnologías digitales producen un cambio profundo en la propia naturaleza de estos procesos, que a menudo resultan excesivamente rígidos. La aplicación robótica de las normas, sin apenas interacción humana, exacerba la situación de vulnerabilidad en la que se encuentra la persona y tiene repercusiones en la dimensión de la dignidad. Es más, ahora se parte de la premisa de que los ciudadanos deben convencer a los que toman las decisiones de que son merecedores de esos derechos y por tanto de entrada se les trata no ya como titulares de derechos, sino como solicitantes de los mismos (Relator Especial sobre la extrema pobreza y los derechos humanos, 2019: párrs. 3-8).

El nuevo paradigma de la gobernanza

En su Hoja de Ruta para la Cooperación Digital, el Secretario General señalaba que “el mundo se encuentra en una encrucijada decisiva para la gobernanza tecnológica” (Secretario General de las Naciones Unidas, 2020). Hemos visto que se han dado importantes pasos para establecer un nuevo marco institucional de esta gobernanza digital; ahora veremos en detalle los elementos principales que se proponen para orientarla hacia la efectiva cooperación digital, a fin de determinar si efectivamente esta propuesta puede ser determinante de los cambios estructurales que se precisan en materia de igualdad. Destacaremos aquellos elementos que nos parecen más característicos de este proceso incipiente.

Múltiples partes interesadas

Como hemos visto, uno de los pilares de la cooperación institucional consiste en dar entrada a la participación, junto a los Estados, de una pluralidad de actores interesados a través de diversos órganos y foros de nueva creación. Resulta todavía poco claro, sin embargo, el modo en que estos se imbricarán en la estructura decisional y sus competencias en materia de desarrollo normativo. Es pronto también para poder mesurar los beneficios, en términos de participación y control democrático, que estos novedosos mecanismos pueden aportar.

En este contexto, parece importante que los derechos humanos se integren de manera sistemática y consistente dentro de la nueva arquitectura de gobernanza, evitando que una de las principales consecuencias de estos nuevos modelos flexibles y heterogéneos que se abren a la multiplicidad de actores sea, precisamente, la erosión de las garantías que protegen los derechos y las libertades de la persona (Council of Europe, 2019b: 12).

Participación inclusiva

Entre los beneficios que traen las nuevas tecnologías suele mencionarse su capacidad para reforzar los debates pluralistas, mejorando de esta forma la formación de una ciudadanía democrática, y facilitando las posiciones conjuntas y permitiendo procesos de decisión más transparentes y democráticos. Se señala, además, que pueden contribuir a abaratar los servicios públicos y hacerlos más participativos. Se afirma que a través de estos “nuevos o actualizados métodos para la cooperación digital global” se reforzará la representatividad e inclusión. Para ello se pretenden crear mecanismos capaces de iniciar “consultas enfocadas, ágiles y abiertas de múltiples partes interesadas” para, de esta forma, “desarrollar rápidamente mecanismos actualizados de gobernanza digital” (High-level Panel, 2019: 5).

La idea de poner las tecnologías, especialmente Internet, al servicio de la participación en los asuntos públicos resulta atractiva. La accesibilidad a las nuevas tecnologías ha contribuido al desarrollo de la sociedad civil organizada y puede igualmente potenciar la capacidad de acción de grupos minoritarios que desean participar en los asuntos públicos. A pesar de ello, hay que tener en cuenta que los grupos que detentan el poder económico ejercen una influencia desproporcionada en el sistema político y también sustentan el control –en algunos casos, el monopolio− de los medios de comunicación de masas. La capacidad de influencia adquirida en los últimos años se ha hecho patente durante la crisis de la pandemia y plantea importantes interrogantes sobre el papel dual que los medios digitales pueden desempeñar en democracia.

Tampoco debe obviarse que las redes sociales disponen de numerosos instrumentos, como los “deepfakes” (ultrafalsos), que se dirigen a influir y manipular a la opinión pública (Ibrahim, 2021)[9]. De hecho, la difusión de información manipulada a través de las redes sociales ya ha conseguido provocar en algunos países serias amenazas a la seguridad nacional (Hidalgo, 2022)[10]. Las consecuencias a largo plazo de estas estrategias de desinformación son muy graves pues acaban restando credibilidad a la información y pueden tener un impacto sobre los niveles de participación de la ciudadanía en la política, o un efecto de desafección hacia ella.

Papel secundario de los derechos humanos

Otro aspecto preocupante que revela este proceso es la manera un tanto colateral y marginal con la que se abordan las cuestiones de derechos humanos que, sin embargo, en este ámbito tienen un carácter trascendental Desde esta perspectiva las acciones emprendidas en el seno de la ONU parecen insuficientes. Se precisan además respuestas normativas específicas globales a los diversos problemas que se plantean, la protección de la privacidad de la persona y sus datos personales y muchos otros, así como medidas para que las garantías tengan una aplicación de carácter general y protejan a las personas sin discriminación alguna. Todas estas cuestiones deberían integrarse a tal fin en un enfoque más amplio que sirva para nutrir las políticas en materia de igualdad y lucha contra la discriminación, para prever posibles impactos y reparar los potenciales daños.

La «democratización» del acceso

Estos cambios a nivel de la gobernanza deberían, precisamente, favorecer la “democratización” del acceso a las nuevas tecnologías, las cuales deberían ponerse a disposición de todos los Estados y ciudadanos del mundo. Sin duda, la tecnología contribuye a perpetuar las desigualdades sociales y económicas, marcando la diferencia entre los que tienen acceso a ella y los que no. Por eso, se pretende promover la introducción de estas nuevas tecnologías con carácter masivo, en todo el mundo. Resulta importante velar por que esto no se haga con relativa rapidez a costa de reducir las garantías de los derechos individuales y exacerbando la desigualdad. Diversos informes apuntan al hecho de que esta disminución de garantías afectaría de manera desproporcionada a los sectores y grupos más marginados de la sociedad. Por ello, este acceso universal tiene que acompañarse de toda una batería de medidas que garanticen también la “democratización de la protección”. Ello implica anticipar los daños y diseñar y establecer con carácter previo mecanismos independientes y eficientes e idear la manera de hacerlos accesibles para las personas también, por lógica, de forma global.

Democracia y derechos humanos

En efecto, la nueva arquitectura de gobernanza debe poner los derechos humanos y el acceso a la justicia en el centro de su estrategia, que debe ser comprensiva y coherente. Esta estrategia no sólo debería examinar los impactos directos o previsibles sobre los derechos individuales, sino tener un enfoque más amplio, para abordar el modo en que estas tecnologías pueden ponerse al servicio del interés público y de los ODS en materia de desigualdad, discriminación, participación en los asuntos públicos y control democrático. Por otra parte, se deberá examinar detenidamente cómo adaptar las normas y derechos existentes a las nuevas realidades y contextos que están surgiendo.

Existen sectores como el mantenimiento de la ley, la seguridad nacional, la justicia penal, la protección social, el empleo, la salud, la educación y el sector financiero donde hay un riesgo particularmente alto de que se produzcan impactos no deseados, agravando las discriminaciones existentes. Para evitar este riesgo, en algunos casos se ha propuesto introducir moratorias en el uso de todas aquellas tecnologías que potencialmente puedan utilizarse para violar derechos humanos hasta que pueda garantizarse su uso de conformidad con los derechos humanos (Bachelet, 2021); en otros casos, una prohibición de carácter general.

En el marco de la elaboración del reglamento sobre la AI a nivel europeo, por ejemplo, una coalición de organizaciones de la sociedad civil ha pedido que se prohíba cualquier uso de la inteligencia artificial para el reconocimiento automático de rasgos humanos en la vía pública, como el reconocimiento de rostros, forma de caminar, huellas dactilares, ADN, voz, pulsaciones de teclas y otras señales biométricas o de comportamiento, en cualquier contexto. También se considera que prohibir el uso de IA para inferir las emociones de una persona física es altamente deseable.

Recolección y uso de datos personales

La preocupación por la recopilación, uso y procesamiento de estos datos con carácter masivo (“big data”) ha sido una constante en las últimas décadas. Diversos casos que han salido a la luz demuestran que este tipo de aplicaciones resultan muy interesantes para los gobiernos, y no sólo de corte autoritario. Se ha demostrado, por ejemplo, que el Reino Unido recurrió a sistemas de intercepción masiva y de obtención de datos por parte de proveedores en violación de la privacidad y del derecho a la libertad de expresión –caso Big Brother Watch y otros c. Reino Unido (Tribunal Europeo de Derechos Humanos, 2021)[11]–.

Aunque se están desarrollando leyes nacionales y normas de carácter internacional, podemos decir que este marco aún no se encuentra lo suficientemente desarrollado ni cohesionado como para ofrecer una protección integral a los usuarios o consumidores[12]. Es más, estos no suelen tener suficiente conocimiento sobre los derechos que les corresponden en este ámbito digital ni tienen información sobre los recursos (judiciales u otros) a disposición en caso de que se produzcan violaciones, si es que los hay. A nivel nacional, se están estableciendo autoridades competentes en materia de protección de datos que únicamente serán eficaces si realizan su actividad de manera independiente (Secretario General de las Naciones Unidas, 2020: párr. 44). En cualquier caso, estas estructuras resultan escasas para abordar la magnitud de los problemas que se anticipan y que pueden derivar en tratamientos contrarios al principio de igualdad de oportunidades y ante la ley.

La utilización de aplicaciones de IA para la identificación biométrica viene siendo cada vez más frecuente. Las nuevas políticas en materia de seguridad utilizan estos sistemas, que permiten reconocer a las personas de manera inequívoca y aplican de manera automática una serie de técnicas que pueden resultar especialmente intrusivas. Este es el caso de las tecnologías de vigilancia que permiten la “identificación remota” de personas en zonas públicas a partir de la recopilación y uso de los rasgos físicos o de patrones propios de su conducta. Aunque esto entraña riesgos específicos en materia de derechos humanos, la regulación de estas políticas se halla en un limbo jurídico.

En este mismo contexto, el desarrollo de “ciudades inteligentes” no deja de plantear importantes desafíos, especialmente desde el punto de vista de la privacidad. La originalidad de este proyecto reside precisamente en la adopción de decisiones “inteligentes” y “sostenibles” a partir de los datos relativos a diversos aspectos de la vida y comportamientos de la población que se recopilan con carácter masivo[13].  Se introducen así medidas que pueden ser limitativas desde el punto de vista de los derechos humanos, como la elaboración de perfiles, la introducción de videovigilancia o la instalación de sensores en zonas públicas, que se justifican sobre la base de la necesidad de gestionar de forma eficiente los activos y recursos y de garantizar la seguridad.

Elaboración de perfiles y la clasificación social

Los big data ofrecen múltiples posibilidades de categorización y, como sabemos, las empresas privadas, principalmente las redes sociales y los proveedores de servicios en la nube, tratan grandes cantidades de datos personales y realizan clasificaciones sociales a partir de las grandes masas de datos que recopilan. Sin embargo, la normativa en materia de protección de datos resulta a todas luces insuficiente para contener la proliferación de estas prácticas, que no se limitan a los propósitos comerciales, sino que también pueden ponerse a disposición de otros objetivos, como la manipulación y el control de masas a efectos ideológicos o políticos.

Sin duda, uno de los usos de los sistemas de IA que más rechazo ha provocado es su utilización por los gobiernos para propósitos de clasificación social o para la puntuación de las personas (ACNUDH, 2021: párr. 45). La propuesta de reglamento sobre la IA de la Comisión Europea acoge la prohibición de desarrollar y usar IA para manipular subliminalmente a las personas, clasificar socialmente a los ciudadanos o vigilarlos indiscriminadamente de forma remota. Sin embargo, debe tenerse en cuenta que este texto introduce toda una serie de excepciones en el texto que pueden derivar en su aplicación en contradicción con el principio de igualdad.

Nuevos retos

La irrupción y el impacto en nuestras sociedades de novedosas tecnologías, como las que buscan aumentar las capacidades cognitivas del ser humano, no pueden banalizarse[14]. Las denominadas “neurotecnologías” son prometedoras en el campo médico, si bien preocupa su inminente comercialización para otros usos que se dirigen a la mejora cognitiva del ser humano. Tales usos tienen la capacidad de afectar tanto a la autonomía y la agencia humana como a su libertad de pensamiento, y pueden ser objeto de usos no deseados. Por eso, aunque se presentan como formas de aumentar el “rendimiento humano”, cada vez existen más voces que alertan del peligro de que estas aplicaciones se desarrollen y comercialicen sin una adecuada regulación. Las neurotecnologías permiten modular los procesos mentales y, en consecuencia, alterar la personalidad, el comportamiento y las emociones de las personas. Son por ello altamente susceptibles de ser utilizadas tanto por los Estados como por los actores privados para propósitos ilegítimos o abusivos como el control, la vigilancia o la manipulación mental (Rickli & Ienca, 2021: 198).

El rápido avance de estas tecnologías, de nuevo, pone en evidencia las lagunas normativas e institucionales que existen. Faltan normas que protejan de manera particular la recolección y tratamiento de datos neuronales, así como los nuevos riesgos que el acceso a esta información plantea en materia de privacidad. Su comercialización a nivel global contribuiría a exacerbar las desigualdades entre los individuos, creando nuevas tipologías de discriminación. Es más, se afirma que, con el tiempo, el acceso a estas tecnologías podría conducir al establecimiento de una especie de “élite dominante” que estaría integrada por aquellos que tienen acceso a estas aplicaciones que permiten la mejora cognitiva. Sin duda, la falta de avances hacia un marco de regulación global que sea aceptado de manera general por los Estados contribuye a aumentar los desequilibrios entre ellos, generando al mismo tiempo una mayor inseguridad internacional[15].

Seguridad internacional

Otro aspecto fundamental del nuevo marco de gobernanza consiste en conseguir un entendimiento común global sobre la necesidad de prohibir el desarrollo y utilización de ciertas tecnologías que, por sus propias características, no pueden utilizarse de acuerdo con el derecho internacional. Se trata de impedir que se empleen en detrimento de la paz y la seguridad internacionales y potenciar sus usos pacíficos y por el bien común de la humanidad. Hay que reconocer que los avances en materia de desarme y prohibición de estos sistemas de armas basados en las nuevas tecnologías son lentos y a menudo decepcionantes. 

Prohibición del desarrollo, comercialización y uso de ciertas tecnologías

El potencial uso de sistemas de armas autónomos letales, capaces de seleccionar y atacar un objetivo sin intervención humana, ha dado lugar a diversas iniciativas para lograr su prohibición[16]. La pérdida de control y criterio humano en el uso de la fuerza no sólo aumenta el riesgo de escalada de los conflictos, sino que además se considera inaceptable desde el punto de vista humanitario, jurídico y ético (CICR, 2021). Existe un alto riesgo de que este tipo de tecnologías proliferen de forma descontrolada y por eso urge la adopción de un marco normativo internacional vinculante a nivel global y aplicable a este tipo específico de sistemas (CICR, 2022).

El principal foro de discusión se ha desarrollado en el marco de la Convención sobre Ciertas Armas Convencionales, donde, desde 2014, los Estados partes tratan las cuestiones relativas a los sistemas de armas autónomos letales. En 2019, dichos Estados adoptaron, a propuesta del grupo de expertos, una serie de principios rectores de carácter general que no recogen el estado avanzado del debate sobre las especificidades de estas tecnologías ni los avances en el debate sobre los aspectos jurídicos y éticos (Reunión de las Altas Partes Contratantes en la Convención sobre Prohibiciones o Restricciones del Empleo de Ciertas Armas Convencionales que Puedan Considerarse Excesivamente Nocivas o de Efectos Indiscriminados, 2019). Se reafirma el principio de que el ser humano debe mantener la responsabilidad por las decisiones que se adopten en la utilización de estos sistemas autónomos letales, cuyo uso y desarrollo debe regirse por el derecho internacional, incluido el derecho internacional humanitario. Este cuerpo de normas también debe aplicase a la interacción entre el ser humano y la máquina, que puede adoptar diversas formas y producirse en distintas etapas del ciclo de vida del arma.

Promoción de los usos pacíficos

La seguridad cibernética se encuentra hoy en el centro de las tensiones geopolíticas, debido a las distintas visiones que existen con respecto al papel regulador que debe desempeñar el Estado. A través del espacio digital fluyen una cantidad ingente de datos e informaciones que deben ser protegidos para salvaguardar no solo los derechos de los usuarios, sino también la seguridad nacional. Diversos actores, particulares, grupos u organizaciones, incluidas organizaciones delictivas, que también pueden actuar por cuenta de Estados, pueden hacer uso de esas plataformas para fines no legítimos y malintencionados como el robo masivo de datos o los ciberataques a instituciones públicas. Al tener doble uso, también se recurre a ellas con fines militares.

En el ámbito de la ONU, se están desarrollando diversas iniciativas que se centran en buscar medidas que permitan garantizar el uso de las tecnologías de la información y de las telecomunicaciones (TIC) “de manera pacífica por el bien común de la humanidad y para promover el desarrollo pacífico de todos los países, cualquiera que sea su nivel de desarrollo científico y tecnológico” (Asamblea General de las Naciones Unidas, 2020: 1; véase también Grupo de Expertos Gubernamentales sobre los avances en la Información y las Telecomunicaciones en el Contexto de la Seguridad Internacional, 2013). Con esta finalidad, en 2015 se propusieron unas medidas voluntarias de comportamiento responsable dirigidas a promover la paz y la estabilidad en el ciberespacio, que buscan fomentar la confianza entre los Estados industriales y aquellos en vías de desarrollo, así como el intercambio de información (Grupo de Expertos Gubernamentales sobre los avances en la Información y las Telecomunicaciones en el Contexto de la Seguridad Internacional, 2015; Asamblea General de las Naciones Unidas, 2015: párr. 2.a). En 2020, la Asamblea General estableció un Grupo de Trabajo de Composición Abierta sobre los Avances en la Esfera de la Información y las Telecomunicaciones en el Contexto de la Seguridad Internacional con el encargo de seguir elaborando un marco normativo que venga a garantizar el comportamiento responsable de los Estados en este ámbito (Asamblea General de las Naciones Unidas, 2020: párr. 1).

Se aspira así a que estas tecnologías “se utilicen de manera pacífica por el bien común de la humanidad y para promover el desarrollo sostenible de todos los países, cualquiera que sea su nivel de desarrollo científico” (Asamblea General de las Naciones Unidas, 2020). A tal fin, parece imprescindible que se salvaguarde la tecnología digital destinada a sustentar algunas funciones básicas, como el acceso a los alimentos, el agua, la vivienda, la energía, la atención sanitaria y el transporte, consideradas infraestructuras indispensables. Por otra parte, los Estados deberían dotarse de capacidad institucional y tecnológica para responder a este tipo de amenaza mediante un “Equipo Informático de Respuesta de Emergencia” (Secretario General de las Naciones Unidas, 2020: párr. 62).

Aunque estos avances resulten esperanzadores, lo cierto es que no están lo suficientemente evolucionados como para pensar que existe una visión común sobre ciertas cuestiones relativas a la confianza y seguridad. Sin este entendimiento, los esfuerzos colectivos dirigidos a que el entorno digital se ponga al servicio del logro de los ODS no pueden ser efectivos (Secretario General de las Naciones Unidas, 2020: párr. 65).

Conclusiones

La cuarta revolución industrial en la que parece que nos hallamos sumergidos resulta a partes iguales excitante e inquietante. Excitante, por las enormes posibilidades para introducir el cambio estructural positivo que estas nuevas tecnologías parecen ofrecer. Inquietante, porque las dinámicas institucionales y culturales existentes parecen indicar lo contrario, ya que el grado de desarrollo de la arquitectura de gobernanza tecnológica no resulta adecuado ni está lo suficientemente maduro como para poder afrontar los cambios por venir. La coyuntura actual tampoco acompaña en la consecución de los ambiciosos objetivos que los Estados han suscrito mediante la Agenda 2030.

En efecto, no se entiende cómo estos nuevos avances tecnológicos sin un marco regulatorio adecuado de las actividades empresariales y una reorientación de sus objetivos, y sin estrategias específicas destinadas a redistribuir los beneficios, pueden contribuir a alcanzar el ODS 10, relativo a la reducción de las desigualdades en los países y entre ellos. Más bien al contrario, lo más probable es que en la presente coyuntura los mismos se pongan al servicio de objetivos y expectativas que no representan el interés público y general, convirtiéndose más bien en un elemento que marca la superioridad entre los que tienen esas tecnologías y los que no.

Quizás el problema fundamental sea temporal, el tiempo que hace falta para modelar un marco jurídico, económico y político adaptado y cuyos pilares han de establecerse previamente sobre la base de un consenso global. El sistema multilateral de la ONU resulta un actor crucial en el desarrollo de nuevos mecanismos para la gobernanza global tecnológica, si bien debe seguir evolucionando a fin de garantizar que esta sea democrática, representativa e inclusiva, además de efectiva. Una de las responsabilidades esenciales de esta organización consiste justamente en velar por que estos desarrollos se produzcan y empleen dentro de los objetivos que marca su Carta fundacional. Ello implica garantizar que las estrategias y políticas integren de manera sistemática las consideraciones de derechos humanos y en materia de consolidación democrática. Es más, la organización debe otorgar a dichas consideraciones la posición que les corresponde, desarrollando políticas y estrategias específicas a tal efecto, como refuerzo de las que impulsan la cooperación tecnológica.

Sin duda, una de las principales fallas en el sistema se debe a la renuencia del sector privado a reconocer el valor de orientar la actividad empresarial hacia las necesidades prioritarias y los intereses públicos, para garantizar que su repercusión sea positiva en la sociedad. Esta actitud a menudo es apoyada por los gobiernos, que anteponen sus intereses económicos, políticos, ideológicos, o geoestratégicos de carácter cortoplacista al avance de políticas que redunden en favor de la justicia social. Se considera por ello imprescindible la adopción de regulaciones estrictas que permitan dirigir de manera racional y eficiente estas actividades hacia la solución de las necesidades reales y apremiantes de la sociedad.

Queda, por tanto, aún mucho por hacer para que la ciudadanía confíe en que la nueva arquitectura de gobernanza tecnológica se ponga al servicio del interés público y el avance social, lo que resulta imprescindible para eliminar las desigualdades y distribuir de manera equitativa los beneficios. Dice el sociólogo suizo Jean Ziegler que “el orden caníbal del mundo que ha creado el capitalismo debe ser radicalmente destruido, pero las grandes conquistas de la ciencia y de la tecnología no solo deben ser conservadas, sino potenciadas. El trabajo, el talento, el genio humanos deben servir al bien común, al interés público de todos nosotros −de todos los humanos− y no solo al confort, el lujo y el poderío de una minoría” (Ziegler, 2021: 34).

Nota sobre la autora:

Milena Costas Trascasas es Doctora en Derecho, trabaja como consultora independiente en derechos humanos y es miembro del Comité Asesor del Consejo de Derechos Humanos de la ONU.

Referencias

ACNUDH (2017), Promoción, protección y disfrute de los derechos humanos en Internet: medios de cerrar la brecha digital entre los géneros desde una perspectiva de derechos humanos. Informe del Alto Comisionado de las Naciones Unidas para los Derechos Humanos, Doc. ONU A/HRC/35/9, 5 de mayo.

  • (2021), El derecho a la privacidad en la era digital. Informe de la Alta Comisionada de las Naciones Unidas para los Derechos Humanos, Doc. ONU A/HRC/48/31, 13 de septiembre.

Asamblea General de las Naciones Unidas (2015), Avances en la esfera de la información y las telecomunicaciones en el contexto de la seguridad internacional, Doc. ONU A/RES/70/237, 30 de diciembre.

  • (2020), Avances en la esfera de la información y las telecomunicaciones en el contexto de la seguridad internacional, Doc. ONU A/RES/75/240, 31 de diciembre.

Bachelet, Michelle (2021), “Los riesgos de la inteligencia artificial para la privacidad exigen medidas urgentes”, Comunicado de Prensa, OACNUDH, 15 de septiembre: https://www.ohchr.org/es/press-releases/2021/09/artificial-intelligence-risks-privacy-demand-urgent-action-bachelet

CEPD-SEPD (2021), Dictamen conjunto 5/2021 sobre la propuesta de Reglamento del Parlamento Europeo y del Consejo por el que se establecen normas armonizadas en materia de inteligencia artificial (Ley de Inteligencia Artificial), 18 de junio.

CICR (2021), “Posición del CICR sobre los sistemas autónomos de armas”, Ginebra, 12 de mayo.

  • (2022) “Armas autónomas: el CICR insta a los Estados a avanzar hacia la negociación de un tratado”, 8 de agosto.

Comité Asesor del Consejo de Derechos Humanos de la ONU (2021), Informe del Comité Asesor del Consejo de Derechos Humanos. Impactos, oportunidades y retos que pueden entrañar las tecnologías digitales nuevas y emergentes en relación con la promoción y la protección de los derechos humanos, Doc. ONU A/HRC/47/52, 19 de mayo.

Council of Europe (2019a), Declaration by the Committee of Ministers on the manipulative capabilities of algorithmic processes, 13 February.

Gneiting, Uwe, Lusiani, Nicholas & Tamir, Irit (2020), Poder, ganancias y pandemia. De una economía de élites a una encomia para las personas, Oxford: Oxfam International.

Grupo de Expertos Gubernamentales sobre los avances en la Información y las Telecomunicaciones en el Contexto de la Seguridad Internacional (2013), Informe del Grupo de Expertos Gubernamentales sobre los Avances en la Información y las Telecomunicaciones en el Contexto de la Seguridad Internacional, Doc. ONU A/68/98, 24 de junio.

  • (2015), Informe del Grupo de Expertos Gubernamentales sobre los Avances en la Información y las Telecomunicaciones en el Contexto de la Seguridad Internacional, Doc. ONU A/70/174, 22 de julio.

Guterres, António (2018), “Remarks at the Web Summit”, Lisboa, 5 de noviembre: https://www.un.org/sg/en/content/sg/speeches/2018-11-05/remarks-web-summit

Hern, Alex (2018), “Cambridge Analytica: how did it turn clicks into votes”, The Guardian, 6 May.

Hidalgo, Patricia (2022), “El contenido «ultrafalso» que podría convertirse en verdad”, Forbes, 2 de febrero.

High-level Panel on Digital Cooperation (2019), The Age of Digital Interdependence. Report of the UN Secretary-General’s High-level Panel on Digital Cooperation: https://www.un.org/en/pdfs/DigitalCooperation-report-for%20web.pdf  

Ibrahim, Sara (2021), “Cómo los ‘deepfakes’ están cambiando nuestra visión de la realidad”, Swissinfo, 23 de agosto.

Jorge Ricart, Raquel (2020) “Guía para la gobernanza tecnológica global”, Esglobal, 21 de diciembre: https://www.esglobal.org/guia-para-la-gobernanza-tecnologica-global/

Laidler, John (2019), “High tech is watching you”, The Harvard Gazette, 4 March: https://news.harvard.edu/gazette/story/2019/03/harvard-professor-says-surveillance-capitalism-is-undermining-democracy/ 

Lashitew, Addisu (2021), “Stakeholder capitalism arrives at Davos”, Brookings, 21 January: https://www.brookings.edu/blog/future-development/2020/01/21/stakeholder-capitalism-arrives-at-davos/ 

OACNUDH (2020), “Addressing Business Model Related Human Rights Risks. A B-Tech Foundational Paper”, July: https://www.ohchr.org/sites/default/files/Documents/Issues/Business/B-Tech/B_Tech_Foundational_Paper.pdf

Relator Especial sobre la extrema pobreza y los derechos humanos (2019), La extrema pobreza y los derechos humanos. Informe del Relator Especial sobre la extrema pobreza y los derechos humanos, Doc. ONU A/74/493, 11 de octubre.

Relatora Especial sobre las formas contemporáneas de racismo, discriminación racial, xenofobia y formas conexas de intolerancia (2021), Discriminación racial y xenófoba y uso de tecnologías digitales en el control de fronteras e inmigración Informe de la Relatora Especial sobre las formas contemporáneas de racismo, discriminación racial, xenofobia y formas conexas de intolerancia, Doc. ONU A/HRC/48/76, 17 de diciembre.

Reunión de las Altas Partes Contratantes en la Convención sobre Prohibiciones o Restricciones del Empleo de Ciertas Armas Convencionales que Puedan Considerarse Excesivamente Nocivas o de Efectos Indiscriminados (2019), Informe final, Doc. ONU CCW/MSP/2019/9, 13 de diciembre.

Rickli J-M., & Ienca, M. (2021), “The Security and Military Implications of Neurotechnology and Artificial Intelligence”, en Friedrich, Orsolya, Wolkenstein, Andreas, Bublitz, Christoph, Jox, Ralf J. & Racine, Eric (Eds.), Clinical Neurotechnology meets Artificial Intelligence. Advances in Neuroethics, Cham: Springer, pp. 197-214.

Schwab, Klaus (2016), “The Fourth Industrial Revolution: what it means, how to respond”, World Economic Forum, 14 January: https://www.weforum.org/agenda/2016/01/the-fourth-industrial-revolution-what-it-means-and-how-to-respond/

Secretario General de las Naciones Unidas (2020), Informe del Secretario General. Hoja de ruta para la cooperación digital: aplicación de las recomendaciones del Panel de Alto Nivel sobre la Cooperación Digital, Doc. ONU A/74/821, 29 de mayo.

Stiglitz, Joseph E. (2016), Un autre monde. Contre le fanatisme du marché (Making Globalization Work), Norton: Fayard.

Sunstein, Cass R. (2020), “Algoritmos: ¿Una nueva herramienta contra la discriminación ilegal?”, Anuario Internacional CIDOB 2020, p. 54.

Tribunal Europeo de Derechos Humanos (2021), Big Brother Watch and Others v. the United Kingdom [GC], nos. 58170/13 and 2 others, 25 May.

Ziegler, Jean (2021), El capitalismo explicado a los jóvenes y a los no tan jóvenes, Barcelona: Ediciones Invisibles. Zuboff, Shoshana (2019), The Age of Surveillance Capitalism, New York: PublicAffairs.

[1] De esta forma, se identifican una serie de características como relevantes, se sintetizan y traducen en un formato estructurado que permite realizar múltiples clasificaciones y análisis.

[2] Desde 2014, Facebook utilizó la información de más de 50 millones de usuarios sin su consentimiento para comercialización con terceros. Los datos se recogieron para un supuesto uso académico, pero se explotaron para desarrollar estrategias electorales en el marco de las elecciones presidenciales estadounidenses de 2016 que ganó el republicano Donald Trump. La compañía fue multada por los Estados Unidos y el Reino Unido por violar la ley de protección de datos.

[3] A tal fin, los expertos de la Oficina del Alto Comisionado para los Derechos Humanos consideran necesario aplicar una “combinación inteligente” de medidas políticas y regulatorias para recompensar a las empresas que tomen medidas razonables para evitar o mitigar los riesgos para los derechos humanos que se derivan de sus modelos de negocio y para que rindan cuentas las que no lo hagan, así como para apoyar a las que busquen modelos empresariales alternativos que conlleven menos riesgos, o de menor alcance.

[4] Por ejemplo, la OCDE aprobó en 2019 una Recomendación sobre la innovación responsable en neurotecnología con el objetivo de orientar a los gobiernos y a los innovadores para que anticipen y aborden los retos éticos, jurídicos y sociales que plantean estas nuevas tecnologías, al mismo tiempo que promueven la innovación en este campo.

[5] Sobre la base de los Principios Rectores sobre las Empresas y los Derechos Humanos se está negociando un tratado multilateral en el seno de la ONU. También, en febrero de 2022, la Comisión Europea presentó una Propuesta de Directiva sobre la diligencia debida en materia de sostenibilidad de las empresas.

[6] Por ejemplo, las visitas virtuales a través de las nuevas tecnologías en la telemedicina pueden reducir los inconvenientes causados por la distancia y facilitar un mejor acceso a los servicios médicos a un espectro de la población más amplio, evitando la posible exclusión social de las personas.

[7] Esta se define como el desfase que existe entre personas, hogares, empresas y zonas geográficas de diferentes niveles socioeconómicos en lo que se refiere a sus oportunidades de acceso a las tecnologías de la información y las comunicaciones (TIC) y al uso de Internet (ACNUDH, 2017: párr. 1).

[8] En realidad, este proceso, que consiste en la migración de todo tipo de servicios esenciales a plataformas on-line, ya lleva tiempo implantándose en muchos países.

[9] La técnica deepfake utiliza la inteligencia artificial para generar imágenes sintéticas que parecen tan reales que engañan no solo a nuestros ojos, sino también a los algoritmos utilizados para reconocerlas. Los contenidos falsos están diseñados para sintonizar con la forma de pensar –preferencias, miedos, prejuicios existentes– de las diversas personas y comunidades. A medida que las herramientas se hagan más sofisticadas, podrán desarrollarse estrategias de desinformación dirigidas a confundir a la opinión pública y que en la actualidad se usan para difundir de manera masiva informaciones que polarizan a la sociedad.

[10] En Gabón, la reaparición del presidente Ali Bongo después de meses de ausencia de la escena pública por enfermedad provocó dudas sobre si la persona que aparecía en el video era una recreación de él hecha por ordenador. Esta situación desembocó en un intento de golpe de Estado en enero de 2019.

[11] El caso tiene su origen en las revelaciones hechas por Edward Snowden, ex consultor nacional de inteligencia informática de los Estados Unidos, en relación con los programas electrónicos de vigilancia administrados por los servicios de inteligencia del Reino Unido y los Estados Unidos de América.

[12] Quizás el marco más desarrollado es el que se ha desarrollado en el seno de la Unión Europea, donde, tras la adopción del Reglamento General de Protección Datos (RGPD), se ha propuesto un nuevo reglamento destinado a armonizar la respuesta de los Estados Miembros en materia de inteligencia artificial. Este plantea un escenario de tecnologías y sistemas de “alto riesgo” para la salud y la seguridad o los derechos fundamentales de las personas, los cuales tendrán que cumplir una serie de requisitos horizontales obligatorios y procedimientos de homologación para ser fiables antes de poder introducirse en el mercado de la Unión.

[13] La Comisión Europea ha establecido seis elementos asociadas a distintos servicios a los cuales debe ajustarse una “Smart City”: innovación y aumento de la productividad mediante el uso de las TIC (economía inteligente); planificación urbana verde, utilización eficiente de recursos y control de los niveles de polución (medio ambiente inteligente); transparencia y participación de los ciudadanos (gobierno inteligente); altos niveles de calidad de vida, ligados a las facilidades que ofrecen las TIC (estándar de vida inteligente); sistemas logísticos de transporte integrado e información a tiempo real (movilidad inteligente), y sociedad inclusiva e innovadora (ciudadanía inteligente).

[14] Avances como la estimulación cerebral profunda, las interfaces cerebro-ordenador y las redes de neuronas artificiales, prometen un mayor conocimiento y supervisión de la actividad cerebral de gran utilidad en el campo médico. Sin embargo, la falta de regulación actual permite también su desarrollo y uso para fines comerciales.

[15] En octubre de 2022, el Consejo de Derechos Humanos adoptó, con un amplio apoyo por parte de los Estados, la Resolución A/HRC/RES/51/3, de 6 de octubre de 2022, titulada La neurotecnología y los derechos humanos.

[16] En la sociedad civil ha surgido con este propósito una amplia coalición de organizaciones integradas en el movimiento Stop Killer Robots. El propio Secretario General de la ONU hecho un llamamiento para la prohibición de estas armas que ha definido como “políticamente inaceptables y moralmente repugnantes” (Guterres, 2018).