Amnist铆a Internacional
La utilizaci贸n del marco jur铆dico internacional de los derechos humanos permite situar los da帽os causados por los sistemas digitales en un lenguaje claro en materia de derechos humanos y abre la posibilidad de interpelar a los Estados sobre la base de disposiciones jur铆dicas vinculantes de las que son parte. Cuando los Estados utilizan sistemas de IA en la prestaci贸n de servicios, ponen en riesgo una amplia gama de derechos humanos. En este cap铆tulo se describen algunos de ellos, junto con varios estudios de casos.
En este cap铆tulo se presenta una lista no exhaustiva de m茅todos de investigaci贸n de derechos humanos que pueden ser 煤tiles a la hora de abordar los sistemas algor铆tmicos. A continuaci贸n, se analizan los riesgos y violaciones de derechos humanos m谩s habituales que causan los sistemas algor铆tmicos, junto con estudios de casos.
Llevar a cabo una investigaci贸n de derechos humanos sobre un sistema algor铆tmico requiere una comprensi贸n profunda, multifac茅tica y contextual de las complejas cuestiones que rodean el impacto que tiene el uso de algoritmos del sector p煤blico en los derechos de las personas, incluida la pol铆tica del sistema. Algunos de los m茅todos disponibles y las posibles fuentes de datos primarios y secundarios son:Testimonios y grupos de enfoque con las comunidades afectadas: las pruebas testimoniales son el n煤cleo de las investigaciones sobre derechos humanos. Organizar entrevistas o grupos de enfoque con las personas y comunidades afectadas constituye la columna vertebral de cualquier prueba de da帽os de los sistemas algor铆tmicos. Todo ello puede combinarse con m茅todos participativos, o tambi茅n implementarse de manera que las comunidades puedan llevar a cabo sus propias investigaciones entre pares.
An谩lisis jur铆dico: el an谩lisis de los instrumentos y normas internacionales de derecho internacional de los derechos humanos pertinentes, los informes y estudios pertinentes de la ONU, las interpretaciones nacionales de las normas internacionales y el an谩lisis de la legislaci贸n local que rige los organismos del sector p煤blico que utilizan el sistema algor铆tmico (como los encargados de aplicar la ley o de la protecci贸n social). Otras fuentes de datos pueden ser las transcripciones de los tribunales y de las decisiones de los organismos de igualdad y defensores del pueblo.
An谩lisis del discurso: el an谩lisis del entorno sociopol铆tico en el que se implementa el sistema algor铆tmico. Considere la posibilidad de examinar la cobertura medi谩tica del tema, las entrevistas concedidas por autoridades gubernamentales a los medios de comunicaci贸n, los documentos de pol铆tica gubernamental y las declaraciones oficiales. Entreviste a personas que trabajen en temas de justicia social en el plano local para comprender el contexto.
Datos de encuestas: considere la posibilidad de llevar a cabo encuestas breves a personas sujetas a la tecnolog铆a o al sistema. En la investigaci贸n de Amnist铆a Internacional sobre el uso de la tecnolog铆a por parte del gobierno de Reino Unido en la protecci贸n social, se utilizaron encuestas para comprender las experiencias de los solicitantes de prestaciones sociales.
Aunque los derechos humanos pueden tener varias bases en el derecho internacional, la mayor铆a se reflejan en tratados internacionales y regionales, que son vinculantes para los Estados que son parte en ellos.
En el 谩mbito internacional, incluyen:
La informaci贸n sobre si un Estado concreto es parte en un tratado espec铆fico se puede encontrar en Internet.
El significado pr谩ctico de estos derechos evoluciona con el tiempo, por lo que se debe hacer referencia a formas de “derecho indicativo” que puedan ayudar en esta interpretaci贸n. Entre las fuentes de derecho indicativo se incluyen las resoluciones y declaraciones de los 贸rganos de la ONU y los informes de mecanismos expertos, entre ellos las Observaciones generales y otros trabajos de los 脫rganos creados en virtud de tratados encargados de interpretar tratados espec铆ficos, y los informes de los titulares de mandatos tem谩ticos de la ONU (“procedimientos especiales”).
Muchos Estados tambi茅n est谩n obligados por tratados regionales de derechos humanos. Entre ellos figuran la Convenci贸n Americana sobre Derechos Humanos (en el sistema interamericano) y la Carta Africana de Derechos Humanos y de los Pueblos (en el sistema africano de derechos humanos), as铆 como la Carta de los Derechos Fundamentales de la Uni贸n Europea y el Convenio Europeo de Derechos Humanos, (en los sistemas de la Uni贸n Europea y del Consejo de Europa, respectivamente). Los tribunales regionales y los 贸rganos creados en virtud de tratados, como la Comisi贸n y la Corte Interamericanas de Derechos Humanos, la Corte Africana de Derechos Humanos y de los Pueblos, el Tribunal de Justicia de la Uni贸n Europea y el Tribunal Europeo de Derechos Humanos examinan casos y dictan sentencias en las que interpretan la aplicaci贸n de estas normas; los sistemas regionales tambi茅n suelen tener sus propios titulares de mandatos tem谩ticos. Los tribunales subregionales, como el Tribunal de Justicia de 脕frica Oriental o el Tribunal de Justicia de la CEDEAO, tambi茅n pueden dictar sentencias en las que interpretan los tratados regionales.
M谩s all谩 de los tratados de derechos humanos, los tratados y reglamentos internacionales o regionales sobre protecci贸n de datos tambi茅n pueden contener salvaguardias pertinentes. Entre ellos figuran el Convenio para la protecci贸n de las personas con respecto al tratamiento de datos personales (“Convenio 108+”, abierto a la firma de pa铆ses no miembros del Consejo de Europa), la Convenci贸n Africana sobre Ciberseguridad y Protecci贸n de Datos Personales y el Reglamento General de Protecci贸n de Datos (RGPD) de la UE.
Adem谩s, los derechos humanos est谩n —o deber铆an estar— protegidos por la legislaci贸n nacional, incluidas las decisiones de los tribunales nacionales.
El derecho a la intimidad es un derecho garantizado por el Pacto Internacional de Derechos Civiles y Pol铆ticos, un tratado fundamental y vinculante en materia de derechos humanos que han ratificado 174 de los 193 Estados miembros de la ONU, as铆 como por tratados regionales y la legislaci贸n nacional de muchos Estados. Para cumplir la legislaci贸n y las normas en materia de derechos humanos, las restricciones al derecho a la intimidad deben ajustarse al principio de legalidad, servir a un objetivo leg铆timo y ser necesarias y proporcionadas a dicho objetivo.
Las estrategias utilizadas para detectar el fraude en los Estados del bienestar digitales pueden socavar el derecho a la intimidad. Los Estados del bienestar digitales a menudo requieren fusionar m煤ltiples bases de datos gubernamentales para detectar posibles fraudes dentro del sistema de bienestar. A menudo, ello supone la extracci贸n y el tratamiento a gran escala de datos personales, lo que socava el derecho a la intimidad. Algunos sistemas de bienestar utilizan tanto el tratamiento de datos personales como formas “anal贸gicas” de vigilancia, como pedir a vecinos y amigos que denuncien a personas sospechosas de cometer fraude en las prestaciones sociales. Todo ello agrava a煤n m谩s la violaci贸n del derecho a la intimidad. Esta vigilancia anal贸gica y digital combinada demuestra la importancia de adoptar un enfoque hol铆stico en la investigaci贸n sobre derechos humanos.
La investigaci贸n de Amnist铆a Internacional sobre el sistema de prestaciones sociales de Dinamarca, administrado por la autoridad p煤blica Udbetaling Danmark (UDK, o Pay Out Denmark) y la empresa Arbejdsmarkedets Till忙gspension (ATP), demuestra la vigilancia generalizada en el sistema de bienestar social y socava el derecho a la intimidad.
La investigaci贸n revel贸 que el gobierno dan茅s aplic贸 una legislaci贸n que permite la extracci贸n y el tratamiento a gran escala de los datos personales de los beneficiarios de prestaciones sociales con fines de detecci贸n de fraudes. Ello incluye permitir la fusi贸n de bases de datos gubernamentales y el uso de algoritmos de control del fraude en estos datos, as铆 como el uso no regulado de las redes sociales y, seg煤n informes, el uso de datos de geolocalizaci贸n para investigaciones de fraude. Son datos de la poblaci贸n residente que recibe prestaciones y de los miembros de sus hogares, y se recopilan sin su consentimiento. Esta recopilaci贸n y fusi贸n de grandes cantidades de datos personales contenidos en las bases de datos gubernamentales obliga a los beneficiarios de prestaciones sociales a renunciar a su derecho a la intimidad y a la protecci贸n de datos. La recopilaci贸n y el procesamiento de grandes cantidades de datos —incluidos datos sensibles que contienen caracter铆sticas que podr铆an revelar la raza y el origen 茅tnico, la salud, la discapacidad o la orientaci贸n sexual— y el uso de las redes sociales son m茅todos muy invasivos y desproporcionados para detectar el fraude. Adem谩s, la investigaci贸n de Amnist铆a Internacional revel贸 que el uso de estos datos solo origin贸 el 30% de las investigaciones de fraude, lo que suscita dudas sobre la necesidad de procesarlos.
Los solicitantes y beneficiarios de prestaciones tambi茅n est谩n sujetos a formas “tradicionales” o “anal贸gicas” de vigilancia y control con fines de detecci贸n del fraude. Estos m茅todos incluyen la reevaluaci贸n persistente por parte de los municipios del cumplimiento de los requisitos, casos o informes de control del fraude de otras autoridades p煤blicas, incluidas las fiscales y policiales, y denuncias an贸nimas de miembros del p煤blico. Cuando se combinan con m茅todos de examen digital excesivamente amplios, estas formas anal贸gicas de control y vigilancia crean un sistema de vigilancia pernicioso que entra en conflicto con el derecho a la intimidad.
El derecho a la no discriminaci贸n y el derecho a la igualdad son derechos garantizados por el Pacto Internacional de Derechos Civiles y Pol铆ticos (PIDCP), as铆 como por la mayor铆a de los dem谩s tratados internacionales y regionales, y por la legislaci贸n nacional de la mayor铆a de los Estados. El Comit茅 de Derechos Humanos (CCRP) de la ONU define la discriminaci贸n como “toda distinci贸n, exclusi贸n, restricci贸n o preferencia que se basen en determinados motivos, como la raza, el color, el sexo, el idioma, la religi贸n, la opini贸n pol铆tica o de otra 铆ndole, el origen nacional o social, la posici贸n econ贸mica, el nacimiento o cualquier otra condici贸n social, y que tengan por objeto o por resultado anular o menoscabar el reconocimiento, goce o ejercicio, en condiciones de igualdad, de los derechos humanos y libertades fundamentales de todas las personas”. El PIDCP establece que “todas las personas son iguales ante la ley” y que la ley “prohibir谩 toda discriminaci贸n y garantizar谩 a todas las personas protecci贸n igual y efectiva contra cualquier discriminaci贸n por motivos de raza, color, sexo, idioma, religi贸n, opiniones pol铆ticas o de cualquier 铆ndole, origen nacional o social, posici贸n econ贸mica, nacimiento o cualquier otra condici贸n social”.
La digitalizaci贸n y la introducci贸n de la automatizaci贸n y la toma de decisiones algor铆tmica pueden tener un impacto negativo desproporcionado en determinadas comunidades, lo que da lugar a una violaci贸n de los derechos a la igualdad y la no discriminaci贸n. Como ha se帽alado el relator especial de la ONU sobre el racismo, los sistemas de IA pueden dar lugar a discriminaci贸n cuando se utilizan para clasificar, diferenciar, jerarquizar y categorizar, ya que “reproducen los sesgos incorporados en los conjuntos de datos a gran escala capaces de imitar y reproducir los sesgos impl铆citos de los humanos, incluso en ausencia de reglas algor铆tmicas expl铆citas que generen estereotipos”. El relator especial afirm贸 que las tecnolog铆as digitales “pueden combinarse de manera intencional y no intencional para generar estructuras racialmente discriminatorias que socavan de manera hol铆stica o sistem谩tica el disfrute de los derechos humanos de determinados grupos, por motivos de raza, etnia u origen nacional, solos o en combinaci贸n con otros motivos. […] las tecnolog铆as digitales [son] capaces de crear y mantener la exclusi贸n racial y 茅tnica en t茅rminos sist茅micos o estructurales”. El relator especial pidi贸 a los Estados “abordar no solo el racismo y la intolerancia expl铆citos en el uso y dise帽o de las tecnolog铆as digitales emergentes, sino tambi茅n, y con la misma seriedad, las formas indirectas y estructurales de discriminaci贸n racial que se derivan del dise帽o y uso de dichas tecnolog铆as”.
En general, el uso de la IA y los sistemas automatizados de toma de decisiones en la distribuci贸n de la seguridad social puede afianzar las pr谩cticas discriminatorias hacia grupos ya marginados.
En el contexto de la IA y la toma de decisiones algor铆tmica, es especialmente importante se帽alar la distinci贸n entre discriminaci贸n directa e indirecta.La discriminaci贸n directa se produce cuando se establece una distinci贸n expl铆cita entre grupos de personas que da lugar a que las personas de algunos grupos tengan menos capacidad que otras para ejercer sus derechos. Por ejemplo, una ley que exija a las mujeres, y no a los hombres, presentar pruebas de un determinado nivel de estudios como requisito previo para votar constituir铆a una discriminaci贸n directa.
La discriminaci贸n indirecta se produce cuando una ley, pol铆tica o trato se presenta en t茅rminos neutros (es decir, sin distinciones expl铆citas), pero perjudica de manera desproporcionada a uno o varios grupos espec铆ficos. Por ejemplo, una ley que exige a todo el mundo presentar una prueba de un determinado nivel de estudios como requisito previo para votar tiene un efecto indirectamente discriminatorio sobre cualquier grupo que tenga menos probabilidades de disponer de una prueba de estudios de ese nivel (como los grupos 茅tnicos u otros grupos sociales desfavorecidos, las mujeres u otros, seg煤n proceda).
Sin embargo, algunos sistemas algor铆tmicos han incluido caracter铆sticas protegidas que hacen que el sistema discrimine directamente entre grupos de personas. Se ha descubierto que otros discriminan indirectamente, a menudo mediante la inclusi贸n de entradas proxy.
Un proxy es una entrada o variable, como una cualidad individual que define a los seres humanos, que utiliza un sistema de IA para establecer distinciones entre personas o grupos sociales. Un proxy puede parecer un dato inocuo que se incluye en un algoritmo. Sin embargo, cuando se correlaciona directa o indirectamente con una caracter铆stica protegida —como el g茅nero, la edad, la raza o la etnia—, da lugar a que el sistema de IA genere decisiones sesgadas. Por ejemplo, cuando se incluye en un algoritmo un dato como el c贸digo postal, a menudo se correlaciona con el estatus socioecon贸mico y la raza, y se convierte en un indicador indirecto —o proxy— de 茅stos. Por lo tanto, puede discriminar indirectamente a determinados grupos raciales o 茅tnicos debido a la segregaci贸n residencial hist贸rica.
La ley de la tarjeta social entr贸 en vigor en marzo de 2022 e introdujo la automatizaci贸n en el proceso de determinaci贸n de la elegibilidad de las personas para diversos programas de asistencia social. Una de las piedras angulares de la ley de la tarjeta social es el registro de la tarjeta social, un sistema de informaci贸n completo y centralizado que utiliza la automatizaci贸n para consolidar los datos personales de los solicitantes y beneficiarios de asistencia social procedentes de diversas bases de datos oficiales del gobierno.
La introducci贸n de la ley de la tarjeta social y el registro de la tarjeta social no pueden aislarse de los contextos sociales e hist贸ricos en los que se integran. Si bien las leyes de Serbia, incluida la ley de la tarjeta social, garantizan la igualdad formal de todas las personas, la aplicaci贸n pr谩ctica de la ley de la tarjeta social y el registro de la tarjeta social no proporciona una igualdad sustantiva o de facto.Las lagunas y los desequilibrios en los datos procesados por sistemas automatizados o semiautomatizados pueden dar lugar a discriminaci贸n. Una trabajadora social comunic贸 a Amnist铆a Internacional que, antes de la introducci贸n del registro de la tarjeta social, y especialmente cuando se trabajaba con comunidades marginadas como la roman铆, los equipos de trabajo social sab铆an que algunos datos eran inexactos o estaban desactualizados. Por ejemplo, varios coches registrados a nombre de una persona que viv铆a en la pobreza extrema no se consideraban activos importantes para tener derecho a la asistencia social, sino que se entend铆a que eran veh铆culos vendidos como chatarra o que ya no exist铆an.
El Ministerio de Trabajo de Serbia insisti贸 en que las leyes que regulan la seguridad social —incluida la ley de la tarjeta social— no trataran de manera diferente a los roman铆es ni a ning煤n otro grupo marginado. El Ministerio tambi茅n afirma que tiene el derecho leg铆timo de utilizar “datos veraces y precisos que son necesarios para el disfrute de los derechos de seguridad social”. El Ministerio no reconoci贸 el hecho de que los conjuntos de datos aparentemente inocuos y objetivos que se utilizan como indicadores de la situaci贸n socioecon贸mica a menudo ignoran el contexto espec铆fico de marginaci贸n de una comunidad, como sus condiciones de vida, las barreras al empleo y sus necesidades particulares.
Debido al contexto hist贸rico y estructural de Serbia, muchas personas de entornos marginados tienen niveles de alfabetizaci贸n b谩sica y alfabetizaci贸n digital persistentemente bajos. Por lo tanto, se enfrentan a dificultades a la hora de interactuar con los departamentos administrativos para mantener al d铆a su documentaci贸n o para apelar su expulsi贸n del sistema de asistencia social. En este sentido, el registro de la tarjeta social representa otra barrera m谩s para acceder a la asistencia social, lo que puede equivaler a una discriminaci贸n indirecta.
La investigaci贸n de Amnist铆a Internacional revel贸 que el registro de la tarjeta social no estaba dise帽ado para tener en cuenta las dificultades y barreras a las que se enfrentan las comunidades que m谩s dependen de la asistencia social, como los roman铆es, las personas con discapacidad y las mujeres. Las mujeres, que est谩n representadas en todos los grupos, tienen m谩s probabilidades de recibir protecci贸n social y tambi茅n pueden enfrentarse a barreras interseccionales adicionales para acceder a sus derechos.
El uso de herramientas automatizadas en los Estados del bienestar puede tener un impacto claro en el derecho a la intimidad y el derecho a la no discriminaci贸n. Sin embargo, llevar nuestro an谩lisis m谩s all谩 de estos derechos puede proporcionar una comprensi贸n m谩s profunda sobre el modo en que estos sistemas afectan a las comunidades.
El Pacto Internacional de Derechos Econ贸micos, Sociales y Culturales (PIDESC) exige a los Estados que respeten, protejan y cumplan un conjunto m谩s amplio de derechos humanos centrados en la necesidad de que los Estados velen por el bienestar y la prosperidad de sus poblaciones. Estos derechos tambi茅n est谩n protegidos por numerosos tratados regionales y por la legislaci贸n nacional de muchos Estados.
Las disposiciones clave del PIDESC pertinentes para los sistemas de bienestar automatizados son el derecho a la seguridad social y el derecho a un nivel de vida adecuado. El derecho a un nivel de vida adecuado incluye “alimentaci贸n, vestido y vivienda adecuados”; el incumplimiento de la obligaci贸n de proporcionar prestaciones de seguridad social pone en peligro la capacidad de satisfacer estas necesidades b谩sicas. Por ejemplo, la automatizaci贸n de las prestaciones sociales tambi茅n puede reducir el acceso a las prestaciones relacionadas con la salud o la discapacidad, lo que puede tener un impacto directo en el derecho a un nivel de vida adecuado y el derecho a la salud.
La sociedad civil lleva a帽os advirtiendo de que los Estados disfrutan de una “edad de oro de la vigilancia”, ya que cada vez m谩s aspectos de nuestra vida —tanto en Internet como en el mundo f铆sico— son accesibles a una creciente gama de nuevas herramientas dise帽adas para rastrearnos. Amnist铆a Internacional ha documentado numerosos tipos de tecnolog铆a cuyo uso afecta a los derechos humanos, en particular los derechos a la libertad de reuni贸n pac铆fica y de asociaci贸n, que est谩n protegidos por los art铆culos 21 y 22 del PIDCP, as铆 como por la CDN, la CRPD y numerosos tratados regionales, adem谩s de la legislaci贸n nacional de muchos Estados.
El uso de la tecnolog铆a de reconocimiento facial, que es fundamentalmente incompatible con los derechos humanos, se est谩 convirtiendo en algo preocupantemente habitual. Amnist铆a Internacional ha documentado abusos relacionados con esta tecnolog铆a en el Territorio Palestino Ocupado, Hyderabad y Nueva York. En Francia, las autoridades propusieron un sistema de videovigilancia basado en la inteligencia artificial en v铆speras de los Juegos Ol铆mpicos de Par铆s. En Pa铆ses Bajos, el uso insuficientemente regulado de c谩maras en manifestaciones pac铆ficas y la falta de transparencia que lleva aparejado han creado un efecto disuasorio en torno al ejercicio del derecho de manifestaci贸n. En Hungr铆a, los cambios jur铆dicos que permiten el uso de la tecnolog铆a de reconocimiento facial para vigilar, entre otras cosas, las marchas del Orgullo, son un motivo de preocupaci贸n grave.
El uso y abuso de estas herramientas tiene efectos especialmente perjudiciales para las comunidades marginadas. Las personas migrantes, en particular, suelen quedar excluidas de las protecciones normativas y ser tratadas como “campos de pruebas” de tecnolog铆as controvertidas, incluidas las de identificaci贸n biom茅trica. La precaria situaci贸n de la poblaci贸n migrante puede llevarla a ser objeto de persecuci贸n por ejercer su derecho a la protesta, protegido por la ley, incluso mediante el uso de software de vigilancia y monitorizaci贸n de las redes sociales, como ha destacado Amnist铆a Internacional en Estados Unidos.
La utilizaci贸n del marco jur铆dico internacional de los derechos humanos permite situar los da帽os causados por los sistemas digitales en un lenguaje claro en materia de derechos humanos y abre la posibilidad de interpelar a los Estados sobre la base de disposiciones jur铆dicas vinculantes de las que son parte. Cuando los Estados utilizan sistemas de IA en la prestaci贸n de servicios, ponen en riesgo una amplia gama de derechos humanos. En este cap铆tulo se describen algunos de ellos, junto con varios estudios de casos.
En este cap铆tulo se presenta una lista no exhaustiva de m茅todos de investigaci贸n de derechos humanos que pueden ser 煤tiles a la hora de abordar los sistemas algor铆tmicos. A continuaci贸n, se analizan los riesgos y violaciones de derechos humanos m谩s habituales que causan los sistemas algor铆tmicos, junto con estudios de casos.
Llevar a cabo una investigaci贸n de derechos humanos sobre un sistema algor铆tmico requiere una comprensi贸n profunda, multifac茅tica y contextual de las complejas cuestiones que rodean el impacto que tiene el uso de algoritmos del sector p煤blico en los derechos de las personas, incluida la pol铆tica del sistema. Algunos de los m茅todos disponibles y las posibles fuentes de datos primarios y secundarios son:Testimonios y grupos de enfoque con las comunidades afectadas: las pruebas testimoniales son el n煤cleo de las investigaciones sobre derechos humanos. Organizar entrevistas o grupos de enfoque con las personas y comunidades afectadas constituye la columna vertebral de cualquier prueba de da帽os de los sistemas algor铆tmicos. Todo ello puede combinarse con m茅todos participativos, o tambi茅n implementarse de manera que las comunidades puedan llevar a cabo sus propias investigaciones entre pares.
An谩lisis jur铆dico: el an谩lisis de los instrumentos y normas internacionales de derecho internacional de los derechos humanos pertinentes, los informes y estudios pertinentes de la ONU, las interpretaciones nacionales de las normas internacionales y el an谩lisis de la legislaci贸n local que rige los organismos del sector p煤blico que utilizan el sistema algor铆tmico (como los encargados de aplicar la ley o de la protecci贸n social). Otras fuentes de datos pueden ser las transcripciones de los tribunales y de las decisiones de los organismos de igualdad y defensores del pueblo.
An谩lisis del discurso: el an谩lisis del entorno sociopol铆tico en el que se implementa el sistema algor铆tmico. Considere la posibilidad de examinar la cobertura medi谩tica del tema, las entrevistas concedidas por autoridades gubernamentales a los medios de comunicaci贸n, los documentos de pol铆tica gubernamental y las declaraciones oficiales. Entreviste a personas que trabajen en temas de justicia social en el plano local para comprender el contexto.
Datos de encuestas: considere la posibilidad de llevar a cabo encuestas breves a personas sujetas a la tecnolog铆a o al sistema. En la investigaci贸n de Amnist铆a Internacional sobre el uso de la tecnolog铆a por parte del gobierno de Reino Unido en la protecci贸n social, se utilizaron encuestas para comprender las experiencias de los solicitantes de prestaciones sociales.
Aunque los derechos humanos pueden tener varias bases en el derecho internacional, la mayor铆a se reflejan en tratados internacionales y regionales, que son vinculantes para los Estados que son parte en ellos.
En el 谩mbito internacional, incluyen:
La informaci贸n sobre si un Estado concreto es parte en un tratado espec铆fico se puede encontrar en Internet.
El significado pr谩ctico de estos derechos evoluciona con el tiempo, por lo que se debe hacer referencia a formas de “derecho indicativo” que puedan ayudar en esta interpretaci贸n. Entre las fuentes de derecho indicativo se incluyen las resoluciones y declaraciones de los 贸rganos de la ONU y los informes de mecanismos expertos, entre ellos las Observaciones generales y otros trabajos de los 脫rganos creados en virtud de tratados encargados de interpretar tratados espec铆ficos, y los informes de los titulares de mandatos tem谩ticos de la ONU (“procedimientos especiales”).
Muchos Estados tambi茅n est谩n obligados por tratados regionales de derechos humanos. Entre ellos figuran la Convenci贸n Americana sobre Derechos Humanos (en el sistema interamericano) y la Carta Africana de Derechos Humanos y de los Pueblos (en el sistema africano de derechos humanos), as铆 como la Carta de los Derechos Fundamentales de la Uni贸n Europea y el Convenio Europeo de Derechos Humanos, (en los sistemas de la Uni贸n Europea y del Consejo de Europa, respectivamente). Los tribunales regionales y los 贸rganos creados en virtud de tratados, como la Comisi贸n y la Corte Interamericanas de Derechos Humanos, la Corte Africana de Derechos Humanos y de los Pueblos, el Tribunal de Justicia de la Uni贸n Europea y el Tribunal Europeo de Derechos Humanos examinan casos y dictan sentencias en las que interpretan la aplicaci贸n de estas normas; los sistemas regionales tambi茅n suelen tener sus propios titulares de mandatos tem谩ticos. Los tribunales subregionales, como el Tribunal de Justicia de 脕frica Oriental o el Tribunal de Justicia de la CEDEAO, tambi茅n pueden dictar sentencias en las que interpretan los tratados regionales.
M谩s all谩 de los tratados de derechos humanos, los tratados y reglamentos internacionales o regionales sobre protecci贸n de datos tambi茅n pueden contener salvaguardias pertinentes. Entre ellos figuran el Convenio para la protecci贸n de las personas con respecto al tratamiento de datos personales (“Convenio 108+”, abierto a la firma de pa铆ses no miembros del Consejo de Europa), la Convenci贸n Africana sobre Ciberseguridad y Protecci贸n de Datos Personales y el Reglamento General de Protecci贸n de Datos (RGPD) de la UE.
Adem谩s, los derechos humanos est谩n —o deber铆an estar— protegidos por la legislaci贸n nacional, incluidas las decisiones de los tribunales nacionales.
El derecho a la intimidad es un derecho garantizado por el Pacto Internacional de Derechos Civiles y Pol铆ticos, un tratado fundamental y vinculante en materia de derechos humanos que han ratificado 174 de los 193 Estados miembros de la ONU, as铆 como por tratados regionales y la legislaci贸n nacional de muchos Estados. Para cumplir la legislaci贸n y las normas en materia de derechos humanos, las restricciones al derecho a la intimidad deben ajustarse al principio de legalidad, servir a un objetivo leg铆timo y ser necesarias y proporcionadas a dicho objetivo.
Las estrategias utilizadas para detectar el fraude en los Estados del bienestar digitales pueden socavar el derecho a la intimidad. Los Estados del bienestar digitales a menudo requieren fusionar m煤ltiples bases de datos gubernamentales para detectar posibles fraudes dentro del sistema de bienestar. A menudo, ello supone la extracci贸n y el tratamiento a gran escala de datos personales, lo que socava el derecho a la intimidad. Algunos sistemas de bienestar utilizan tanto el tratamiento de datos personales como formas “anal贸gicas” de vigilancia, como pedir a vecinos y amigos que denuncien a personas sospechosas de cometer fraude en las prestaciones sociales. Todo ello agrava a煤n m谩s la violaci贸n del derecho a la intimidad. Esta vigilancia anal贸gica y digital combinada demuestra la importancia de adoptar un enfoque hol铆stico en la investigaci贸n sobre derechos humanos.
La investigaci贸n de Amnist铆a Internacional sobre el sistema de prestaciones sociales de Dinamarca, administrado por la autoridad p煤blica Udbetaling Danmark (UDK, o Pay Out Denmark) y la empresa Arbejdsmarkedets Till忙gspension (ATP), demuestra la vigilancia generalizada en el sistema de bienestar social y socava el derecho a la intimidad.
La investigaci贸n revel贸 que el gobierno dan茅s aplic贸 una legislaci贸n que permite la extracci贸n y el tratamiento a gran escala de los datos personales de los beneficiarios de prestaciones sociales con fines de detecci贸n de fraudes. Ello incluye permitir la fusi贸n de bases de datos gubernamentales y el uso de algoritmos de control del fraude en estos datos, as铆 como el uso no regulado de las redes sociales y, seg煤n informes, el uso de datos de geolocalizaci贸n para investigaciones de fraude. Son datos de la poblaci贸n residente que recibe prestaciones y de los miembros de sus hogares, y se recopilan sin su consentimiento. Esta recopilaci贸n y fusi贸n de grandes cantidades de datos personales contenidos en las bases de datos gubernamentales obliga a los beneficiarios de prestaciones sociales a renunciar a su derecho a la intimidad y a la protecci贸n de datos. La recopilaci贸n y el procesamiento de grandes cantidades de datos —incluidos datos sensibles que contienen caracter铆sticas que podr铆an revelar la raza y el origen 茅tnico, la salud, la discapacidad o la orientaci贸n sexual— y el uso de las redes sociales son m茅todos muy invasivos y desproporcionados para detectar el fraude. Adem谩s, la investigaci贸n de Amnist铆a Internacional revel贸 que el uso de estos datos solo origin贸 el 30% de las investigaciones de fraude, lo que suscita dudas sobre la necesidad de procesarlos.
Los solicitantes y beneficiarios de prestaciones tambi茅n est谩n sujetos a formas “tradicionales” o “anal贸gicas” de vigilancia y control con fines de detecci贸n del fraude. Estos m茅todos incluyen la reevaluaci贸n persistente por parte de los municipios del cumplimiento de los requisitos, casos o informes de control del fraude de otras autoridades p煤blicas, incluidas las fiscales y policiales, y denuncias an贸nimas de miembros del p煤blico. Cuando se combinan con m茅todos de examen digital excesivamente amplios, estas formas anal贸gicas de control y vigilancia crean un sistema de vigilancia pernicioso que entra en conflicto con el derecho a la intimidad.
El derecho a la no discriminaci贸n y el derecho a la igualdad son derechos garantizados por el Pacto Internacional de Derechos Civiles y Pol铆ticos (PIDCP), as铆 como por la mayor铆a de los dem谩s tratados internacionales y regionales, y por la legislaci贸n nacional de la mayor铆a de los Estados. El Comit茅 de Derechos Humanos (CCRP) de la ONU define la discriminaci贸n como “toda distinci贸n, exclusi贸n, restricci贸n o preferencia que se basen en determinados motivos, como la raza, el color, el sexo, el idioma, la religi贸n, la opini贸n pol铆tica o de otra 铆ndole, el origen nacional o social, la posici贸n econ贸mica, el nacimiento o cualquier otra condici贸n social, y que tengan por objeto o por resultado anular o menoscabar el reconocimiento, goce o ejercicio, en condiciones de igualdad, de los derechos humanos y libertades fundamentales de todas las personas”. El PIDCP establece que “todas las personas son iguales ante la ley” y que la ley “prohibir谩 toda discriminaci贸n y garantizar谩 a todas las personas protecci贸n igual y efectiva contra cualquier discriminaci贸n por motivos de raza, color, sexo, idioma, religi贸n, opiniones pol铆ticas o de cualquier 铆ndole, origen nacional o social, posici贸n econ贸mica, nacimiento o cualquier otra condici贸n social”.
La digitalizaci贸n y la introducci贸n de la automatizaci贸n y la toma de decisiones algor铆tmica pueden tener un impacto negativo desproporcionado en determinadas comunidades, lo que da lugar a una violaci贸n de los derechos a la igualdad y la no discriminaci贸n. Como ha se帽alado el relator especial de la ONU sobre el racismo, los sistemas de IA pueden dar lugar a discriminaci贸n cuando se utilizan para clasificar, diferenciar, jerarquizar y categorizar, ya que “reproducen los sesgos incorporados en los conjuntos de datos a gran escala capaces de imitar y reproducir los sesgos impl铆citos de los humanos, incluso en ausencia de reglas algor铆tmicas expl铆citas que generen estereotipos”. El relator especial afirm贸 que las tecnolog铆as digitales “pueden combinarse de manera intencional y no intencional para generar estructuras racialmente discriminatorias que socavan de manera hol铆stica o sistem谩tica el disfrute de los derechos humanos de determinados grupos, por motivos de raza, etnia u origen nacional, solos o en combinaci贸n con otros motivos. […] las tecnolog铆as digitales [son] capaces de crear y mantener la exclusi贸n racial y 茅tnica en t茅rminos sist茅micos o estructurales”. El relator especial pidi贸 a los Estados “abordar no solo el racismo y la intolerancia expl铆citos en el uso y dise帽o de las tecnolog铆as digitales emergentes, sino tambi茅n, y con la misma seriedad, las formas indirectas y estructurales de discriminaci贸n racial que se derivan del dise帽o y uso de dichas tecnolog铆as”.
En general, el uso de la IA y los sistemas automatizados de toma de decisiones en la distribuci贸n de la seguridad social puede afianzar las pr谩cticas discriminatorias hacia grupos ya marginados.
En el contexto de la IA y la toma de decisiones algor铆tmica, es especialmente importante se帽alar la distinci贸n entre discriminaci贸n directa e indirecta.La discriminaci贸n directa se produce cuando se establece una distinci贸n expl铆cita entre grupos de personas que da lugar a que las personas de algunos grupos tengan menos capacidad que otras para ejercer sus derechos. Por ejemplo, una ley que exija a las mujeres, y no a los hombres, presentar pruebas de un determinado nivel de estudios como requisito previo para votar constituir铆a una discriminaci贸n directa.
La discriminaci贸n indirecta se produce cuando una ley, pol铆tica o trato se presenta en t茅rminos neutros (es decir, sin distinciones expl铆citas), pero perjudica de manera desproporcionada a uno o varios grupos espec铆ficos. Por ejemplo, una ley que exige a todo el mundo presentar una prueba de un determinado nivel de estudios como requisito previo para votar tiene un efecto indirectamente discriminatorio sobre cualquier grupo que tenga menos probabilidades de disponer de una prueba de estudios de ese nivel (como los grupos 茅tnicos u otros grupos sociales desfavorecidos, las mujeres u otros, seg煤n proceda).
Sin embargo, algunos sistemas algor铆tmicos han incluido caracter铆sticas protegidas que hacen que el sistema discrimine directamente entre grupos de personas. Se ha descubierto que otros discriminan indirectamente, a menudo mediante la inclusi贸n de entradas proxy.
Un proxy es una entrada o variable, como una cualidad individual que define a los seres humanos, que utiliza un sistema de IA para establecer distinciones entre personas o grupos sociales. Un proxy puede parecer un dato inocuo que se incluye en un algoritmo. Sin embargo, cuando se correlaciona directa o indirectamente con una caracter铆stica protegida —como el g茅nero, la edad, la raza o la etnia—, da lugar a que el sistema de IA genere decisiones sesgadas. Por ejemplo, cuando se incluye en un algoritmo un dato como el c贸digo postal, a menudo se correlaciona con el estatus socioecon贸mico y la raza, y se convierte en un indicador indirecto —o proxy— de 茅stos. Por lo tanto, puede discriminar indirectamente a determinados grupos raciales o 茅tnicos debido a la segregaci贸n residencial hist贸rica.
La ley de la tarjeta social entr贸 en vigor en marzo de 2022 e introdujo la automatizaci贸n en el proceso de determinaci贸n de la elegibilidad de las personas para diversos programas de asistencia social. Una de las piedras angulares de la ley de la tarjeta social es el registro de la tarjeta social, un sistema de informaci贸n completo y centralizado que utiliza la automatizaci贸n para consolidar los datos personales de los solicitantes y beneficiarios de asistencia social procedentes de diversas bases de datos oficiales del gobierno.
La introducci贸n de la ley de la tarjeta social y el registro de la tarjeta social no pueden aislarse de los contextos sociales e hist贸ricos en los que se integran. Si bien las leyes de Serbia, incluida la ley de la tarjeta social, garantizan la igualdad formal de todas las personas, la aplicaci贸n pr谩ctica de la ley de la tarjeta social y el registro de la tarjeta social no proporciona una igualdad sustantiva o de facto.Las lagunas y los desequilibrios en los datos procesados por sistemas automatizados o semiautomatizados pueden dar lugar a discriminaci贸n. Una trabajadora social comunic贸 a Amnist铆a Internacional que, antes de la introducci贸n del registro de la tarjeta social, y especialmente cuando se trabajaba con comunidades marginadas como la roman铆, los equipos de trabajo social sab铆an que algunos datos eran inexactos o estaban desactualizados. Por ejemplo, varios coches registrados a nombre de una persona que viv铆a en la pobreza extrema no se consideraban activos importantes para tener derecho a la asistencia social, sino que se entend铆a que eran veh铆culos vendidos como chatarra o que ya no exist铆an.
El Ministerio de Trabajo de Serbia insisti贸 en que las leyes que regulan la seguridad social —incluida la ley de la tarjeta social— no trataran de manera diferente a los roman铆es ni a ning煤n otro grupo marginado. El Ministerio tambi茅n afirma que tiene el derecho leg铆timo de utilizar “datos veraces y precisos que son necesarios para el disfrute de los derechos de seguridad social”. El Ministerio no reconoci贸 el hecho de que los conjuntos de datos aparentemente inocuos y objetivos que se utilizan como indicadores de la situaci贸n socioecon贸mica a menudo ignoran el contexto espec铆fico de marginaci贸n de una comunidad, como sus condiciones de vida, las barreras al empleo y sus necesidades particulares.
Debido al contexto hist贸rico y estructural de Serbia, muchas personas de entornos marginados tienen niveles de alfabetizaci贸n b谩sica y alfabetizaci贸n digital persistentemente bajos. Por lo tanto, se enfrentan a dificultades a la hora de interactuar con los departamentos administrativos para mantener al d铆a su documentaci贸n o para apelar su expulsi贸n del sistema de asistencia social. En este sentido, el registro de la tarjeta social representa otra barrera m谩s para acceder a la asistencia social, lo que puede equivaler a una discriminaci贸n indirecta.
La investigaci贸n de Amnist铆a Internacional revel贸 que el registro de la tarjeta social no estaba dise帽ado para tener en cuenta las dificultades y barreras a las que se enfrentan las comunidades que m谩s dependen de la asistencia social, como los roman铆es, las personas con discapacidad y las mujeres. Las mujeres, que est谩n representadas en todos los grupos, tienen m谩s probabilidades de recibir protecci贸n social y tambi茅n pueden enfrentarse a barreras interseccionales adicionales para acceder a sus derechos.
El uso de herramientas automatizadas en los Estados del bienestar puede tener un impacto claro en el derecho a la intimidad y el derecho a la no discriminaci贸n. Sin embargo, llevar nuestro an谩lisis m谩s all谩 de estos derechos puede proporcionar una comprensi贸n m谩s profunda sobre el modo en que estos sistemas afectan a las comunidades.
El Pacto Internacional de Derechos Econ贸micos, Sociales y Culturales (PIDESC) exige a los Estados que respeten, protejan y cumplan un conjunto m谩s amplio de derechos humanos centrados en la necesidad de que los Estados velen por el bienestar y la prosperidad de sus poblaciones. Estos derechos tambi茅n est谩n protegidos por numerosos tratados regionales y por la legislaci贸n nacional de muchos Estados.
Las disposiciones clave del PIDESC pertinentes para los sistemas de bienestar automatizados son el derecho a la seguridad social y el derecho a un nivel de vida adecuado. El derecho a un nivel de vida adecuado incluye “alimentaci贸n, vestido y vivienda adecuados”; el incumplimiento de la obligaci贸n de proporcionar prestaciones de seguridad social pone en peligro la capacidad de satisfacer estas necesidades b谩sicas. Por ejemplo, la automatizaci贸n de las prestaciones sociales tambi茅n puede reducir el acceso a las prestaciones relacionadas con la salud o la discapacidad, lo que puede tener un impacto directo en el derecho a un nivel de vida adecuado y el derecho a la salud.
La sociedad civil lleva a帽os advirtiendo de que los Estados disfrutan de una “edad de oro de la vigilancia”, ya que cada vez m谩s aspectos de nuestra vida —tanto en Internet como en el mundo f铆sico— son accesibles a una creciente gama de nuevas herramientas dise帽adas para rastrearnos. Amnist铆a Internacional ha documentado numerosos tipos de tecnolog铆a cuyo uso afecta a los derechos humanos, en particular los derechos a la libertad de reuni贸n pac铆fica y de asociaci贸n, que est谩n protegidos por los art铆culos 21 y 22 del PIDCP, as铆 como por la CDN, la CRPD y numerosos tratados regionales, adem谩s de la legislaci贸n nacional de muchos Estados.
El uso de la tecnolog铆a de reconocimiento facial, que es fundamentalmente incompatible con los derechos humanos, se est谩 convirtiendo en algo preocupantemente habitual. Amnist铆a Internacional ha documentado abusos relacionados con esta tecnolog铆a en el Territorio Palestino Ocupado, Hyderabad y Nueva York. En Francia, las autoridades propusieron un sistema de videovigilancia basado en la inteligencia artificial en v铆speras de los Juegos Ol铆mpicos de Par铆s. En Pa铆ses Bajos, el uso insuficientemente regulado de c谩maras en manifestaciones pac铆ficas y la falta de transparencia que lleva aparejado han creado un efecto disuasorio en torno al ejercicio del derecho de manifestaci贸n. En Hungr铆a, los cambios jur铆dicos que permiten el uso de la tecnolog铆a de reconocimiento facial para vigilar, entre otras cosas, las marchas del Orgullo, son un motivo de preocupaci贸n grave.
El uso y abuso de estas herramientas tiene efectos especialmente perjudiciales para las comunidades marginadas. Las personas migrantes, en particular, suelen quedar excluidas de las protecciones normativas y ser tratadas como “campos de pruebas” de tecnolog铆as controvertidas, incluidas las de identificaci贸n biom茅trica. La precaria situaci贸n de la poblaci贸n migrante puede llevarla a ser objeto de persecuci贸n por ejercer su derecho a la protesta, protegido por la ley, incluso mediante el uso de software de vigilancia y monitorizaci贸n de las redes sociales, como ha destacado Amnist铆a Internacional en Estados Unidos.