Transparencia en los procesos de elaboración automatizada de perfiles de riesgo de fraude: análisis de la regulación europea a la luz del caso SYRI en los Países Bajos
| Fecha | 01 Enero 2023 |
| Autor |
Revista de Estudios Ius Novum
Vol. XVI N° 1 año 2023
[pp. 221 - 274]
TRANSPARENCIA EN LOS PROCESOS DE ELABORACIÓN AUTOMATIZADA DE
PERFILES DE RIESGO DE FRAUDE: ANÁLISIS DE LA REGULACIÓN EUROPEA A LA
LUZ DEL CASO SYRI EN LOS PAÍSES BAJOS
[Transparency in automated processes for developing fraud risk profiles: Analysis of European
regulation in light of the SyRI case in the Netherlands]
DIEGO OJEDA CIFUENTES1
RESUMEN
Este trabajo delimita la aplicabilidad
del principio de transparencia en la
elaboración automatizada de perfiles de
riesgo de fraude a través de un caso de
estudio: “SyRI”. El análisis revela una
tensión con la opacidad estratégica necesaria
para evitar el juego con el sistema. Se sugiere
una posición intermedia que proporcione
una explicación atenuada a los titulares de
datos para salvaguardar la funcionalidad del
sistema, restringiendo la transparencia total
a las evaluaciones de impacto y auditorías
periódicas.
PALABRAS CLAVE
RGPD – Transparencia Algorítmica –
Elaboración Automatizada de Perfiles –
Aprendizaje Automático
ABSTRACT
This paper illustrates the applicability of the
transparency principle in automated fraud
risk profiling by means of a case study:
“SyRI”. The analysis reveals a tension with
the strategic opacity necessary to avoid
gaming the system. A middle position is
proposed, which provides mitigated
explanation to data subjects to ensure the
functionality of the system, while limiting
full transparency to impact assessments and
periodic audits.
KEYWORDS
GDPR – Algorithmic Transparency –
Profiling – Machine Learning.
1 Estudiante de Derecho en Pontificia Unive rsidad Católica de Valparaíso. Ayudante en Programa de Derecho,
Inteligencia Artificial y Tecnología PUCV. Correo: dojedacifuentes@gmail.com
Diego Ojeda Cifuentes| Centro de Estudios Ius Novum
INTRODUCCIÓN
Con el auge de las técnicas de elaboración automatizada de perfiles basada en aprendizaje
automático (en adelante “ML”, por sus siglas en inglés), el principio de transparencia es cada vez
más relevante. Nunca —en la historia de las sociedades humanas— ha existido una combinación
tan compleja y ubicua de técnicas de perfilamiento e identificación como en la era del Big Data.
El contexto sociotécnico del Big Data, caracterizado principalmente por la inconmensurable
disponibilidad de datos, no sólo es “grande” por su tamaño, sino también en virtud de los
avances tecnológicos que representan una oportunidad clave para explotar la fuerza productiva
de los datos y producir nuevo conocimiento. Pero la metamorfosis de las técnicas de vigilancia
hacia procesos basados en ML también trae consigo un cambio cualitativo en su propósito,
desafiando la noción clásica de transparencia y abriendo paso, a su vez, a nuevas formas de
afectación al derecho a la protección de datos personales.
En el ámbito de la seguridad social —aunque no exclusivamente—, resulta especialmente
preocupante cómo los Estados con más recursos están usando cada vez más este tipo de
tecnologías para “automatizar, predecir, identificar, vigilar, detectar, singularizar y castigar”2.
Ciertamente, las posibilidades de optimizar los recursos fiscales son enormes. Pero pese a ser
una empresa legítima, las asimetrías de información y la opacidad —que suelen ser la regla
general en esta materia— se proyectan como una verdadera “caja negra” para la mayoría de los
ciudadanos, amenazando las posibilidades de repercutir positivamente al obliterar correlaciones
basadas en información sensible, sesgos, discriminación, intrusiones ilegítimas a la privacidad,
etc.
Resulta manido a estas alturas insistir en que una de las tareas más urgentes y prioritarias para
una implementación exitosa de estos sistemas es, ineludiblemente, la transparencia algorítmica.
Como han tenido ocasión de señalar Lilian EDWARDS y Michael VEALE, existe una creciente
preocupación en la literatura sobre avanzar hacia un fútil paradigma de transparencia sin sentido3,
que pueda ser percibido como esencialmente benigno, cuando en realidad se estuviera tejiendo
un Velo de Maya que obture, y de paso legitime, sistemas altamente intrusivos y potencialmente
discriminatorios. Desafortunadamente, esta cavilación no parece ser del todo descaminada;
cuando de ML se trata, la transparencia es siempre un dédalo multidimensional, en perpetuo
movimiento y en el cual interactúan una plétora factores contextuales difíciles de canalizar.
La discusión ha adquirido un renovado interés en la literatura a partir del reciente caso NJCM
et al contra los Países Bajos4, en que el Tribunal de Distrito de la Haya declaró que la normativa
y despliegue de un algoritmo empleado para la elaboración automatizada de perfiles de riesgo de
fraude a la seguridad social –el sistema de indicación de riesgo neerlandés “SyRI” (Systeem Risico
Indicatie)– sería contrario al artículo 8 del Convenio Europeo para la Protección de los Derechos
2 Organización de Naciones Unidas, “Informe del relator especial sobre la pobreza extrema y los derechos humanos” 74 período
de sesiones, punto 72 (b) del orden del día provisional, A/74/48.037 del 11 de octubre de 2019, p. 4. [Visible en:
https://undocs.org/pdf?symbol=es/A/74/493] [Consultado por última vez : 9/08/2021].
3 EDWARDS, Lilian - VEALE, Michael, Slave to the algorithm: Why a right to an explanation is probably not the remedy you are
looking for, en Duke L. & Tech. Rev. 16 (2017) 18, pp. 81-82.
4 Sentencia del 5 de febrero de 2020 del Tribunal de Distrito de la Haya (Rechtbank Den Haag) N° C/09/550982/
HA ZA 18/388. [Visible en https://uitspraken.rechtspraak.nl/inziendocument?id=ECLI:NL:RBDHA:2020:865]
[Consultado por última vez: 9/08/2021].
222
Revista de Estudios Ius Novum | Vol. XVI N° 1
Humanos y de las Libertades Fundamentales (en adelante, CEDH), basando buena parte del
peso de su conclusión en la aplicación del principio de transparencia. Dicho fallo, calificado
como un “precedente histórico” por la ONU5, se trata nada menos que del primer precedente
jurisprudencial en pronunciarse contrario al uso gubernamental de un algoritmo de tales
características, estableciendo a su paso un alto estándar de garantías en materia de transparencia.
No obstante, hasta la fecha ha habido muy poco consenso sobre cómo el principio de
transparencia debe desarrollarse en aplicaciones concretas.
El quid del asunto, al menos en lo que se refiere a la vigilancia y la lucha contra el fraude,
radica en que cierto grado de opacidad será habitualmente deseable para evitar el juego
estratégico con el sistema (gaming the algorithm), de modo tal, que, resulta inmensamente
controvertido determinar cómo conciliar este fin con las obligaciones en materia de
transparencia. Así, por ejemplo, cuando pedimos ver en (o a través de) la “caja negra”, cabe
preguntarse: ¿De qué tipo de transparencia se está hablando? ¿Cuáles son sus limitaciones?
¿Acaso estaremos pidiendo demasiado? ¿Hasta qué punto deberíamos estar dispuestos a
sacrificar algo de eficiencia en aras de la transparencia?
Una coyuntura adicional pasa porque el ritmo del desarrollo tecnológico supera la velocidad
con que se implementan mecanismos de gobernanza algorítmica. Esto se aprecia con meridiana
claridad en el contexto nacional, donde la ley que regula la protección de datos personales data
del año 19996. En esta línea, sin embargo, también es posible avizorar algunas iniciativas dignas
de mención. El pasado 12 de diciembre de 2020 se abrió a consulta pública por el Ministerio de
Ciencia, Tecnología, Conocimiento e Innovación el primer Borrador de Política Nacional de IA
con recomendaciones en materia de inteligencia artificial, en cuyo contenido se recoge una
propuesta de principios para la aplicación, uso y despliegue de la IA, entre los cuales se menciona
reiteradamente la “transparencia y explicabilidad”7. En el ámbito internacional —se debe
mencionar también— la Organización para la Cooperación y Desarrollo Económico (OCDE)
suscribió, a finales de mayo de 2019, los Principios sobre la IA, entre los cuales también se
incluye la transparencia algorítmica8. Se trata, pues, de una zona gris de nuestra legislación, que
ante la ausencia de una matriz conceptual sub specie saeculi, se encuentra en un momento crítico
para adecuar su marco regulatorio a estándares internacionales.
Este no es precisamente el caso de la Unión Europea. Como no podía ser de otra forma, el
Reglamento General de Protección de Datos (2016) de la UE (en adelante, RGPD)9 —
comúnmente reconocido como el máximo estándar de regulación al que se puede aspirar en
materia de protección de datos personales— aborda explícitamente el efecto sobre los “derechos
y libertades fundamentales de las personas físicas” (párrafo 2 del artículo 1) que puede tener la “elaboración
5 ONU, “Landmark Dutch court ruling halts government attempts to sp y on the poor: UN expert”, Comunicado de prensa, 5
de febrero de 2020. [Visible en:
https://www.ohchr.org/EN/NewsEvents/Pages/DisplayNews.aspx?NewsID=25522] [Consultado por última
vez: 9/08/2021].
6 Ley N° 19.628 Sobre Protección de la Vida Privada.
7 Vid. Consulta Pública, “Política nacional de inteligencia artificial ” (2020). [Visible en:
https://www.minciencia.gob.cl/legacy-files/borrador_politica_nacional_de_ia.pdf] [Consultado por última vez:
9/08/2021].
8 Vid. OCDE, “Rec omendación del Consejo de Inteligencia Artificial” (2019). [Visible en:
https://legalinstruments.oecd.org/en/instruments/OECD-LEGAL-0449] [Consultado por última vez:
9/08/2021].
9 Reglamento (UE) 2016/679 del Parlamento Europeo y del Consejo de 27 de abril de 2016 relativo a la protección
de las personas físicas en lo que respecta al tratamiento de datos personales y a la libre circulación de estos datos.
223
Para continuar leyendo
Comienza GratisAccede a todo el contenido con una prueba gratuita de 7 días
Transforma tu investigación jurídica con vLex
-
Accede a resúmenes de sentencias generados por IA, que destacan al instante los aspectos jurídicos clave.
-
Realiza búsquedas avanzadas con opciones precisas de filtrado y ordenamiento.
-
Consulta contenido jurídico completo de más de 100 jurisdicciones, incluyendo una amplia colección de libros y revistas a texto completo.
-
Disfruta de funcionalidades exclusivas como comparador de versiones de una ley, notas de vigencia, análisis de citas, y mucho más.
-
Con la confianza de más de 2 millones de profesionales, incluidas las firmas más importantes del mundo.
Accede a todo el contenido con una prueba gratuita de 7 días
Transforma tu investigación jurídica con vLex
-
Accede a resúmenes de sentencias generados por IA, que destacan al instante los aspectos jurídicos clave.
-
Realiza búsquedas avanzadas con opciones precisas de filtrado y ordenamiento.
-
Consulta contenido jurídico completo de más de 100 jurisdicciones, incluyendo una amplia colección de libros y revistas a texto completo.
-
Disfruta de funcionalidades exclusivas como comparador de versiones de una ley, notas de vigencia, análisis de citas, y mucho más.
-
Con la confianza de más de 2 millones de profesionales, incluidas las firmas más importantes del mundo.
Accede a todo el contenido con una prueba gratuita de 7 días
Transforma tu investigación jurídica con vLex
-
Accede a resúmenes de sentencias generados por IA, que destacan al instante los aspectos jurídicos clave.
-
Realiza búsquedas avanzadas con opciones precisas de filtrado y ordenamiento.
-
Consulta contenido jurídico completo de más de 100 jurisdicciones, incluyendo una amplia colección de libros y revistas a texto completo.
-
Disfruta de funcionalidades exclusivas como comparador de versiones de una ley, notas de vigencia, análisis de citas, y mucho más.
-
Con la confianza de más de 2 millones de profesionales, incluidas las firmas más importantes del mundo.
Accede a todo el contenido con una prueba gratuita de 7 días
Transforma tu investigación jurídica con vLex
-
Accede a resúmenes de sentencias generados por IA, que destacan al instante los aspectos jurídicos clave.
-
Realiza búsquedas avanzadas con opciones precisas de filtrado y ordenamiento.
-
Consulta contenido jurídico completo de más de 100 jurisdicciones, incluyendo una amplia colección de libros y revistas a texto completo.
-
Disfruta de funcionalidades exclusivas como comparador de versiones de una ley, notas de vigencia, análisis de citas, y mucho más.
-
Con la confianza de más de 2 millones de profesionales, incluidas las firmas más importantes del mundo.
Accede a todo el contenido con una prueba gratuita de 7 días
Transforma tu investigación jurídica con vLex
-
Accede a resúmenes de sentencias generados por IA, que destacan al instante los aspectos jurídicos clave.
-
Realiza búsquedas avanzadas con opciones precisas de filtrado y ordenamiento.
-
Consulta contenido jurídico completo de más de 100 jurisdicciones, incluyendo una amplia colección de libros y revistas a texto completo.
-
Disfruta de funcionalidades exclusivas como comparador de versiones de una ley, notas de vigencia, análisis de citas, y mucho más.
-
Con la confianza de más de 2 millones de profesionales, incluidas las firmas más importantes del mundo.