Sonría, lo estamos filmando. El cartel ya es familiar. Al igual que lo son las cámaras de seguridad, esos pájaros de plástico y metal que pían con su luz intermitente roja en todas las ciudades del mundo. Y más: sistemas de videovigilancia que pueden decir quiénes somos, qué hacemos y predecir hacia dónde vamos.
El reconocimiento facial en vivo picó en punta en los discursos políticos como un modelo a seguir para la mejora de la seguridad en los centros urbanos. Según el Índice de Vigilancia Global con IA, realizado por la Carnegie Endowment for International Peace, ya en 2019 al menos 65 de los 176 países del mundo usaban esta tecnología.
En Argentina estuvo activa un tiempo en la Ciudad de Buenos Aires, hasta que un fallo judicial suspendió su utilización. En tanto, en las últimas semanas Santa Fe anunció que incorporará cámaras de videovigilancia con IA y Comodoro Rivadavia instaló sistemas de reconocimiento facial en la ciudad.
Pero, ¿qué significa esto? ¿Vamos camino a que el mundo sea cada vez más un Gran Hermano que todo lo ve? ¿Es indispensable activar sistemas de reconocimiento facial para combatir la delincuencia? ¿Qué perdemos en medio de los algoritmos los ciudadanos vigilados?
Luz, cámara, acción
En su libro La era del capitalismo de la vigilancia (ed. Paidós), la socióloga estadounidense Shoshana Zuboff pone sobre la mesa un concepto clave para entender qué pasa con los sistemas de reconocimiento facial en todo el mundo: el inevitabilismo.
Según la académica, el inevitabilismo es una ideología dominante en la cultura tecnológica contemporánea, especialmente en Silicon Valley, que se basa en la creencia de que ciertos desarrollos tecnológicos no solo son deseables, sino que son inevitables. Por ejemplo el sistema de reconocimiento facial (SRF) para el cuidado de los ciudadanos, en este caso.
Esta retórica, según Zuboff, elimina cualquier posibilidad de debate político, ético o social, porque presenta estos avances como una “fase histórica inevitable y necesaria”. Al hacerlo, legitima el poder de las corporaciones tecnológicas y encubre sus verdaderos intereses económicos bajo un discurso utópico.
Un combate muy humano
Frente a esta ola tecnofílica que parece inevitable (y más, deseable, según Zuboff) están quienes levantan la voz y piden poner una pausa lo suficientemente larga para pensar al menos algunos temas básicos: estos avances, ¿ponen en riesgo los derechos? ¿Hay que regular las nuevas tecnologías? ¿Cómo? ¿Por qué?
John Carlin, abogado y docente de la Facultad de Derecho de la UBA especializado en este tema, lo explicó a Página|12 que para implementar sistemas como los de reconocimiento facial se tienen que establecer parámetros que sean protectores de los derechos fundamentales. “Hay que garantizar un equilibrio entre seguridad, justicia y derechos humanos. Esa es la clave”, sostuvo.
Y aseguró que esto no puede quedar en manos de un pequeño grupo de organizaciones que pugnen por los derechos de los ciudadanos, sino que son las sociedades en sí las que tienen que tomar consciencia de que, detrás del avance de la tecnología, hay en juego derechos fundamentales.
— ¿Creés que el mundo va inevitablemente a estar cada vez más mediado por la vigilancia en vivo?
— Yo creo que tiene que ver mucho con la democracia digital. Fijate que los fenómenos como Bolsonaro, Trump, Milei, tienen un punto de conexión con esta idea del capitalismo digital. La aparición de personajes como Elon Musk hace que los cimientos propios de la democracia entren en conflicto. Estos sistemas tienen que ver también con el uso político que se les pueda dar y el control ciudadano que se pueda ejercer. Los algoritmos vienen a simplificarnos tareas, pero también a fragmentar la esfera pública.
Yo creo que tiene que ver con esto de si tecnofilia o tecnofobia: si pongo a disposición mis datos sin pensar qué se puede hacer con ellos. Hay que tener en cuenta que el uso de sistemas de reconocimiento facial o inteligencia artificial y la idea de democracia digital es un desafío para la justicia, los legisladores, el Poder Ejecutivo y los ciudadanos. Si eso no ocurre, vamos a tener un gran problema.
Esto debilita también el pluralismo. Puede ser que usemos el reconocimiento facial para investigar delitos aberrantes, pero hay que analizar si podemos poner en crisis pilares del estado de derecho, como el debido proceso, para hacerlo. Debemos detenernos en cómo impactan estos sistemas en la democracia digital y en el capitalismo digital. Si alimentan libertades o, por el contrario, las debilitan. Ese es el desafío de hoy.
Qué pasa en el mundo
Sobre esta clave de “control riguroso” por parte de los ciudadanos se paró la especialista en derecho informático María Raquel Burgueño al explicar que, en este momento, hay a grosso modo tres grandes posturas respecto a la regulación de la inteligencia artificial: la europea, la de Estados Unidos y la de China.
En Europa, explicó, se rigen por el Reglamento General de Protección de Datos. “Para ellos eso es sagrado. Infringir este reglamento es tremendo, y de ahí las grandes multas a los gigantes tecnológicos”, aseguró. Y aclaró que “cada país saca su normativa nacional, pero que refleja lo que dice el Reglamento”.
En este contexto, hay puntos de salvedades: “Rusia y Ucrania trabajan con SRF, pero no lo van a establecer públicamente. Inglaterra es otro caso. Por ejemplo, ahí podés ver lo que pasa con Big Brother Watch. Tienen grandes problemas, porque al ser un país multirracial, con personas de origen musulmán, afro, etc., se dan muchas situaciones de error”.
“Después, claro —aseguró Burgueño— está China, que tiene otra idiosincrasia. Dice que los datos son del Estado. Entonces, el Estado hace todo con esos datos porque le pertenecen, porque eso es parte de su potestad de gobernanza sobre las personas. Incluso te monitorean si estás con rasgos depresivos, si estás contento, si estás con un estado emocional determinado”.
Finalmente, “Estados Unidos y Canadá, desde una lógica capitalista, dicen que los datos le pertenecen al mercado. Entonces, pueden tomar tu dato porque es transaccionable, le podés poner valor”.
En América Latina, explicó, hay una situación más dispar: “Brasil, obviamente, sí tiene su ley de protección de datos personales. Pero la región está más rezagada en estas cuestiones. Lo peor en América Latina es que no se dice lo que se está haciendo, y eso dificulta la protección de derechos o la implementación de medidas colectivas”.
Para muestra basta un botón: las cámaras en Buenos Aires
En Argentina, el sistema de reconocimiento facial en la Ciudad de Buenos Aires fue anunciado por primera vez el 3 de abril del 2019 por el entonces vicejefe de gobierno Diego Santilli. 22 días más tarde, el 25 de abril, entró en funcionamiento. Así estuvo hasta el 2022, cuando la justicia decidió desactivar el sistema por inconsistencias en su uso.
Debido al amparo que inició el Observatorio de Derecho Informático Argentino (ODIA) salieron a la luz una serie de irregularidades en la implementación de este sistema. La más notable fue que se utilizaron datos biométricos de 7 millones de personas de manera ilegal, cuando en la base de prófugos a buscar solo había 40 mil datos.
Pero no fue el único hallazgo, ya que hubo inconsistencias con las audiencias previas a la puesta en marcha de este sistema y sobre los testeos indispensables para su puesta en marcha, las llamadas evaluaciones de impacto de las tecnologías, entre otras cosas.
Según explicó el titular de O.D.I.A., Tomás Pomar a Página|12, ahora todo está en manos de la Ciudad de Buenos Aires, que debe presentar una auditoría que explique, con los niveles técnicos solicitados por la justicia, de qué manera funciona el sistema de reconocimiento facial contratado en 2019.
“La sentencia ordena que, sin perjuicio de los hallazgos, se debe hacer una auditoría previa al funcionamiento”, explicó Pomar, que aclaró que ahora que están discutiendo, con la participación de la Facultad de Exactas de la UBA, “si la auditoría tiene que ser sobre el funcionamiento del sistema o sobre el sistema de punta a punta.”
Algo que es complicado, ya que cuando se presentó la empresa proveedora del producto ofreció “hacer un black box testing (pruebas sin acceso al código fuente), un estándar muy bajo”, donde se hace un “gran conjunto de muestras” para ver que “no tenga respuestas desproporcionadas”.
Por su lado, el abogado del CELS, que también participa de la causa, Tomás Griffa, añadió a este medio que “este tipo de sistemas, según las personas que se dedican a estudiarlo, tienen un impacto diferenciado”, por lo que “la controversia es si el estudio se va a hacer sin ver lo que hay adentro del software o si no”, ya que podría ser discriminatorio.
“Los peritos pidieron un conjunto de informaciones y el Gobierno estaría en proceso de cumplir con acompañar un estudio que aporte esas informaciones. Ese es el estado actual. Una vez que lo aporten se va a poder ver si lo cumplen o no”, finalizó, en tanto, sobre la situación de la causa.
Qué vemos cuando nos ven
Auditoría, black box testing, reconocimiento facial, código fuente: cuidar los derechos en la actualidad parece que implica sumergirse en un mundo nuevo. No se trata de una amenaza claramente identificable, a pesar de que, como las cámaras de seguridad, están a la vista de todos. Se trata de indagar un poco más y ser auditores de las tecnologías que, con astucia, se presentan inevitables y deseables.
“Creemos que hay un derecho humano sustancial a que ciertos softwares que toman decisión por parte del Estado sean auditables. Poder ver el código fuente, el dataset, ver qué se está comprando. Porque cuando haces licitaciones la gente no tiene ni idea qué estás comprando. Tiene problemas de transparencia y de derechos humanos cuando es algo que se compra con sus impuestos”, explicó Pomar.
Y añadió: “No puede ser que en esta época en donde muchos dirigentes dicen que los datos son el nuevo petróleo estén jodiendo con los datos de un montón de personas. Tienen una responsabilidad patrimonial. Algo tiene que cambiar en el manejo de tecnología informática y se tiene que dejar de hablar gansadas en campaña electoral”.
