Autor: admin

Por Gilles Deleuze

Tristeza de las generaciones sin “maestros”. Nuestros maestros no son sólo los profesores públicos, si bien tenemos gran necesidad de profesores. Cuando llegamos a la edad adulta, nuestros maestros son los que nos golpean con una novedad radical, los que saben inventar una técnica artística o literaria y encontrar las maneras de pensar que se corresponden con nuestra modernidad, es decir con nuestras dificultades tanto como con nuestros difusos entusiasmos. Sabemos que en el arte, y aun en la verdad, hay un solo valor: la “primera mano”, la auténtica novedad de lo que decimos, la “musiquita” con la que lo decimos. Sartre fue eso para nosotros (para la generación que tenía veinte años en el momento de la Liberación). Por entonces, ¿quién si no Sartre supo decir algo nuevo? ¿Quién nos enseñó nuevas maneras de pensar? Por brillante y profunda que fuera, la obra de Merleau-Ponty era profesoral y dependía en muchos aspectos de la de Sartre (a Sartre le gustaba asimilar la existencia del hombre al no-ser de un “agujero” en el mundo: pequeñas lagunas de la nada, decía. Pero Merleau-Ponty las consideraba pliegues, simples pliegues y plegamientos. De ese modo se distinguían un existencialismo duro y penetrante y un existencialismo más tierno, más reservado). Camus, ¡ay!, era la virtud inflada o el absurdo de segunda mano; Camus reivindicaba a los pensadores malditos, pero toda su filosofía nos remitía a Lalande y a Meyerson, autores que los bachilleres conocen muy bien. Los nuevos temas, un cierto estilo nuevo, una manera nueva, polémica y agresiva, de plantear los problemas, todo eso vino de Sartre. En medio del desorden y las esperanzas de la Liberación, lo descubríamos, lo redescubríamos todo: Kafka, la novela norteamericana, Husserl y Heidegger, los interminables ajustes de cuentas con el marxismo, el impulso hacia una nueva novela… Si todo pasó por Sartre, no fue sólo porque como filósofo tenía un sentido genial de la totalización sino porque sabía inventar lo nuevo. Las primeras representaciones de Las moscas, la aparición de El ser y la nada, la conferencia El existencialismo es un humanismo fueron acontecimientos: en ellos aprendíamos, después de una larga noche, la identidad entre el pensamiento y la libertad.

Los “pensadores privados” se oponen de algún modo a los “profesores públicos”. Hasta la Sorbona necesita una anti-Sorbona, y los estudiantes sólo escuchan bien a sus profesores cuando tienen también otros maestros. En su momento, Nietzsche dejó de ser profesor para convertirse en un pensador privado. También lo hizo Sartre, en otro contexto, con otra salida. Los pensadores privados tienen dos características; una especie de soledad que les pertenece siempre, cualesquiera sean las circunstancias; pero también una cierta agitación, un cierto desorden del mundo en el que surgen y en el que hablan. Y también sólo hablan en su propio nombre, sin “representar” nada; y lo que le reclaman al mundo son presencias brutas, potencias desnudas que tampoco son “representables”. Ya en ¿Qué es la literatura?, Sartre dibujaba el ideal del escritor: “El escritor retomará el mundo tal cual es, totalmente en crudo, sudoroso, maloliente, cotidiano, para presentarlo a los libertados sobre el cimiento de una libertad. No basta con concederle al escritor la libertad de decirlo todo. Es preciso que escriba para un público que tenga la libertad de cambiarlo todo, lo que significa, además de la supresión de las clases, la abolición de toda dictadura, la renovación perpetua de los cuadros, la continua perturbación del orden tan pronto como tienda a fijarse. En una palabra, la literatura es, por esencia, la subjetividad de una sociedad en revolución permanente”. Desde el principio, Sartre concibió el escritor bajo la forma de un hombre como todos, que se dirige a los demás desde un solo punto de vista: su libertad. Toda su filosofía se insertaba en un movimiento especulativo que impugnaba la noción de representación, el orden mismo de la representación: la filosofía cambiaba de lugar, abandonaba la esfera del juicio, para instalarse en el mundo más colorido de lo “prejudicativo”, de lo “sub-representativo”. Sartre acababa de rechazar el Premio Nobel. Continuación práctica de la misma actitud, horror ante la idea de representar prácticamente algo, aunque sean valores espirituales o, como él dice, de institucionalizarse.

El pensador privado necesita un mundo que incluya un mínimo de desorden, aunque más no sea una esperanza revolucionaria, un grano de revolución permanente. En Sartre hay, en efecto, cierta fijación con la Liberación, con las esperanzas decepcionadas de esa época. Hizo falta la guerra de Argelia para reencontrar algo de la lucha política o de la agitación liberadora, y aun así en condiciones tanto más complejas cuanto que nosotros ya no éramos los oprimidos sino aquellos que debían alzarse contra sí mismos. ¡Ah, juventud! Ya no quedan más que Cuba y los maquis venezolanos. Pero, más grande aún que la soledad del pensador privado, está también la soledad de los que buscan un maestro, los que querrían un maestro y sólo podrían encontrarlo en un mundo agitado.

El orden moral, el orden “representativo” se ha cerrado sobre nosotros. Hasta el miedo atómico adoptó los aires de un miedo burgués. A los jóvenes, ahora, se les ofrece a Teilhard de Chardin como maestro de pensamiento. Tenemos lo que nos merecemos. Después de Sartre, no sólo Simone Weil sino la Simone Weil del simio. Y sin embargo no es que en la literatura actual no haya cosas profundamente nuevas. Citemos al voleo: el nouveau roman, los libros de Gombrowicz, los relatos de Klossowski, la sociología de Lévi-Strauss, el teatro de Genet y de Gatti, la filosofía de la “sinrazón” que elabora Foucault… Pero lo que hoy falta es lo que Sartre supo reunir y encarnar para la generación anterior: las condiciones de una totalización: aquella en la que la política, lo imaginario, la sexualidad, el inconsciente y la voluntad se reúnen en los derechos de la totalidad humana. Hoy nos limitamos a subsistir, con los miembros dispersos.
Sartre decía de Kafka: “Su obra es una reacción libre y unitaria contra el mundo judeocristiano de Europa central; sus novelas son la superación sintética de su situación de hombre, de judío, de checo, de novio recalcitrante, de tuberculoso, etcétera”. Pero es el caso de Sartre mismo: su obra es una reacción contra el mundo burgués tal como lo pone en cuestión el comunismo. Expresa la superación de su propia situación de intelectual burgués, de ex alumno de la Escuela Normal, de novio libre, de hombre feo (puesto que Sartre a menudo se presentó de ese modo), etc.: todas cosas que se reflejan y resuenan en el movimiento de sus libros.

Hablamos de Sartre como si perteneciera a una época caduca. ¡Ay! Somos nosotros, más bien, los que hemos caducado en el orden moral y conformista de la actualidad. Sartre, al menos, nos permite la esperanza vaga de los momentos futuros, de las reanudaciones donde el pensamiento puede reformarse y rehacer sus totalidades como potencia a la vez colectiva y privada. Por eso Sartre sigue siendo nuestro maestro.

El último libro de Sartre, Crítica de la razón dialéctica, es uno de los libros más bellos y más importantes que se hayan publicado en estos últimos años. Le da a El ser y la nada su complemento necesario, en el sentido en que las exigencias colectivas vienen a consumar la subjetividad de la persona. Y si volvemos a pensar en El ser y la nada, es para recuperar el asombro que supimos sentir ante esa renovación de la filosofía. Hoy sabemos aún mejor que las relaciones de Sartre con Heidegger, su dependencia de Heidegger, eran falsos problemas que descansaban en malentendidos. Lo que nos impactaba de El ser y la nada era únicamente sartreano y servía para medir el aporte de Sartre: la teoría de la mala fe, donde la conciencia, en el interior de sí misma, jugaba con su doble poder de no ser lo que es y de ser lo que no es; la teoría del Otro, donde la mirada del otro bastaba para hacer vacilar el mundo y para “robármelo”; la teoría de la libertad, donde ésta se limitaba a sí mismaconstituyéndose en situaciones; el psicoanálisis existencial, donde recuperábamos las elecciones básicas de un individuo en el seno de su vida concreta. Y, cada vez, la esencia y el ejemplo entraban en relaciones complejas que le daban un nuevo estilo a la filosofía. El mozo del bar, la chica enamorada, el hombre feo, y sobre todo mi amigo Pedro-que-nunca-estaba, formaban verdaderas novelas en la obra filosófica y hacían palpitar las esencias al ritmo de sus ejemplos existenciales. Por todas partes brillaba una sintaxis violenta, hecha de rupturas y estiramientos, que nos recordaba las dos obsesiones sartreanas: las lagunas de no-ser, las viscosidades de la materia.

El rechazo del Premio Nobel fue una buena noticia. Al fin alguien que no trata de explicar la clase de paradoja deliciosa que es para un escritor, para un pensador privado, aceptar honores y representaciones públicas. Ya hay muchos astutos que tratan de sorprender a Sartre contradiciéndose: le atribuyen sentimientos de despecho porque el premio llegó demasiado tarde; le objetan que algo, de todos modos, siempre representa; le recuerdan que sus logros, de todos modos, fueron y siguen siendo logros burgueses; se sugiere que su rechazo no es razonable ni adulto; se le propone el ejemplo de aquellos que lo aceptaron rechazándolo, sin perjuicio de destinar el dinero a buenas obras. No les conviene provocarlo demasiado; Sartre es un polemista temible. No hay genio que no se parodie a sí mismo. Pero, ¿cuál es la mejor parodia? ¿Convertirse en un viejo adaptado, una coqueta autoridad espiritual? ¿O bien querer ser el retrasado de la Liberación? ¿Verse como un académico o bien soñarse como resistente venezolano? ¿Quién no ve la diferencia de calidad, la diferencia de genio, la diferencia vital entre esas dos opciones o esas dos parodias? ¿A qué es fiel Sartre? Siempre al amigo Pedro-que-nunca-está. Ése es el destino de este autor: hacer correr aire puro cuando habla, aun si ese aire puro, el aire de las ausencias, es difícil de respirar. 5

Publicado originalmente en la revista Arts
el 28 de noviembre de 1964. Trad. Alan Pauls.

¿Por qué deberían importarnos?

Por Enzo Ferrante

Cada vez más, la inteligencia artificial es parte de nuestras vidas, a menudo de manera imperceptible. Ya no se trata de utopías tecnológicas sobre el futuro, sino de un presente muy concreto. Pero detrás de avances que incluyen desde diagnósticos médicos hasta vigilancia masiva están los algoritmos, cuyos «sesgos» amenazan con perpetuar e incluso profundizar las desigualdades del presente. Poner el foco en los datos, los modelos y las personas puede servir para construir una inteligencia artificial más «justa».

Inteligencia artificial y sesgos algorítmicos ¿Por qué deberían importarnos?
Una cámara enfoca las escalinatas de entrada del Instituto de Tecnología de Massachusetts (mit). La investigadora Joy Buolamwini sube algunos escalones y se escucha su voz en off:

Una de las cosas que me atrajeron de las ciencias de la computación fue que podía programar y alejarme de los problemas del mundo real. Quería aprender a hacer tecnología que fuera interesante. Así que vine al mit y trabajé en proyectos de arte que usaban visión artificial1. Durante mi primer semestre en el Media Lab hice un curso sobre «invención científica». Lees ciencia ficción y eso te inspira a crear algo que seguramente sería poco práctico si no tuvieras el curso como excusa para hacerlo. Yo quise construir un espejo que me inspirara por las mañanas. Lo llamé Espejo Aspire. El espejo me colocaba leones sobre el rostro, o gente que me inspirara, como Serena Williams. Le coloqué una cámara y con un software de visión artificial, se suponía que debía detectar los movimientos de mi cara. Pero el problema era que no funcionaba bien, hasta que me puse una máscara blanca. Cuando me ponía la máscara, me detectaba. Cuando me la quitaba, ya no me detectaba.

Así comienza Prejuicio cifrado (Coded Bias), el documental dirigido por la cineasta Shalini Kantayya y estrenado en 2020 que narra cómo Buolamwini tomó conciencia del sesgo racial existente en los algoritmos de reconocimiento facial y analiza sus consecuencias. Buolamwini es una mujer negra, especialista en informática, activista y fundadora de la Liga por la Justicia Algorítimica (Algorithmic Justice League), y hace algunos años descubrió que varios sistemas comerciales de reconocimiento facial diseñados por Amazon, ibm y Microsoft funcionaban mejor con el rostro de sus amigos blancos que con el suyo2. Más allá de los dilemas éticos sobre el desarrollo de sistemas de reconocimiento facial3, el caso de Buolamwini muestra claramente cómo un sistema basado en inteligencia artificial puede adquirir un sesgo y cumplir mejor la tarea para la que fue diseñado en un grupo de individuos que en otro.

Esta no es una cuestión menor. La expresión «inteligencia artificial» dejó de ser propiedad exclusiva de las novelas de ciencia ficción y de los libros de computación. Noticias sobre avances fascinantes –como computadoras capaces de asistir al personal médico en tareas de diagnóstico o de manejar automáticamente vehículos no tripulados– aparecen cada vez con más frecuencia y se vinculan cada vez más con nuestras vidas. Sin embargo, no todas las noticias son tan alentadoras. Lo que experimentó Buolamwini no es un caso aislado: durante los últimos años, hemos visto desde sistemas para reconocimiento facial que alcanzan un peor rendimiento4 en mujeres de piel negra que en hombres blancos, hasta traductores del inglés al español que perpetúan estereotipos de género. Estos ejemplos ilustran un fenómeno conocido como «sesgo algorítmico»: sistemas cuyas predicciones benefician sistemáticamente a un grupo de individuos frente a otro, resultando así injustas o desiguales. Pero ¿cuáles son las razones que llevan a estos sistemas a generar predicciones sesgadas? Para entenderlo, comencemos por definir algunos conceptos que nos serán útiles a lo largo de este ensayo: «inteligencia artificial» y «aprendizaje automático».

Cuando la inteligencia deviene artificial y el aprendizaje, automático

Existen muchas definiciones de «inteligencia artificial». Aquí usaremos una definición general ofrecida en uno de los libros fundamentales del campo, que describe la inteligencia artificial como la disciplina que se encarga de comprender y construir entidades inteligentes (pero artificiales)5. Esta definición es muy amplia y abarca conceptos que van desde los sistemas de razonamiento deductivo basados en reglas lógicas hasta algoritmos de aprendizaje automático que buscan detectar automáticamente patrones en conjuntos de datos y luego usarlos para realizar predicciones6. Un elemento central para este último subcampo de la inteligencia artificial son entonces los datos, que constituyen la materia prima utilizada para automatizar el proceso de aprendizaje en el que los sistemas son entrenados para realizar predicciones.

Los datos pueden ser imágenes, sonidos, texto escrito, redes, posiciones de un gps, tablas o cualquier representación que se nos ocurra. En todo caso, la idea central es que los modelos de aprendizaje automático aprenden a partir de los datos. Esta noción resulta central en la actualidad, dado que la gran mayoría de las tecnologías disruptivas adoptadas masivamente en el siglo xxi y que son presentadas como inteligencia artificial utilizan en realidad métodos de aprendizaje automático. Pero ¿cómo aprenden estos sistemas?

Existen distintos paradigmas de aprendizaje. Uno de los más utilizados es el del aprendizaje supervisado, en el que los sistemas son sometidos a un proceso de entrenamiento que es guiado por anotaciones o etiquetas. La idea es simple: se intenta asociar características o patrones propios de los datos con las correspondientes etiquetas. Es decir, se analizan los datos en busca de patrones distintivos que permitan separar una categoría de la otra. Tomemos un ejemplo: imaginemos que queremos entrenar un sistema para que pueda decirnos si el contenido de una imagen corresponde a un perro o a un gato. Bajo el paradigma del aprendizaje supervisado, lo que necesitaremos es una base de datos compuesta por imágenes de perros y gatos, con la correspondiente etiqueta asociada a cada una. Durante el proceso de entrenamiento, el algoritmo tomará esas imágenes y comenzará a hacer predicciones a partir de ellas, asociando características (información de la imagen) con etiquetas. De forma simplificada, podemos pensar que estas características están dadas por diferentes patrones presentes en la imagen, como el color, el brillo, la cantidad de patas, el tamaño del cuerpo o la forma de las orejas. Si nos detenemos a pensar en estas características, algunas serán más útiles que otras para distinguir entre perros y gatos. Por ejemplo, la cantidad de patas no parece ser una característica útil para diferenciarlos; sin embargo, el tamaño del cuerpo sí podría serlo. La idea es que, por medio del entrenamiento, los sistemas aprendan a asociar patrones en estas características con las correspondientes categorías. Al principio estas asociaciones serán seguramente incorrectas; pero a medida que avance el proceso de entrenamiento, el modelo se irá ajustando y mejorando su desempeño en la tarea asignada.

Esta idea que ilustramos con imágenes es extrapolable a otros tipos de datos sobre los que hablábamos: si quisiéramos entrenar un sistema para aprender a traducir texto de inglés a español, necesitaríamos muchos textos escritos en ambos idiomas. Para inferir el estado de ánimo de una persona a partir de su voz, necesitaríamos grabaciones de audio de personas hablando, y la correspondiente etiqueta que indique si se encuentran alegres o tristes. Si pensáramos en un sistema que detecte patologías automáticamente a partir de imágenes radiográficas, necesitaríamos pares de imágenes con su correspondiente diagnóstico médico. O si quisiéramos entrenar un modelo para detectar rostros en imágenes, necesitaríamos una base de datos de fotografías de personas, con etiquetas que indiquen en qué lugar se encuentra el rostro de cada una.

Como vemos, los datos juegan un rol esencial en el entrenamiento de sistemas por medio de aprendizaje automático, dado que son la fuente de información que le indicará al sistema cuándo ha llegado a conclusiones correctas y cuándo no. Algo que resulta fundamental en este proceso, y que no siempre es tenido en cuenta, es que un sistema raramente se construye para realizar predicciones con los datos con que fue entrenado. Por el contrario, se espera que los modelos puedan sacar conclusiones acertadas sobre datos nunca vistos durante el «aprendizaje» –los datos de prueba– y cuyas etiquetas no se conocen. Esta capacidad de generalización es un rasgo primordial, dado que de nada serviría un modelo predictivo que solo acertara en situaciones conocidas. Imaginemos un detector de patologías en imágenes radiográficas que puede predecir si una persona tiene o no neumonía utilizando solamente imágenes de esa misma persona. O un traductor de inglés a español que solo puede traducir textos que ya estaban traducidos. En general, la hipótesis de trabajo de estos sistemas es que los datos de prueba serán de alguna manera similares a los datos de entrenamiento, pero no los mismos. Por ejemplo, si entrenamos un modelo para detectar neumonía en humanos, el modelo será utilizado en otros humanos, pero no en animales. O si entrenamos un sistema para traducir del español al inglés, los textos de prueba serán distintos de los de entrenamiento, pero estarán siempre escritos en español, y no en francés. En este caso, resulta evidente que un sistema que aprendió utilizando textos en español no podrá generalizar al francés. ¿O acaso le pediríamos a un intérprete de francés que traduzca mandarín? Sin embargo, existen variaciones entre los datos de entrenamiento y prueba que pueden ser más sutiles que el cambio de español a francés o de humanos a animales, pero que igualmente producen un efecto devastador en la calidad de las predicciones.

Volvamos a imaginar el caso del sistema para distinguir entre imágenes de perros y gatos, pero con una pequeña variación: nuestra base de datos solo está compuesta por perros negros y gatos blancos. En este caso, el color del animal será una característica sumamente útil para distinguir entre ambas clases. De hecho, nos dará una predicción perfecta: si el color predominante en el cuerpo del animal es negro, será un perro; y si es blanco, será un gato. Ahora imaginemos que en nuestro conjunto de prueba hay una sutil diferencia: aparecen perros de color blanco. ¿Qué creen que sucederá con las predicciones sobre los perros blancos? El sistema seguramente les asignará la etiqueta «gato» de forma incorrecta, resultando en un rendimiento más bajo para este subconjunto de la población objetivo. Tomar en cuenta estos factores al entrenar sistemas de inteligencia artificial basados en aprendizaje automático es clave si queremos evitar el sesgo algorítmico en varios sentidos. Veamos algunos ejemplos.

Sobre datos, modelos y personas

Hace algunos años, llegó a mis manos, por recomendación de colegas, un artículo que se titulaba «ai is Sexist and Racist. It’s Time to Make it Fair»7 [La inteligencia artificial es sexista y racista. Es hora de volverla justa], de James Zou y Londa Schiebinger. El artículo discutía un aspecto sobre el que hasta ese momento no me había detenido a pensar respecto de los modelos de inteligencia artificial que yo mismo estaba implementando: estos modelos pueden ser sexistas y racistas. En otras palabras, pueden adquirir un sesgo que los lleve a presentar un rendimiento dispar en grupos caracterizados por distintos atributos demográficos, lo que redunda en un comportamiento desigual o discriminatorio. Y una de las razones detrás de este comportamiento eran justamente los datos que usaba para entrenarlos.

Los ejemplos de sesgo algorítmico adquirido a través de los datos son variados y muchas veces tienen que ver con bases de datos que no representan en realidad al conjunto de la población. En el caso reportado por Joy Bowlamwini y Timnit Gebru8, en el que diversos sistemas comerciales de reconocimiento facial muestran un rendimiento dispar respecto a variables demográficas como el género y el color de la piel, son las mujeres de piel negra el grupo para el cual los modelos presentan peor rendimiento. Este hecho está posiblemente relacionado con la falta de representatividad de mujeres negras en las bases de datos utilizadas para el entrenamiento. Ejemplos similares se encuentran al analizar ImageNet, una de las bases de datos de imágenes etiquetadas más grandes del mundo, que ha sido motor del desarrollo de los modelos más populares de clasificación de imágenes9. ImageNet posee millones de imágenes clasificadas en miles de categorías. Sin embargo, pese a que es utilizada mundialmente, más de 45% de las imágenes provienen de Estados Unidos y reflejan una realidad localizada en el hemisferio norte y que encarna representaciones propias de la cultura occidental. No resulta sorpresivo entonces el ejemplo citado por Zou y Schiebinger: sistemas de inteligencia artificial entrenados con ImageNet asignan las categorías «novia», «vestido», «mujer» o «boda» a la imagen de una novia occidental vestida de blanco, pero identifican como «arte de performance» o «disfraz» la imagen de una novia vestida con el típico atuendo usado en la India, que ciertamente difiere del occidental.

Otro ejemplo está dado por los traductores automáticos como Google Translate, donde se encontró que el sistema asignaba un género específico al traducir palabras que son neutras en un idioma y no en otro10, perpetuando así estereotipos de género como la asignación del género femenino a la palabra «nurse» y masculino a «doctor», palabras que en inglés valen para ambos géneros. Es posible que en los textos utilizados para entrenar el modelo la probabilidad de encontrar la palabra «nurse» traducida como «enfermera» ciertamente fuera más alta, y por tanto el modelo minimiza las chances de error al asignar ese género en situaciones de incerteza, y lo mismo vale con «doctor». Un caso relacionado es el de los sistemas de puntuación para la asignación de préstamos bancarios o límites de gasto en tarjetas de crédito: frente a una pareja con ingresos, gastos y deudas similares, la empresa de tarjetas de crédito estableció un límite para la mujer de casi la mitad del límite del esposo11. La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y probablemente los datos con los que fue entrenado el modelo la reflejaran, por lo que su recomendación era asignarle mayor límite de gasto al hombre que a la mujer. Es decir, los datos son un reflejo (acotado) de la realidad actual. Sin embargo, en estas situaciones cabe preguntarse: ¿realmente queremos que el modelo perpetúe (y hasta en ocasiones amplifique) las desigualdades, por el solo hecho de que vivimos en una sociedad desigual? ¿O queremos modificar esta realidad? El recorte que se hace de estos datos, la población utilizada para construir las muestras, las variables que se miden: todas son decisiones humanas que están lejos de ser neutrales. El aura de neutralidad que muchas veces se atribuye a los sistemas automáticos se desvanece en el instante mismo en que comprendemos la relación entre los datos, los modelos y las personas. Y la necesidad de auditar la equidad de nuestros modelos tomando en cuenta una perspectiva interseccional se vuelve sumamente relevante.

En ocasiones, cuando detectamos posibles sesgos o rendimientos dispares en estos modelos, es posible pensar en soluciones para mitigarlos. Una de ellas sería balancear de alguna forma los datos, para evitar que los modelos resulten discriminatorios o injustos, dependiendo de la situación que estamos modelando. Otra opción podría ser inducir al sistema a que utilice representaciones «justas» de los datos, en el sentido de que no estén asociadas a las características que son fuente de discriminación. O, directamente, obligarlo a ignorar estos atributos protegidos, como el género u otras características demográficas, al momento de tomar una decisión. Sin embargo, debemos ser cuidadosos al diseñar estas soluciones: aunque ocultemos ciertos atributos a un sistema, como el género o el grupo étnico al que pertenece una persona, la correlación entre esos atributos y otras variables seguirá existiendo. Recordemos que si hay algo que los modelos de aprendizaje automático hacen bien es encontrar patrones y también correlaciones. Por eso, si bien la comunidad académica de investigación en equidad algorítmica (fairness) ha trabajado arduamente durante los últimos años en pos de construir modelos justos y que no discriminen, el factor humano en el diseño de estos sistemas resulta primordial. Aunque existen en la actualidad diversas formalizaciones del concepto de fairness, muchas de ellas resultan mutuamente incompatibles, en el sentido de que no es posible maximizarlas al mismo tiempo12, y por tanto se debe optar por aquellas que se desee maximizar.

No alcanza entonces con generar bases de datos representativas o modelos justos en algún sentido específico. Los sistemas de inteligencia artificial están diseñados por personas con sus propias visiones del mundo, prejuicios, valoraciones de los hechos y sesgos adquiridos a lo largo de su experiencia de vida, que pueden filtrarse en el diseño y la definición de criterios de evaluación para estos modelos. Si esos grupos de trabajo no son lo suficientemente diversos como para reflejar una amplia variedad de visiones, muy probablemente no lleguen siquiera a darse cuenta de la existencia de los sesgos, y por tanto a corregirlos. No hay ejemplo más claro que el caso de Joy Buolamwini, quien descubrió el sesgo racial de los sistemas de detección facial al usarlos en su propio rostro.

Ahora bien, si la diversidad en los equipos que conciben estos sistemas resulta tan relevante, esperaríamos que en la práctica esos grupos fueran realmente diversos, no solo en términos de género, sino también de clases sociales, etnias, creencias, edad u orientación sexual, solo por dar algunos ejemplos. Pero la respuesta no siempre es la que deseamos, y en palabras del ai Now Institute de la Universidad de Nueva York, la industria de la inteligencia artificial está viviendo una crisis de diversidad «desastrosa»13. Según su informe, elaborado en 2019, estudios recientes encontraron que solo 18% de los trabajos publicados en las principales conferencias de inteligencia artificial son realizados por mujeres, y que más de 80% de quienes son docentes de inteligencia artificial son hombres. Esta disparidad también se refleja en la industria, donde, por ejemplo, las mujeres representan solo 15% del personal de investigación de inteligencia artificial en Facebook y 10% en Google, dos de las empresas líderes en el área a escala global. Por otro lado, no se cuenta con datos públicos sobre personas trans o con otras identidades de género. Y a escala regional la situación tampoco mejora. Por ejemplo, según un informe elaborado por la Asociación Chicas en Tecnología y el Instituto para la Integración de América Latina y el Caribe del Banco Interamericano de Desarrollo (intal-bid)14 sobre mujeres en el sistema universitario argentino entre 2010 y 2016, existen grandes brechas de género en el ingreso y egreso de las estudiantes de las disciplinas ctim (ciencia, tecnología, ingeniería y matemática). Así, se observa un registro de 33% de mujeres y 67% de varones.

Ahora bien, aunque este escenario suena desolador y muchas de las situaciones que hemos discutido a lo largo de este artículo resaltan aspectos negativos potencialmente asociados al uso de estas tecnologías, muchos de los esfuerzos realizados en los últimos años para crear conciencia sobre estos riesgos y aumentar la diversidad de la comunidad de inteligencia artificial, tanto en el ámbito académico como en la industria, comienzan a sentar las bases para un futuro más promisorio. Iniciativas como la de Chicas en Tecnología o el Observatorio de Datos con Perspectiva de Género en Argentina, o WomenInml, QueerInai, BlackInai y Latinxinai a escala global, solo por nombrar algunas, comienzan a poner en debate y a cuestionar esta realidad. Los gobiernos empiezan a preocuparse por la necesidad de regular el uso y desarrollo de estas tecnologías. La emergencia de foros de discusión especializados en estas temáticas y el interés de todas las ramas de la ciencia por conocer las implicancias y potenciales aplicaciones de la inteligencia artificial en sus propios campos de estudio abren nuevos horizontes para el desarrollo científico guiado por los datos. Porque no se trata de obstaculizar el avance de la inteligencia artificial como disciplina, sino de que tanto quienes la utilizan como quienes la desarrollan sean conscientes de sus limitaciones, y de que las tomemos en cuenta a la hora de concebir y hacer uso de estas tecnologías.

Notas:
1. La visión artificial (computer vision) es una rama de las ciencias de la computación que se encarga de construir algoritmos y programas de computación capaces de identificar contenido en las imágenes e interpretarlas.

2. Si bien estos sistemas son más conocidos por su uso en vigilancia masiva o publicidad, también es posible encontrarlos en otros contextos, como en cámaras fotográficas (para hacer foco en el rostro de manera automática) o en redes sociales (para etiquetar a personas de manera automática).

3. «Facial-Recognition Research Needs an Ethical Reckoning», editorial en Nature, 18/11/2020.

4.En el contexto de este artículo, utilizaremos el término «rendimiento» de un sistema de inteligencia artificial para hacer referencia al nivel de acierto de las predicciones que realiza.

5. Peter Norvig y Stuart Russell: Artificial Intelligence: A Modern Approach, Pearson, Londres, 2002.

6. Kevin P. Murphy: Machine Learning: A Probabilistic Perspective, MIT Press, Cambridge, 2012.

7. J. Zou y L. Schiebinger: «ai is Sexist and Racist –It’s Time to Make it Fair» en Nature, 18/7/2018.

8. J. Buolamwini y T. Gebru: «Gender Shades: Intersectional Accuracy Disparities in Commercial Gender Classification», trabajo presentado en la 1a Conferencia sobre Equidad, Responsabilidad y Transparencia, disponible en Proceedings of Machine Learning Research (PMLR) vol. 81, 2018.

9. Olga Russakovsky et al.: «ImageNet Large Scale Visual Recognition Challenge» en International Journal of Computer Vision vol. 115 No 3, 2015.

10. Gabriel Stanovsky, Noah A. Smith y Luke Zettlemoyer: «Evaluating Gender Bias in Machine Translation» en Actas de la 57a Reunión Annual de la Asociación de Lingüística Computacional (ACL), 7/2019.

11. Genevieve Smith e Ishita Rustagi: «When Good Algorithms Go Sexist: Why and How to Advance ai Gender Equity» en Stanford Social Innovation Review, 2021.

12. Sorelle Friedler, Carlos Scheidegger y Suresh Venkatasubramanian: «The (Im)Possibility of Fairness: Different Value Systems Require Different Mechanisms for Fair Decision Making» en Communications of the ACM vol. 64 No 4, 4/2021.

13. Sarah Myers West, Meredith Whittaker y Kate Crawford: «Discriminating Systems: Gender, Race and Power in AI», AI Now Institute, 4/2019.

14. Ana Inés Basco, Cecilia Lavena y Chicas en Tecnología: «Un potencial con barreras. La participación de las mujeres en el área de Ciencia y Tecnología en Argentina», Nota Técnica No IDB-TN-01644, bid, 2019.

Este artículo es copia fiel del publicado en la revista Nueva Sociedad 294, Julio – Agosto 2021

Este año, las grandes empresas tecnológicas se enfrentan a importantes batallas judiciales tanto en Estados Unidos como en Europa. Responderán, entre otras cosas, por la desinformación y por su situación de monopolio. Esta socióloga fue una de las primeras voces que nos advirtió del enorme poder de estas compañías. Y ya es considerada una de las personas más influyentes de este siglo.

Por Carlos Manuel Sánchez 

Silicon Valley ha perpetrado un golpe de Estado contra la humanidad. Así lo cree la socióloga y economista estadounidense Shoshana Zuboff. «Se ha hecho sin que nos percatemos y sin sangre».

No hace falta comprarse un altavoz, mucha gente se va a la cama con el móvil. Y es lo primero que consulta cuando se levanta.

No queda ahí la cosa. Google dice que no asume ninguna responsabilidad de lo que hagan esos terceros con los datos. Y cada contraparte dice lo mismo. Así que hay cientos de compañías que tienen un dominio completo sobre tus datos. Toman lo que quieren y lo usan como quieren, sin transparencia y sin control. Y esto viene a cuento porque hace 17 años teníamos un futuro prometedor: un hogar inteligente para vivir mejor. Y esa idea ha sido traicionada. Y en nuestro hogar, que debería ser un santuario, no solo entran Google, Apple, Amazon y Facebook, entran cientos de compañías que no conocemos. No puedes cerrar la puerta de tu casa. Y, aunque la cierres, da igual porque ya están dentro. Y esto no debería ser así; se nos ha impuesto de manera unilateral, ilegítima y secreta. Pero no es inevitable.

Muchos niños manejan el móvil mejor que sus padres. ¿De verdad cree que se le puede dar la vuelta a esto?

Sí, pero va a llevar algún tiempo… Si hubiéramos estado los últimos veinte años intentándolo y no lo hubiéramos conseguido, sería pesimista, como usted, pero la verdad es que no lo hemos intentado. El capitalismo de vigilancia ha tenido barra libre. La democracia se ha dormido al volante. Tenemos una oportunidad porque ahora conocemos sus peligros. Es hora de remangarse y hacer una labor crucial para nuestro futuro y el de nuestras democracias.

¿Pero estamos por la labor?

A principios del siglo XX había niños trabajando en las fábricas. Las grandes compañías tenían todo el poder en Estados Unidos. Ni los trabajadores ni los consumidores podían enfrentarse a ellas. Sus abogados ganaban todos los pleitos. Pero fuimos capaces de utilizar la democracia, la ley y la política para crear nuevos derechos y contener los excesos del capitalismo industrial. Y ¿sabe qué? La segunda mitad del siglo XX fue muy próspera en muchos países. Nada es perfecto, pero ahora tenemos una oportunidad similar. Entramos ahora en una década en la que se va a decidir el futuro del siglo XXI. Y creo que veremos emerger un paradigma nuevo que va a poner freno o, por lo menos, a limitar los aspectos más perniciosos del capitalismo de vigilancia. Y creo que será necesario que algunas de sus actuaciones se ilegalicen porque son conductas criminales.

Ya se está investigando a las grandes tecnológicas. Mark Zuckerberg y Jeff Bezos han tenido que responder ante el Congreso, pero de ahí a considerarlos delincuentes va un trecho.

Yo considero a los ejecutivos de Silicon Valley como emperadores. Ejercen un poder que no da cuentas a nadie. No queremos a estos ejecutivos poderosos a los que les importan un bledo nuestras vidas, que son radicalmente indiferentes a los problemas reales de la gente. ¡No los queremos!

¿Cómo convence a la gente de que Google o Facebook son peligrosos, aunque nos hagan la vida más fácil?

No creo que tenga que convencer a nadie. Recientemente se ha publicado una gran encuesta en Estados Unidos. Se les preguntó a los norteamericanos si los riesgos de que las compañías recopilen sus datos eran mayores que los beneficios. Y es la primera vez que el 81 por ciento considera que los riesgos exceden a los beneficios. Es un punto de inflexión. Estábamos acostumbrados a preocuparnos por cómo manejan nuestros datos los gobiernos y no tanto las corporaciones, pero ahora las cosas han cambiado.

Pero entre los ganadores de la pandemia están las tecnológicas. Bezos ha duplicado su fortuna desde marzo y es el ser humano más rico de la historia.

Las encuestas detectan otra tendencia. El 84 por ciento de los norteamericanos no confían en que las compañías que poseen las redes sociales arreglen los problemas que han creado. Y un estudio global de Pew Research señala que once países consideran que la desinformación es la mayor amenaza contra la democracia. Lo que estamos viendo es una pérdida de fe en estas corporaciones. La gente ahora se moviliza. Ve el riesgo.

¿Qué hay de malo en que Netflix y Amazon conozcan nuestros gustos y nos recomienden libros o series?

Los gigantes tecnológicos quieren que creamos que la privacidad es privada. Que nosotros tenemos el control de lo que queremos exponer y lo que no. Yo les doy unos pocos datos a Facebook a cambio de un servicio que es gratis.

Se supone que ese es el trato, ¿no? Las condiciones de servicio que pocos leen y casi todos aceptan para tener correo, mapas, hacer búsquedas, compartir fotos…

Pero lo que hemos aprendido es que, cada vez que consentimos darles datos, ellos toman muchos más de los que creemos. Si publicas algo en Facebook, no les importa lo interesante o veraz que pueda ser, pero lo desmenuzan. Examinan si usas signos de admiración para sacar conclusiones sobre tu estado emocional. Porque las emociones son comportamientos fáciles de predecir. Y muy rentables. La inteligencia artificial de Facebook examina billones de esos datos cada día y es capaz de producir seis millones de predicciones por segundo. Y muy pocos de esos billones de datos los damos a sabiendas ni por propia voluntad. Los cogen sin que nos enteremos. Cada vez que utilizamos las redes sociales, alimentamos a un sistema cuyas asimetrías de poder y de conocimiento están minando nuestras democracias y aumentando la desigualdad.

¿A qué se refiere cuando habla de asimetrías?

A que hay una gran diferencia entre lo que ellos saben de nosotros y lo que nosotros sabemos de ellos; entre lo que podemos hacer y lo que ellos nos pueden hacer. El conocimiento y el poder son inextricables.

Siempre lo han sido…

Pero ahora vemos, por ejemplo, que el sistema de reconocimiento facial de Microsoft, desarrollado con fotos de Facebook, no se utiliza solo con propósitos académicos, como nos habían contado, sino que Microsoft lo vendió a clientes militares, incluido el Ejército chino, que mantiene a los uigures musulmanes sometidos a una vigilancia constante. Nuestras fotos de Facebook están sirviendo para encarcelar a gente inocente en una campaña genocida contra una minoría religiosa. No es algo trivial. Estamos exponiendo no solo a nuestra sociedad, sino a todas las sociedades, a estos sistemas. Y la gente empieza a entenderlo. Es un desafío político y legal. Nos están robando una parte de nuestras vidas sin nuestro permiso. Tenemos que parar esto. Y creo que podemos.

Fuente: https://www.xlsemanal.com/conocer/tecnologia/20210106/capitalismo-de-vigilancia-shoshana-zuboff-seguridad-datos-internet-redes-sociales.html

Por Álvaro Briales

Por Santiago de Arcos-Halyburton

“hoy, acaso, estamos en un nuevo siglo XVI,

es decir en una época en la cual las viejas categorías

explotan y es preciso acuñar otras nuevas”. 

       Paolo Virno

Una lectura sobre los movimientos sociales que, desde 2011, conmueven la escena global, conformando un enjambre de rebeliones conexas, digo, una lectura, porque es solo un punto de vista a debatir, como un poder constituyente a partir de su principal característica: un acontecimiento que busca encarnar la destruccion del orden actual de las cosas, estableciendo un nuevo orden social, nacido del momento constituyente en que la multitud se reconoce a sí misma como contrapoder y al mismo tiempo intenta anularse como clase, emancipando a los ciudadanos del poder político-económico construido por el capitalismo, no como un aggiornamiento dentro del regimen de la representación o una nueva administración de la governance del capital, ni como un mistificador tránsito a través de las instituciones, sino que como una genealogía de las luchas, que nace con la Primavera Árabe en 2011, y no se detiene ni en el 15M, Plaza Maidan, el Junho Caliente brasileño de 2013, o el Octubre chilenoecuatoriano de 2019, sino que continua como una posta de rebeliones constituyentes de comunes, contra todo orden: económico, social, político, y aún más importante, contra toda representación o intento de captura por parte de las burocracias partidarias o sindicales que componen el Estado de los partidos, la banca y las finanzas.

Si bien esta es la mayor fortaleza que la política de la multitud, más allá del general intellect, ha construido, también es su mayor debilidad: la imposibilidad de estructurar un contrapoder orgánico (esto lleva a Antonio Negri a formular la hipotesis de la necesidad de un “nuevo” verticalismo en los movimientos sociales, lo que en definitiva es tratar de construir orgánicas que superen la verticalidad del centralismo de los partidos de izquierda mediante la vigilancia de la multitud, cuestión que solo la realidad se ha encargado de negar ante la experiencia de Podemos, Syriza, Frente Amplio chileno y todos los experimentos realizados en torno a la “nueva” forma política, que solo han significado un nuevo ejercicio de governance). 

Esta posta de rebeliones, que se entrega a sí misma el testigo latitud tras latitud hace parte de una momento de guerra social que recrudece ante la crisis terminal del capitalismo financiarizado, y hoy aceleradamente smartworkerizado, constituye una pregunta, obturada, pero sin respuesta aún, tal como el Mayo francés del ’68, triunfante por derrotada, precisamente porque en su fortaleza anti-representativa no logra contestarla y es, de un modo u otro, institucionalizada, canalizada en un momento electoral, como el Acuerdo por la Paz que provoca el cierre de la lucha chilena y toda su potencia en una Convención Constitucionalista, que no constituyente, sin soberanía ni mandato, que aggiorna y reconstituye el acuerdo social mistificado de Estado benefactor, en un revival del momento keynesiano, imposible en el periodo de la subsunción real del capital.

Esta canalizacion, captura, supone una derrota del movimiento social, aunque esta derrota es siempre parcial, dado que su potencia se disemina como esporas en la fabrica difusa metropolitana y rural. Es la constitución de comunes, inmanentes, en plena lucha (ordenamientos jurídicos, otros, de la multitud en lucha, como lo son sus propias leyes de prensa, que impiden o permiten el trabajo de cierta prensa en las manifestaciones, desplazamientos, rebajas de tarifas, vigilancia comunitaria, guardianes de la floresta en otras latitudes, guardia indígena, saqueos como abastecimiento y reapropiación de la riqueza creada, etc.), tangibles y orgánicos (pero no burocráticos), tanto en plena lucha como al momento del repliegue (ollas comunitarias, salarios compartidos [estos nacen en medio de la cesantía creada por la smartworkerizacion del trabajo en pandemia], huertos comunitarios, escuelas libres, redes de apoyo y solidaridad barriales), todos ellos gérmenes nacidos en pleno éxodo comunista del capitalismo, como brotes de la siembra que la rebelión global ha significado en cada territorio: la constitución de un mar de fondo sin vanguardia ni partidos, un modo otro de relacionarnos con el entorno social y politico, donde el deseo de la multitud por destruir el orden actual de las cosas se encarna en cada rechazo del momento electoral, en cada ruptura con el orden de la representación, con toda institucionalidad que signifique la continuidad de la governance del capital. 

Por Leonardo Fabián Sai

El capital cibernético es una forma específica de capital de alta tecnología capaz de subsumir el lazo social. Al apropiarse de las relaciones sociales mediante dispositivos tecnológicos, el capital cibernético trastoca el conjunto de las relaciones humanas en una acumulación de datos que posibilita tanto la predicción de la conducta humana como la planificación jerárquica del capital. El resultado es una nueva relación con el cuerpo y el lenguaje.