Icono del sitio adatech

Los peligros de la IA de código abierto

Los peligros de la IA de código abierto

En el apogeo de la pandemia de Covid-19, algunos funcionarios estadounidenses bien intencionados plantearon una nueva idea: ¿por qué no publicar en línea detalles de amenazas virales zoonóticas conocidas para permitir que los científicos de todo el mundo predigan qué variantes podrían surgir a continuación? Y con suerte encontrar antídotos.

Teóricamente, sonaba atractivo. Covid había mostrado el costo de ignorar las pandemias. También reveló los sorprendentes avances que pueden ocurrir cuando los gobiernos finalmente dedican recursos a la búsqueda rápida de vacunas.

Los bloqueos revelaron algo más: mientras los científicos luchaban por pensar si estaban separados físicamente o si trabajaban en diferentes instituciones, durante los bloqueos aprendieron cómo realizar reuniones por videollamadas que permitieron la innovación transfronteriza y transfronteriza.

Entonces, parte de la iniciativa Deep Vzn, una rama del proyecto Global Virome, fue que una plataforma viral de código abierto podría generar una lluvia de ideas global, especialmente en los mercados emergentes que a menudo se han quedado fuera de estos debates.

Hasta ahora, tan inspirador. Pero cuando la Agencia de los Estados Unidos para el Desarrollo Internacional (USAID) planteó la idea de Deep Vzn, algunos científicos detectaron un problema: publicar detalles sobre el virus en línea podría permitir que los malos actores repliquen enfermedades mortales y las empeoren. “Es natural querer entender las amenazas. Pero… no buscamos formas nuevas y más fáciles de [creating] armas nucleares; las pandemias no son diferentes”, tuiteó Kevin Esvelt, un experto en biotecnología del MIT que ayudó a lanzar el proyecto de ingeniería del genoma Crispr. «Si bien la identificación de virus pandémicos por adelantado podría permitirnos prevenir todas las pandemias naturales, inevitablemente le daría a decenas de miles de personas… el poder de desencadenar más pandemias», dijo.

Después de un coro de quejas, USAID suspendió el aspecto de código abierto de Deep Vzn. “Nos tomamos la seguridad extremadamente en serio… y en este caso, en consulta con nuestros colegas de la administración y con el Congreso, nos hemos embarcado en un proceso de revisión integral”, dijo un portavoz, y señaló que “esta investigación de campo no se llevó a cabo.

Dos años después, esto puede parecer una simple nota al pie histórica. No tan. Algunos observadores temen el regreso de «investigación predictiva”. Recientemente se dio la alarma en el Congreso sobre los riesgos. En términos más generales, Deep Vzn ofrece lecciones saludables para la inteligencia artificial a medida que se intensifica el debate a su alrededor. Por un lado, muestra por qué necesitamos más científicos involucrados en la política y la formulación de políticas, y que trabajen con personas que no son científicos.

Parece obvio. Pero un detalle impactante sobre el Congreso de los EE. UU. es que solo un pequeño número de sus miembros tiene experiencia en ciencias o ingeniería, a diferencia de países como Alemania o China. Peor aún, algunos se han vuelto cada vez más hostiles a la ciencia en los últimos años. El expresidente Donald Trump es un buen ejemplo.

En 2016, se creó una organización de campaña llamada 314 Action para apoyar a los científicos que quieren postularse para cargos públicos. Ya ha tenido cierto éxito, lo que llevó a su sitio web a afirmar: “En 2018, desempeñamos un papel fundamental en el derrocamiento de la Cámara de Representantes de los Estados Unidos al elegir a nueve nominados científicos por primera vez. También apoyará a los candidatos a favor de la ciencia en la carrera del próximo año. Pero todavía queda un largo camino por recorrer y, dada la rapidez con que se desarrollan tecnologías como la IA, esto es alarmante.

La segunda lección es que los formuladores de políticas deben manejar la idea de transparencia con cuidado, no solo con los patógenos, sino también con la IA. Hasta ahora, algunos expertos occidentales en IA han optado por publicar sus investigaciones de vanguardia en plataformas de código abierto para promover la causa de la ciencia y ganar elogios. Pero así como los expertos en biotecnología se dieron cuenta de que publicar detalles sobre patógenos podría ser riesgoso, los expertos se están dando cuenta de la amenaza que representan las herramientas de IA si caen en manos malintencionadas.

El dilema es que mantener la investigación de IA en exclusiva también plantea grandes problemas sociales. Las instituciones con los recursos para la investigación de IA en Occidente son en su mayoría empresas de Big Tech. Pero pocos votantes quieren darles el control exclusivo sobre la investigación de IA o las decisiones sobre cuándo publicarla.

Esto lleva a una tercera lección clave: los ciudadanos preocupados deben hablar. Esto es desalentador, dado el poder de las empresas tecnológicas y los gobiernos. Pero Rob Reid, un inversionista en tecnología y podcaster que ayudó a provocar protestas contra Deep Vzn, señala que su campaña fue impulsada principalmente por «solo un grupo de personas preocupadas». [American] extraños con vidas ocupadas”, que se sintieron obligados y empoderados para hacer sonar la alarma. «Este [protest] nunca podría haber sucedido en un país autoritario”, agrega. En efecto. Y muestra que el hecho de que la tecnología avance a un ritmo aterrador no significa que debamos sucumbir a la impotencia o la ignorancia pasiva.

Sigue a Gillian en Twitter @gilliantett y enviarle un correo electrónico a gillian.tett@ft.com

Seguir @FTMag en Twitter para escuchar nuestras últimas historias primero

Salir de la versión móvil