Google LLC, Microsoft Corp., Anthropic PBC y OpenAI Group PBC presentaron un plan conjunto para apoyar un nuevo estándar de rastreo web que permitirá a los administradores de sitios bloquear el uso de su contenido en el entrenamiento de modelos de inteligencia artificial (IA).
Unificación del control mediante robots.txt
Actualmente, muchos sitios web utilizan un archivo llamado robots.txt para indicar a los rastreadores qué contenido pueden acceder o no. Sin embargo, para impedir que los datos sean usados por múltiples desarrolladores de IA, los operadores deben editar el archivo para cada proveedor y scraper, lo que resulta complejo y poco práctico.
Según informó Google en un comunicado oficial, el nuevo estándar permitirá bloquear con una sola entrada en robots.txt todos los rastreadores que recolectan datos para entrenar modelos generativos de IA. Esta configuración no afectará a modelos que realicen tareas no generativas.
Te puede interesar
Estados UnidosSam Altman critica el uso doméstico de RAM durante la escasez global y aboga por la nubeSam Altman, CEO de OpenAI, calificó como "bastante terrible" que la memoria RAM limitada esté en PCs personales con baja…Leer la nota Implementación y apoyo de la industria
Microsoft anunció que también ofrecerá un ajuste denominado AI Grounding, que permitirá a los sitios web impedir que modelos de IA accedan a páginas para responder consultas de usuarios en tiempo real, sin recopilar datos para entrenamiento. Esta función se extenderá a herramientas de terceros que usen tecnologías de Microsoft.
OpenAI confirmó que implementará controles similares y que tanto esta empresa como Microsoft incorporarán soporte para el estándar en los próximos meses, mientras que Google planea hacerlo el próximo año. Meta Platforms expresó apoyo a la iniciativa, aunque aún no se comprometió a adoptarla.
Contexto y relevancia
El protocolo Robots Exclusion Protocol, que regula el funcionamiento de los archivos robots.txt, es mantenido por el Internet Engineering Task Force (IETF). La propuesta de Google, Microsoft, Anthropic y OpenAI ya fue presentada como borrador ante esta entidad para su evaluación.
Este avance responde a la creciente preocupación de los propietarios de sitios web por el uso no autorizado de sus contenidos en el entrenamiento de IA, que puede implicar problemas de derechos de autor y privacidad.
Próximos pasos
Se espera que la adopción de este estándar facilite la gestión de permisos para los operadores web y promueva un uso más transparente y respetuoso de los datos en el desarrollo de inteligencia artificial generativa.
