To train GPT-4, OpenAI transcribed more over a million hours of YouTube footage

• Google ha confirmado informes no confirmados de la actividad de OpenAI en YouTube, afirmando que sus archivos robots.txt y Términos del Servicio prohíben la extracción o descarga no autorizada de contenido.
• Meta se enfrentó a limitaciones en la disponibilidad de datos de entrenamiento y a problemas de privacidad tras el escándalo de Cambridge Analytica. La empresa consideró comprar licencias de libros o adquirir una editorial para alcanzar a OpenAI, y se vio limitada en el uso de datos de consumidores.

The Wall Street Journal afirmó esta semana que las empresas de IA están encontrando un obstáculo en la recopilación de datos de entrenamiento de alta calidad. The New York Times detalló algunas de las formas en que las empresas están lidiando con este problema. Ver también: La FCC respalda a los constructores de fibra con límites de permisos.

OpenAI necesita datos de entrenamiento

Desesperada por datos de entrenamiento, OpenAI desarrolló el modelo de transcripción de audio Whisper para superar las dificultades, transcribiendo más de un millón de horas de video de YouTube para entrenar su modelo de lenguaje a gran escala de última generación, GPT-4. Según The New York Times, la empresa sabía que esto sería legalmente problemático pero lo consideró uso legítimo. La portavoz de OpenAI, Lindsay Held, declaró a The Verge que la empresa selecciona conjuntos de datos “únicos” para cada uno de sus modelos para “ayudarles a comprender el mundo” y mantener su investigación global competitiva. Ver también: Ofcom expone la brecha de cobertura móvil en los trenes del Reino Unido.

Según el artículo del Times, la corporación se quedó sin datos relevantes en 2021 y habló de transcribir podcasts, audiolibros y videos de YouTube como plan de respaldo. Para entonces, Google ya había utilizado información de Quizlet, una base de datos de partidas de ajedrez y código informático de Github para entrenar sus modelos. Ver también: Robert Neuwirth.

Lea también: Meta niega permitir a Netflix acceder a la información privada de los usuarios

Respuesta de Google

El portavoz de Google, Matt Bryant, declaró a The Verge en un correo electrónico que la empresa había “visto informes no confirmados”, añadiendo que “tanto nuestro archivo robots.txt como nuestros Términos del Servicio prohíben la extracción o descarga no autorizada de contenido de YouTube”, reflejando las condiciones de uso de la empresa. Bryant afirmó que Google toma “medidas técnicas y legales” para prevenir dicho uso no autorizado “cuando tenemos una base legal o técnica clara para hacerlo”. Ver también: La UE reescribe las reglas de soberanía de la infraestructura de IA.

El departamento jurídico de Google ha solicitado a su equipo de privacidad que ajuste el lenguaje de su política para ampliar el tratamiento de los datos de los consumidores, como las herramientas ofimáticas como Google Docs, escribe el Times. Según se informa, Google tiene la intención de publicar la nueva política el 1 de julio para aprovechar la distracción del fin de semana festivo del Día de la Independencia. Ver también: La UE expulsa a los operadores satelitales estadounidenses del espectro.

Lea también: La herramienta de clonación de voz de OpenAI imita tu voz con una muestra de 15 segundos

Respuesta de Meta

Meta se ha encontrado de manera similar con las limitaciones de la disponibilidad de buenos datos de entrenamiento, y en grabaciones escuchadas por The Times, su equipo de IA discute el problema de usar obras con derechos de autor sin permiso en su intento de alcanzar a OpenAI. La empresa consideró medidas como pagar por licencias de libros o incluso adquirir directamente una gran editorial. Las reformas de privacidad de la empresa tras el escándalo de Cambridge Analytica también han limitado aparentemente la forma en que utiliza los datos de los consumidores. Ver también: La FCC exige licencias para los aterrizajes de cables submarinos en EE. UU..

Google, OpenAI y el campo más amplio del entrenamiento de IA están luchando contra la rápida evaporación de los datos de entrenamiento para sus modelos, y cuantos más datos absorben esos modelos, mejor. El Journal escribió esta semana que para 2028, las empresas podrían superar el desarrollo de nuevo contenido. Ver también: EE. UU. cierra la laguna legal de los chips de IA en el extranjero.

El Journal sugiere formas de resolver el problema de los errores de los modelos, incluidos los datos sintéticos o el aprendizaje por currículum. Sin embargo, ninguno de estos métodos está probado. Las empresas pueden usar lo que encuentren, con o sin permiso, pero esto está plagado de litigios. Ver también: La FCC reabre la subasta AWS-3 tras el incumplimiento de Dish.