• Anunciado el lunes, Anthropic lanzó un nuevo programa con el objetivo de financiar el desarrollo de nuevos benchmarks capaces de evaluar el rendimiento y el impacto de los modelos de IA.
  • Los nuevos benchmarks que Anthropic espera crear se centran más en la seguridad y el impacto social de la inteligencia artificial, pero considerando las ambiciones comerciales de la empresa en la competencia de IA, sus acciones pueden tener otros propósitos.

NUESTRA OPINIÓN
Anthropic ha lanzado un programa de desarrollo de benchmarks de IA, financiando a organizaciones de terceros para evaluar el rendimiento y el impacto de los modelos, con el objetivo de mejorar la seguridad de la IA. Sin embargo, sus ambiciones comerciales son cuestionables y existen diferentes puntos de vista sobre la percepción del riesgo de la IA. Aunque los esfuerzos son encomiables, la importancia universal de estos benchmarks aún está por verse y su valor debe evaluarse de forma continua.
–Jasmine Zhang, periodista de BTW

¿Qué sucedió?

Anthropicanunció el lanzamiento de un programa destinado a financiar el desarrollo de nuevos benchmarks para evaluar el rendimiento y el impacto de los modelos de IA. El plan fue anunciado el lunes y proporcionará apoyo financiero a organizaciones de terceros que puedan medir de manera efectiva las capacidades avanzadas de los modelos de IA.

Anthropic declaró en su blog oficial que esta inversión tiene como objetivo mejorar todo el campo de la seguridad de la IA y proporcionar herramientas valiosas que beneficien a todo el ecosistema. El desarrollo de evaluaciones de alta calidad relacionadas con la seguridad sigue siendo un desafío, y la demanda supera con creces la oferta. Los benchmarks actuales de IA tienen deficiencias que dificultan reflejar el uso real del sistema por parte de las personas comunes, y también es cuestionable si algunos benchmarks antiguos han medido realmente lo que afirman.

La solución propuesta por Anthropic es crear benchmarks desafiantes que se centren en la seguridad y el impacto social de la IA, logrados mediante nuevas herramientas, infraestructura y métodos. La compañía pide específicamente el desarrollo y la evaluación de modelos para probar las capacidades de ciberataques, mejorar las armas de destrucción masiva y manipular o engañar a los humanos. Para los riesgos de IA relacionados con la seguridad nacional y la defensa, Anthropic ha prometido desarrollar un “sistema de alerta temprana”, pero no ha revelado detalles específicos en el blog.

Lea también:Schneider y NVIDIA construirán un diseño de centro de datos de referencia en IA

Lea también:Anthropic afirma que su último modelo tiene un alto rendimiento

Por qué es importante

En la actualidad, la investigación, el desarrollo y la regulación de la inteligencia artificial se encuentran en una etapa de rápido desarrollo. Los esfuerzos realizados por Anthropic para apoyar los nuevos benchmarks de inteligencia artificial son innovadores y, en cierta medida, gratuitos en coste y retorno, lo cual es ciertamente encomiable.

Sin embargo, cabe señalar que, considerando las ambiciones comerciales de la empresa en la competencia de la inteligencia artificial, debemos mantenernos escépticos sobre los nuevos benchmarks proporcionados por Anthropic.

Algunas personas en la comunidad de inteligencia artificial también tienen objeciones a los riesgos “catastróficos” y “engañosos” de la inteligencia artificial mencionados por Anthropic.Muchos expertosargumentan que hay poca evidencia que sugiera que la inteligencia artificial adquirirá la capacidad de acabar con el mundo y superar a la humanidad a corto plazo. Por lo tanto, todavía hay margen para seguir discutiendo si los esfuerzos realizados por Anthropic para crear nuevos benchmarks de IA tienen importancia universal, si sus acciones tienen un interés egoísta en obtener beneficios y si los resultados de detección de los nuevos benchmarks tienen valor de referencia.