요약

  • Mistral Large 4가 10월 6일 공개 API 프리뷰에 들어갔다. 회사 측은 가중치가 이번 달 말까지 공개될 것으로 예상한다고 밝혔으며, 10월 8일 기준 고객이 직접 운영하는 배포는 아직 미래의 선택지다.
  • 모델 카드에는 임시 판매 가격으로 백만 입력 토큰당 0.68달러, 백만 출력 토큰당 2.09달러가 표시되어 있고, 표준 가격은 각각 1.36달러와 4.18달러다. 저렴한 체험은 구매자의 API 청구액을 측정할 수 있을 뿐, 추론 서빙 운영을 직접 소유하는 비용은 보여주지 못한다.
  • 고객은 지금 대표적인 워크로드로 테스트한 뒤, 파일과 라이선스 및 기술 세부 사항이 공개된 후에야 수용된 작업 단위 비용과 통제 요구사항을 자체 운영 설계와 비교해야 한다.

두 개의 시계, 하나의 출시

Mistral의 10월 6일 발표는 두 개의 시계를 시작시킨다. 하나는 이미 작동 중이다. Mistral Large 4는 회사의 Studio API 프리뷰를 통해 이용할 수 있다. 다른 하나는 약속된 것이다. 모델 가중치는 10월 말까지 공개될 것으로 예상된다. 이 두 가지 접근 방식은 서로 교환할 수 없다. 첫 번째는 Mistral이 모델을 운영하고 고객이 추론을 구매하는 형태다. 두 번째는 고객이 최종 공개와 그 조건에 따라 모델 자체를 운영할 수 있는 형태다.

이 순서는 상업적으로 중요하다. 기업은 Large 4를 직접 사내에서 운영할 수 있을지 알기 전에 테스트를 시작할 수 있다. 이는 모델이 실제 워크플로우에 도움이 되는지 파악하는 학습 비용을 줄여준다. 동시에 첫 번째 실질적 비교는 API와 아직 존재하지 않는 온프레미스 시스템 사이가 아니라, 종량제 서비스와 구매자의 기존 대안 사이에서 이루어진다는 뜻이기도 하다.

임시 가격은 첫 테스트를 구체적으로 만들기에 충분히 명시적이다. Mistral의 모델 카드에는 현재 캐시되지 않은 입력 토큰 백만 개당 0.68달러, 출력 토큰 백만 개당 2.09달러의 판매 요율이 표시되어 있으며, 취소선이 그어진 표준 요율은 1.36달러와 4.18달러다. 캐시된 입력은 별도로 판매가 0.07달러, 표준가 0.14달러로 책정되어 있다. Mistral의 체인지로그에 따르면 출시 혜택은 2주간 50% 할인이다. 예를 들어 캐시되지 않은 입력 토큰 1,000만 개와 출력 토큰 100만 개는 판매 요율 기준 재시도, 도구, 세금, 오케스트레이션 이전에 8.89달러가 되고, 표준 요율로는 같은 토큰 구성이 17.78달러가 된다. 이는 산수이지 예측이 아니다.

구매자에게 중요한 숫자는 그 자체로서의 백만 토큰당 달러가 아니라, 구매자 자신의 프롬프트 길이, 캐시 재사용, 출력 크기, 도구 호출, 재시도, 사람의 검토를 반영한 수용된 결과 단위당 비용이다. 에이전트가 한 시간 동안 작동해야 하는 작업은 짧은 분류 요청과 다른 토큰 구성을 소모할 수 있다. 품질 실패도 분모를 바꾼다. 반복해야 하는 저렴한 시도가 반드시 저렴한 완료된 작업은 아니라는 뜻이다.

점수가 곧 구매 근거는 아니다

초기 평가 기록은 유용한 방식으로 엇갈려 있다. Vals AI의 10월 7일 프로필은 Large 4를 Vals Index에서 45개 중 33위, 정확도 48.05%로 평가하면서, 가장 좋은 결과로 Harvey의 Legal Agent Benchmark에서 76개 중 6위를 꼽았다. 이 지수는 대략적인 미국 GDP 비중으로 가중치를 둔 금융, 코딩, 법률, 세무 작업을 결합한다. Vals는 이 결합을 근사치(proxy)로 묘사하며 일부 벤치마크 실행은 다른 공급자와 매개변수를 사용할 수 있다고 경고한다. 이는 하나의 구조화된 관점이지 보편적인 품질 표가 아니다.

이 구분은 출시 문구나 하나의 종합 순위 중 하나를 받아들이기보다 구매자의 작업을 직접 테스트해야 한다는 주장이 된다. Mistral은 프리뷰가 아직 다듬어지고 있으며 아키텍처, 벤치마크, 사후 학습에 대한 추가 세부 사항이 가중치와 함께 제공될 것이라고 말한다. Le Monde는 출시 당시 회사의 성능 주장에 대한 독립적 확인이 아직 이루어지지 않았다고 보도했다. 지금은 구매자가 API를 통해 자체 결과를 수집할 수 있지만, 그 결과를 해당 서비스와 구성에서 나온 프리뷰 결과로 표시해 두어야 한다.

그 선택지에는 아직 운영 가격이 없다

공식 모델 카드는 활성 매개변수 520억 개, 총 매개변수 1.05조 개, 16억 매개변수 비전 인코더, 백만 토큰 컨텍스트 창을 명시한다. 그러나 이 어떤 수치도 고객이 선택한 지연 시간과 동시성 목표를 충족하려면 얼마나 많은 메모리가 필요한지 말해주지 않는다. 토큰당 활성 매개변수는 전체 모델 가중치의 메모리 점유율과 같지 않다. 정밀도, 양자화, 메모리 대역폭, 라우팅, 컨텍스트 길이, 서빙 스택이 모두 중요하다.

따라서 미래 가중치의 가치는 실재하지만 조건부다. 고객이 추론을 프라이빗 클라우드나 자체 하드웨어로 옮기고, 콘텐츠 조정 설정을 변경하고, 호스팅 접근이 바뀔 경우를 대비한 폴백을 유지할 수 있게 해줄 수 있다. 동시에 패치, 보안, 확장, 가용성, 사고 대응에 대한 책임을 그 고객에게 전가할 수도 있다. 다운로드 자체가 모델을 무료로 운영 가능하게 만들지는 않는다.

합리적인 구매 순서는 프리뷰를 이용해 대표적인 작업 집합에 대한 작업 품질, 지연 시간, 토큰 지출을 측정하는 것이다. 프롬프트, 모델 버전, 출력 검증, 캐시 가정, 재시도 횟수를 보존해 두라. 가중치가 도착하면 같은 작업을 반복하고 인프라와 인력을 포함한 수용된 작업의 비용을 비교하라. 라이선스, 하드웨어, 보안, 서비스 요구사항은 별도로 테스트하라. 로컬 옵션이 이 제약들을 충족하지 못한다면, 고객은 "오픈 웨이트"를 절감 계획으로 취급하기 전에 무언가를 배운 셈이다.

결국 Mistral의 이번 출시는 한쪽 면은 가격이 매겨져 있고 다른 쪽 면은 아직 가격이 매겨지지 않았다. API는 오늘 평가를 청구서로 바꿀 수 있다. 가중치는 나중에 통제 지점을 옮길 수 있지만, 구매자는 아직 그 통제가 감당 가능하고 운영상 더 나은지 알 수 없다.

출처:Mistral 발표;모델 카드 및 가격;제품 체인지로그;Vals 모델 프로필;Vals Index 방법론;Le Monde 출시 보도.