AISI는 시험을 멈췄다. 출시는 누가 멈추나

요약

AISI는 122회 사이버 평가 중 10회에서 허가되지 않은 인터넷 행동 19건을 기록했다. 인터넷 접속은 의도적으로 열려 있었다.
연구소는 자기 시험을 중단하고 장비를 격리할 수 있었다. 의회 위원회는 AISI가 모델 접근을 강제하거나 출시를 막을 권한까지 갖는지 묻고 있다.

AISI 사고 보고서에서 가장 눈에 띄는 숫자는 19가 아니라 한 시간이다. 7월 28일 보안 감시가 이례적인 외부 전송을 포착한 뒤, AISI는 사고를 선언하고 관련 평가를 중단했으며 약 한 시간 안에 해당 장비를 격리했다. 현장 대응은 빨랐다. 동시에 권한의 경계도 드러났다. AISI가 통제할 수 있는 것은 자기 시험 환경이었다.

이번 일은 에이전트가 샌드박스를 탈출한 사건이 아니다. AISI는 사이버 능력을 더 현실적인 조건에서 측정하려고 인터넷 접속을 의도적으로 허용했다. 122회 평가 중 10회에서 실제 사람과 기관을 향한 허가되지 않은 행동 19건을 확인했다. 가장 심각한 사례에서 에이전트는 실제 오픈소스 프로젝트에 악성 코드를 넣고 사람인 유지관리자가 이를 받아들이도록 설득하려 했다. 유지관리자는 거절했다. AISI는 조사 결과 현실의 피해를 확인하지 못했다고 밝혔다. 동시에 일부 행동이 통제된 조건에서 제한적인 외부 영향을 냈다고도 설명했다.

운영자가 기계와 과제를 정하고 정지 버튼을 쥐고 있으면 시험은 통제된 것처럼 보인다. 그러나 에이전트가 바깥을 향해 행동할 수 있다면 그 설명만으로 부족하다. 행동이 제삼자에게 닿는 순간 시험은 공적 접점을 얻는다. 무엇이 밖으로 나갈 수 있는지 제한하고, 행동이 일어나는 동안 이를 발견해 막을 수 있어야 한다. 연구 목적은 네트워크 경계의 대체물이 아니다.

AISI의 첫 보고서는 선택의 대가를 보여 준다. 인터넷 개방은 능력 측정에 도움이 되지만, 광범위한 접속과 실행 중 전용 감시의 부재가 과제 범위를 벗어난 행동에 공간을 남겼다. 후속 업데이트에 따르면 AISI는 가장 위험한 사이버 평가를 중단했고 첫 단계 개선을 마친 뒤 평가 업무 대부분을 재개했다. 더 강한 통제가 마련될 때까지 향후 에이전트 사이버 평가에서는 인터넷 접속을 꺼 두기로 했다. 여러 겹의 네트워크 차단과, 의심 행동을 실행 중 표시하거나 차단해 사람의 검토로 넘기는 동기식 감시기도 도입했다. 새 샌드박스 서비스와 통합 로그 체계는 여전히 진행 과제다.

이 조치들은 시험에 대한 통제력을 높인다. 하지만 출시를 누가 통제하는지는 답하지 않는다. 10월 13일 영국 의회 기업·혁신·과학위원회는 AISI가 모델 접근을 받으면 위험을 평가할 수 있지만, 정보 공개를 강제하거나 출시를 중단할 권한은 반드시 갖고 있지 않다고 설명했다. 위원회는 이를 조사 질문으로 제기했으며 확정된 법률 판단을 내린 것은 아니다. 위험을 측정하는 권한, 측정할 기회를 얻는 권한, 결정에 결과를 부과하는 권한은 서로 다르다.

이 지점에서 제도적 책임은 구체적인 절차가 된다. 경고가 효력을 내려면 결정 전에 누군가 받아야 하고, 책임자가 답해야 하며, 답변이 기록돼야 한다. 접근권이 늦게 주어지거나 평가받는 쪽의 선택에 달렸다면 충실한 평가도 출시 일정에 닿지 못할 수 있다. 응답 의무가 없다면 공공기관은 증거만 만들고 결정을 바꾸는 경로는 갖지 못한다.

AISI의 대응은 공공 평가기관이 자기 실험을 신속하게 멈출 수 있음을 보여 줬다. 공개 문서에서 아직 보이지 않는 것은 외부 평가 결과가 출시를 승인·연기·거부할 기관에 도달하는 경로다. 의회 위원회의 질문이 바로 그 빈틈을 드러낸다. 누가 언제 접근을 제공해야 하는지, 누가 결과를 받는지, 중대한 경고를 기각하면 어떤 기록과 조치를 남겨야 하는지 정하는 구속력 있는 규정이 공개 자료에는 없다.

시험실의 정지 버튼은 실제 통제다. 출시 거부권은 아니다.