요약

  • 설정이나 로직 변경은 인프라 경보를 울리지 않은 채 자동화 결과를 잘못 바꿀 수 있다.
  • Sepuri는 운영 중인 흐름의 출력을 검증하고 관측 결과를 다음 테스트에 반영하자고 제안한다.

초록색 대시보드는 서버가 응답하고 지연과 오류가 안정적이라고 말한다. 서비스가 올바른 결정을 내렸다는 증거는 아니다. Shruthi Sepuri가 NANOG 98에서 발표한 내용은 이 간극을 신뢰성의 문제로 끌어온다.

발표 제목은 “From Testing to Reliability: Detecting Silent Failures in Production Systems”다. NANOG 공식 일정에 따르면 30분 세션은 2026년 10월 19일 마이애미에서 열렸다. 공식 초록은 설정, 규칙, 의존성의 변화가 자동화 시스템의 행동을 바꾸면서도 가용성이나 자원 지표에는 나타나지 않을 수 있다고 설명한다.

슬라이드가 보여주는 것은 실제 사고 보고가 아니라 하나의 시나리오다. 인프라 상태는 정상인데 규칙 엔진이 실패하고, 잘못된 결정이 나오며, 검증 단계가 빠지고, 감사 기록에 빈틈이 생긴다. 공개 자료는 피해를 입은 서비스나 고객을 특정하지 않는다. 이 예시는 처리 흐름이 살아 있어도 결과가 틀릴 수 있다는 점을 드러낸다.

Sepuri는 입력부터 결과까지 이어지는 경로를 측정하자고 말한다. 출력 정확도, 설정 검증 범위의 완전성, 결과 분포의 변화, 알려진 사례에 따른 규칙 실행 정확도가 여기에 포함된다. 실제 운영 로직을 통과하는 합성 트래픽, 변경 전후 결과를 기준값과 비교하는 절차, 관측된 운영 행동을 테스트에 되돌리는 방법도 제시한다.

먼저 팀은 무엇이 정답인지 정의해야 한다. 반드시 있어야 할 입력 필드는 무엇인지, 어느 규칙이 실행되어야 하는지, 결과가 어떤 설정 버전에 연결되는지 알아야 한다. 이 연결이 있어야 그래프의 이상이 원인을 좁히는 증거가 된다.

결과 분포의 변화가 곧 결함을 뜻하지는 않는다. 트래픽이나 정책이 의도적으로 달라질 수 있다. 경보에는 변경 기록, 기대 결과, 차이를 설명할 담당자가 붙어야 한다. 그래야 통계적 변화가 자동 롤백 명령이나 무시되는 알림으로 끝나지 않는다. 합성 트래픽도 실제 로직을 시험하되 고객 상태를 바꾸지 않아야 한다.

Sepuri의 주장은 시스템이 스스로 보고하는 상태보다 실제로 실행되는 행동을 살피자는 것이다. 테스트가 운영 로직을 안전하게 거쳐 추적 가능한 증거로 돌아와야 한다. 그러지 않으면 모든 표시가 초록색인 채 잘못된 결정이 다음 단계로 흘러간다.

출처: NANOG 98 공식 세션 · 공식 발표 자료 · 공식 발표자 사진.