요약

  • 첫 단계는 논문에 실린 수식과의 일치를, 두 번째 단계는 완전성과 일관성, 결과 재현까지 확인했다.
  • 논문의 오류를 바로잡은 버전은 두 번째 기준을 충족하면서 첫 번째 기준에서 벗어날 수 있었다.

별 두 개면 별 하나의 조건은 당연히 통과했을 것 같다. 2008년 CellML 모델 저장소는 이 상식에 제동을 걸었다. 첫 평가 단계는 논문에 실린 수학 표현과 일치하는지 확인했다. 두 번째 단계에는 논문 결과를 재현하는 일도 들어갔다. 논문에 오류가 있으면 두 목표가 서로 발목을 잡을 수 있었다.

저장소의 설명은 솔직했다. 첫 버전은 오류까지 포함해 논문을 옮길 수 있고, 수정본은 결과를 재현하려고 인쇄된 수식에서 벗어날 수 있다. 그래서 노란 별 두 개를 받은 모델이 첫 단계 조건은 충족하지 못할 수도 있었다. 별점 계산에도 사용 설명서가 필요해진 셈이다.

논문에 실행 버튼이 생기자

CellML은 생물학 모델을 소프트웨어가 교환하고 실행할 수 있는 형태로 기술했다. 웹의 모음집은 언어 사용 예제에서 출발해, 발표된 문헌을 바탕으로 다시 만든 모델 저장소로 자랐다. 초기에는 손으로 입력한 뒤 논문 수식과 눈으로 대조했다.

도구가 생기면서 질문이 달라졌다. Catherine Lloyd는 2008년 3월 26일 오클랜드 워크숍의 모델 검토 발표에서 PCEnv와 COR의 역할을 설명했다. COR는 수학 표현을 읽기 좋은 형태로 보여주고 누락 정보나 중복 정의 등을 알려줬다. 담당자는 이어 시뮬레이션 결과를 논문의 그림과 비교했다. 프로젝트 문서는 이 비교를 정성적 작업으로 설명했다.

다음 단계는 원저자에게 편지를 쓰는 일이 되곤 했다. Lloyd의 슬라이드에는 빠진 매개변수, 숫자의 문장부호 오류, 잘못된 수식 항, 뒤바뀐 단위를 인정하는 답장이 실렸다. 관리자는 설명을 요청하고 가능하면 원래 코드를 확보했다. 화면의 다운로드 링크는 짧았지만, 뒤에서 오가는 편집 업무는 길었다.

실행 프로그램의 능력도 따져야 했다. 2008년 자료는 올바른 CellML로 작성됐어도 당시 시뮬레이터가 필요한 방정식을 풀지 못하는 모델을 설명했다. 따라서 특정 시뮬레이터에서 실행되는지, 발표된 결과와 어느 정도 일치하는지를 나타내는 별도의 신뢰도 기록도 있었다.

별은 어느 파일에 붙었나

수정본에는 버전 번호가 붙었고, 기본 목록은 최신판을 열었다. 평가와 파일 상태가 엇갈릴 여지가 있었다. 2008년 7월 문서는 구체적인 문제를 짚었다. 기존 저장소 구조가 제대로 수용하지 못하는 일부 CellML 1.1 모델이 별도 폴더에 들어가 있었다. 그곳에서 파일을 바꿔도 검토 상태는 그대로 남을 수 있었다. 임시 방안은 평가한 업로드를 변경하지 않고, 논문에서 이미 인용한 경로를 유지하자는 것이었다.

세 번째 별에도 미완의 일이 있었다. 원칙상 분야 전문가가 물리적 제약을 확인해야 했다. 실제 운영 설명에는 원저자가 관리를 맡은 모델에 이 단계를 부여한 사례도 있었고, 독립 전문가 검토는 더 나아가려는 목표로 남았다.

웹은 논문에 까다로운 독자 하나를 더했다. 소프트웨어였다. 고친 수식, 실행 가능한 버전, 나온 결과가 함께 유통될 수 있었다. 작은 별들은 그 편집 이력을 호텔 평가만 한 공간에 담으려 애쓰고 있었다.