要約

  • 最初の評価段階は掲載された数式との一致を確認し、次の段階は整合性や完全性、結果の再現まで調べた。
  • 論文の誤りを直したモデルは、二段階目を満たしながら一段階目の条件から外れることがあった。

二つ星なら、一つ星の条件は当然クリアしている。CellMLのモデル集は、そんな常識に待ったをかけた。2008年の評価では、最初の段階は論文に載った数式との一致を確認する。二段階目では、掲載された結果を再現できるかも問う。論文に間違いがあれば、両方を同時に守るのが難しくなる。

モデル集自身の説明は率直だった。最初の版は誤りも含めて論文を写し、修正版は結果を再現するために印刷された数式から離れることがある。黄色い星が二つ付いていても、一段階目を満たすとは限らない。星の数え方に、説明書が必要になった。

ダウンロードした論文を動かす仕事

CellMLは、生物学のモデルをソフトウェアで交換し、実行できる形で記述する。ウェブ上の集積は言語の使用例から始まり、文献から組み直したモデルの収蔵庫へ発展した。初期には手で入力し、論文の数式と目で照合していた。

Catherine Lloydは2008年3月26日のオークランドでの会合で、その先の仕事を発表資料に示した。PCEnvやCORが、モデルの実行と点検を助けるようになった。CORは数式を読みやすく表示し、情報の欠落や定義の重複などを知らせた。担当者はさらに計算結果を論文の図と比較した。サイトの説明では、この照合は定性的な作業だった。

次は著者への問い合わせである。Lloydのスライドには、欠けていたパラメーター、数値の句読点の誤り、間違った式の項、入れ替わった単位を認める返信が載っている。担当者は説明を求め、可能なら元のコードを入手した。小さなダウンロードリンクの裏で、ずいぶん手のかかる編集作業が進んでいた。

実行するソフトにも事情がある。2008年の文書は、正しいCellMLで書かれながら、当時のシミュレーターが必要な方程式を解けないモデルを挙げていた。このため、特定のシミュレーターで動くか、出力が掲載結果にどれほど合うかを記録する、別の信頼度評価もあった。

星をもらったのはどの版か

修正には版番号が付き、モデル一覧からは通常、最新版が開いた。評価とファイルの取り違えは現実的な問題になる。2008年7月の記録によると、古い収蔵構造で十分に扱えないCellML 1.1のモデルの一部は別フォルダーに置かれていた。そこで中身を変えても、評価が更新されないおそれがあった。暫定案は、評価済みのアップロードを変更せず、論文で引用された場所を保つことだった。

三つ目の星にも未完の仕事があった。理想は分野の専門家による物理的制約の確認だったが、実務では元の著者が管理を引き受けたモデルにこの段階を与える例も記されている。独立した専門家の確認は、その先の目標だった。

ウェブは論文に、ソフトウェアという手厳しい読者を加えた。修正した式、実行できる版、得られた結果を一緒に渡せるようになったのである。星印は、その編集履歴を数ピクセルで背負おうとしていた。