Кратко

  • Первый уровень проверял соответствие опубликованной математике; второй — также полноту, согласованность и воспроизведение результатов.
  • Исправленная модель могла пройти второй уровень, отступив от уравнений, которые требовал сохранить первый.

У двухзвёздочной оценки обычно есть скромное преимущество: первую звезду можно считать пройденной. У CellML в 2008 году всё было интереснее. Первый уровень проверки требовал совпадения с математикой опубликованной статьи. Второй включал воспроизведение её результатов. Ошибка в статье могла развести эти задачи в разные стороны.

Документация хранилища прямо описывала конфликт. Начальная версия могла повторять публикацию вместе с ошибками. Исправленная — получать нужные результаты, нарушая верность напечатанным формулам. Две жёлтые звезды могли означать выполнение второго уровня без выполнения первого. Рейтинговой лестнице понадобился обходной маршрут.

Статью попросили запуститься

CellML описывал биологические модели в форме, пригодной для обмена и выполнения программами. Веб-коллекция выросла из примеров языка в собрание моделей, восстановленных по научным публикациям. Сначала их вводили вручную и глазами сверяли с математикой статьи.

Новые инструменты изменили проверку. Catherine Lloyd рассказала об этом в докладе о сопровождении моделей на семинаре 26 марта 2008 года в Окленде. PCEnv и COR позволяли запускать и исследовать модели. COR выводил выражения в читаемом виде и сообщал, например, о недостающих данных или избыточных определениях. Затем результаты симуляции сопоставляли с рисунками статьи; документация называла это качественным сравнением.

Часть работы уходила в переписку с авторами. На слайдах Lloyd были ответы с признанием пропущенных параметров, ошибки пунктуации в числовом значении, неправильных членов уравнения и переставленных единиц измерения. Сотрудники просили пояснения и по возможности исходный код. У короткой ссылки для скачивания обнаружилась довольно длинная редакционная история.

Зависело всё и от программы исполнения. Документы 2008 года описывали корректные модели CellML, нужные уравнения которых тогдашние симуляторы ещё не умели решать. Поэтому существовали отдельные оценки для конкретных сред: запускается ли там модель и насколько точно совпадает результат с опубликованным.

Звезда за какую версию?

Исправления получали номера версий, а основной список по умолчанию открывал последнюю. Связь оценки с конкретным файлом становилась существенной. В июле 2008 года проект отметил проблему: некоторые модели CellML 1.1 лежали в отдельной папке, поскольку старая структура хранилища не могла должным образом их обслуживать. Файл можно было изменить, оставив прежний статус проверки. Временное решение предлагало сохранять оценённые загрузки неизменными и удерживать пути, уже процитированные в статьях.

У третьей звезды тоже были незавершённые дела. Теоретически она требовала экспертной проверки физических ограничений. На практике проект описывал и присвоение этого уровня моделям, сопровождение которых взял на себя первоначальный автор; независимая экспертиза оставалась дальнейшей целью.

Сайт добавил научной статье взыскательного читателя — программу. Исправленная формула, исполняемая версия и результат могли передаваться вместе. Звёздочки пытались уместить всю эту работу в формат, привычный по гостиничному справочнику.