Zusammenfassung

  • Die erste Stufe prüfte die Übereinstimmung mit der veröffentlichten Mathematik, die zweite auch Vollständigkeit, Konsistenz und reproduzierte Ergebnisse.
  • Eine korrigierte Version konnte die zweite Stufe erfüllen und dabei die Bedingungen der ersten verletzen.

Zwei Sterne ohne den ersten: Im Hotelgewerbe wäre das schwer zu erklären. Das CellML-Modellarchiv hatte 2008 einen guten Grund dafür. Seine erste Prüfungsstufe verlangte Übereinstimmung mit der Mathematik im veröffentlichten Fachartikel. Zur zweiten gehörte, dessen Ergebnisse zu reproduzieren. Ein Druckfehler konnte diese beiden Ziele gegeneinander ausspielen.

Die Dokumentation des Archivs sprach das offen aus. Eine erste Version konnte der Veröffentlichung samt Fehlern entsprechen. Eine spätere Korrektur konnte die Ergebnisse liefern und zugleich von den gedruckten Gleichungen abweichen. Zwei gelbe Sterne konnten somit Stufe zwei erfüllen, ohne Stufe eins zu erfüllen. Die Qualitätsleiter hatte eine Lücke.

Ein Aufsatz bekommt einen Startknopf

CellML beschrieb biologische Modelle in einer Form, die Programme austauschen und ausführen konnten. Die Sammlung im Netz war aus Sprachbeispielen entstanden und hatte sich zum Archiv aus der Literatur rekonstruierter Modelle entwickelt. Anfangs schrieb man sie von Hand und prüfte mit den Augen, ob die Mathematik zum Artikel passte.

Neue Werkzeuge veränderten die Arbeit. Catherine Lloyd erläuterte das in ihrem Vortrag über Modellprüfung beim Workshop am 26. März 2008 in Auckland. PCEnv und COR konnten Modelle ausführen und bei der Kontrolle helfen. COR zeigte mathematische Ausdrücke lesbar an und meldete etwa fehlende Angaben oder redundante Definitionen. Danach verglich das Team simulierte Kurven mit den Abbildungen im Artikel; das Verfahren wurde ausdrücklich als qualitativ beschrieben.

Häufig führte die Prüfung zum Postfach der ursprünglichen Autoren. Lloyds Folien zeigten Antworten, die fehlende Parameter, einen Satzzeichenfehler in einer Zahl, falsche Gleichungsterme und vertauschte Einheiten einräumten. Die Kuratoren baten um Erläuterungen und möglichst um den ursprünglichen Code. Hinter einem knappen Download-Link steckte eine erstaunlich geschäftige Redaktion.

Auch das Ausführungsprogramm spielte mit. Die Unterlagen von 2008 beschrieben gültige CellML-Modelle mit Gleichungen, die verfügbare Simulatoren noch nicht lösen konnten. Deshalb gab es zusätzliche, simulatorbezogene Vertrauensstufen: Läuft das Modell dort, und wie genau stimmen seine Ergebnisse mit der Veröffentlichung überein?

Welcher Stand trägt den Stern?

Überarbeitungen bekamen Versionsnummern, die Hauptliste öffnete jedoch standardmäßig den neuesten Stand. Im Juli 2008 benannte das Projekt ein konkretes Problem: Manche CellML-1.1-Modelle lagen in einem separaten Ordner, weil die alte Archivstruktur sie nicht angemessen unterstützte. Eine Änderung dort konnte den bisherigen Prüfstatus stehen lassen. Als Übergangslösung schlug man vor, bewertete Dateien unverändert zu lassen und bereits zitierte Pfade zu erhalten.

Auch beim dritten Stern lagen Ziel und Praxis auseinander. Vorgesehen waren Prüfungen physikalischer Randbedingungen durch Fachleute. Der Praxisbericht beschrieb zugleich Modelle, die diese Stufe erhielten, nachdem ihr ursprünglicher Autor die Pflege übernommen hatte. Unabhängige fachliche Prüfung blieb ein weitergehendes Ziel.

Die Website hatte der wissenschaftlichen Veröffentlichung einen anspruchsvollen Leser hinzugefügt: Software. Korrigierte Gleichungen, ausführbare Fassungen und Ergebnisse konnten gemeinsam weitergegeben werden. Die Sterne sollten diese ganze Geschichte in ein Format pressen, das sonst für die Hotelwahl genügt.