Resumo

  • O primeiro nível verificava correspondência com a matemática publicada; o segundo incluía consistência, completude e reprodução dos resultados.
  • O repositório reconheceu que corrigir um erro da publicação podia separar as duas avaliações.

Duas estrelas sem passar pela primeira: o CellML encontrou um jeito perfeitamente sério de criar esse embaraço. Em 2008, o primeiro nível de revisão de um modelo verificava se sua matemática correspondia à do artigo publicado. O segundo acrescentava testes, entre eles reproduzir os resultados. Quando o artigo tinha um erro, a cópia fiel podia ser justamente o problema.

A documentação do repositório admitia isso com clareza. A primeira versão podia seguir o texto, erros incluídos. Uma versão corrigida podia então reproduzir os resultados, afastando-se das equações impressas. Duas estrelas amarelas podiam indicar o nível dois sem cumprir o nível um. O boletim precisava de uma nota explicativa maior que a nota.

Agora mande o artigo funcionar

CellML descrevia modelos biológicos em um formato que programas podiam trocar e executar. A coleção na web começara com exemplos do uso da linguagem e passara a reunir modelos reconstruídos a partir de publicações. Nas primeiras etapas, eram escritos à mão e comparados visualmente com a matemática do artigo.

Catherine Lloyd apresentou a mudança de trabalho em sua palestra sobre revisão de modelos no encontro de 26 de março de 2008, em Auckland. PCEnv e COR permitiam executar e examinar os arquivos. COR exibia as expressões em formato legível e apontava, por exemplo, informações ausentes e definições redundantes. Depois, o resultado da simulação era comparado às figuras publicadas, num procedimento descrito pelo próprio projeto como qualitativo.

Muitas correções exigiam consultar o autor. Os slides de Lloyd mostravam respostas reconhecendo parâmetros esquecidos, pontuação errada em um valor numérico, termos de equação incorretos e unidades trocadas. O grupo pedia esclarecimentos e procurava obter o código original. A fachada era um link para baixar; o expediente incluía uma boa quantidade de correspondência.

O programa usado para rodar o modelo também entrava na conta. Os documentos de 2008 descreviam modelos válidos em CellML cujas equações os simuladores disponíveis ainda não conseguiam resolver. Havia, por isso, outro registro de confiança associado a cada ambiente: capacidade de execução e grau de correspondência com os resultados publicados.

A estrela foi dada a qual arquivo?

As revisões recebiam números de versão, mas a lista principal abria a mais recente por padrão. Em julho de 2008, o projeto apontou uma situação concreta: alguns modelos CellML 1.1 ficavam numa pasta separada, pois a estrutura antiga não os acomodava adequadamente. Uma edição ali podia manter a avaliação anterior. A proposta provisória era deixar inalterados os arquivos avaliados e preservar os caminhos já citados em artigos.

A terceira estrela também guardava uma diferença entre plano e prática. O ideal era uma verificação das restrições físicas por especialistas. Na prática relatada, certos modelos recebiam esse nível quando o autor original assumia a revisão; uma avaliação independente continuava sendo um objetivo adicional.

O repositório tinha acrescentado um leitor exigente à publicação científica: o software. Equações corrigidas, versões executáveis e resultados passavam a circular juntos. As estrelinhas tentavam resumir uma oficina inteira num cantinho da página.