Resumo

  • O processamento de notas de 2020 do Ofqual é um caso de responsabilidade de governança de dados em torno de design de modelo emergencial, limites de evidência, apelações e resultados individuais.
  • O registro apoia análises de controle de padronização, supervisão, comunicação e correção, mas não considera cada nota contestada como evidência de intenção.

Objetivo da política e método de cálculo

A direção ao regulador-chefe do Ofqual do governo estabeleceu como condições políticas a padronização entre escolas e uma distribuição próxima a anos anteriores. Após consulta, o Ofqual decidiu por um regime excepcional de atribuição de notas para não interromper o progresso educacional.

O que desapareceu aqui foi o meio de verificar o contrafactual. Como os candidatos não fizeram os exames, nem as notas de avaliação do centro (CAG) nem as notas calculadas são pontos de prova reais. O sistema precisava decidir sob incerteza, mas não deveria ter explicado como se essa incerteza tivesse desaparecido.

Conexão entre julgamento humano e estatística

Escolas e faculdades enviaram as CAG e informações de classificação dentro das disciplinas. Os requisitos para o cálculo dos resultados no verão de 2020 vincularam a implementação pelos comitês de exame, e o relatório técnico intermediário explica o cálculo da distribuição usando o desempenho passado da escola, o histórico da coorte atual e a classificação.

O aumento do peso das CAG em grupos pequenos é evidência de que se reconhecia que a força estatística não era uniforme. As atas do conselho do Ofqual mostram a deliberação organizacional em emergência, mas não comprovam motivações individuais. A declaração escrita do presidente ao comitê de educação também distingue a direção governamental das responsabilidades regulatórias e técnicas.

Alcance da análise de igualdade

A análise de igualdade em nível de aluno não encontrou evidências de viés sistemático contra candidatos com características protegidas ou de origem socioeconômica desfavorecida, tanto nas notas calculadas quanto nas notas finais. Essa conclusão oficial não deve ser revertida.

No entanto, também não garantiu a correção de notas individuais. O estudo de avaliação das CAG mostra que há variação também nos julgamentos dos professores. O estudo de valores atípicos concluiu que a confiabilidade do modelo pode diminuir para alunos que diferem do perfil típico da escola.

O ponto mais importante mostrado pela análise das diferenças entre CAG e notas calculadas é a limitação de que não se sabe qual delas estava mais próxima do resultado do exame cancelado para cada indivíduo.

Implementação e remediação

O código R posteriormente divulgado pelo Ofqual era um código de apoio que ilustrava as regras, não o código de produção real de cada comitê de exame. Portanto, não se pode atribuir defeito ao código apenas pela diferença em relação às CAG.

O relatório anual de 2020–21 registra aconselhamento externo, testes, proteção de dados e garantia de qualidade. A análise final dos resultados mostra a distribuição após a mudança de política. Nenhum dos dois restaura os fatos perdidos dos exames individuais.

O comitê de educação, em seu relatório anterior à divulgação dos resultados, Getting the grades they’ve earned, questionou a transparência e a disponibilidade de apelações. Trata-se de um relatório parlamentar, não de uma decisão judicial, mas o ponto prático sobre se a remediação chegaria a tempo para as decisões de percurso estava correto.

Mudança de política e aprendizado

Em 17 de agosto, o presidente do Ofqual anunciou a adoção da maior entre a CAG e a nota calculada. As respostas parlamentares do governo e do Ofqual registram como essa mudança substituiu parte do sistema inicial de apelações.

Isso foi uma mudança de política e legitimidade, não significando um defeito de software em todas as notas calculadas. O impacto nas admissões universitárias da Biblioteca da Câmara dos Comuns mostra por que a velocidade da atualização determinou a eficácia da remediação.

A revisão de confiabilidade de modelos do Office for Statistics Regulation reconheceu a integridade da equipe responsável, mas apontou que a verificação manual dos resultados individuais foi limitada. No próximo regime, distribuição da população, características protegidas, exceções individuais, implementação e apelações devem ser itens de garantia separados. O princípio fundamental é não tratar dados válidos para explicação da população como fatos definitivos individuais.