Резюме

  • Распределение не является индивидуальным результатом.Модель может удерживать общенациональные или на уровне центров показатели близкими к предыдущим годам, оставаясь при этом неопределённой для отдельного кандидата, чей контрфактический экзаменационный результат не наблюдаем.

  • Политическая цель появилась до кода.Министры отменили экзамены и предписали стандартизированный подход; Ofqual разработал нормативный и статистический метод; экзаменационные организации его внедрили. Подотчётность должна следовать по всей этой цепочке, не сводя её к одному действующему лицу или одному алгоритму.

  • Анализ равенства отвечал на ограниченный вопрос.Последующая работа Ofqual не выявила систематической предвзятости в отношении кандидатов с защищёнными характеристиками или из неблагополучных групп. Это не доказывает надёжность каждого результата и не снимает все опасения по поводу истории центра, размера когорты или нетипичного учащегося.

  • Средство правовой защиты должно было быть реализуемым в темпе дня объявления результатов.Апелляции, осенние экзамены и последующая публикация были элементами контрольной среды, но сами по себе не могли сделать оспариваемую оценку сразу пригодной для решений о поступлении в университет, колледж, на обучение или работу.

  • Отмена решения стала событием политики и легитимности.17 августа учащимся была выставлена более высокая из двух оценок: оценка центра или расчётная оценка. Неверно описывать каждое изменённое значение как исправление ошибки в коде.

  • Будущее управление моделями должно объединять технические и человеческие доказательства.Цель, допущения, происхождение данных, проверка индивидуальных исключений, гарантии внедрения, коммуникация и работоспособное средство правовой защиты требуют единой подотчётной операционной конструкции.

Чрезвычайная ситуация устранила обычные доказательства, но не потребность в обоснованном результате

18 марта 2020 года правительство объявило, что летние экзамены не состоятся. Решение, принятое в интересах общественного здоровья, устранило один непосредственный риск, но ликвидировало обычное измерительное событие, лежащее в основе присуждения оценок GCSE, AS и A-level. Учащиеся готовились к экзаменам, которые теперь не дадут ни экзаменационных работ, ни баллов, ни внешне модерируемых свидетельств успеваемости. При этом университеты, колледжи, образовательные организации и работодатели по-прежнему нуждались в результатах, а учащимся нужно было продолжать обучение, не ожидая бесконечно.

Распоряжение, выданное главному регулятору Ofqual, — правильная отправная точка для определения полномочий. В нём зафиксированы распоряжения министров на основании раздела 129(6) Закона об ученичестве, навыках, детях и обучении 2009 года. Распоряжение требовало стандартизированного подхода во всех центрах и стремилось к распределению оценок, схожему с профилем предыдущих лет. Это были политические ограничения, а не детали, придуманные программистом.

Не существовало единственного познаваемого ответа на вопрос, чего достиг бы каждый учащийся. Экзаменационный результат сам по себе является наблюдением, полученным при конкретных вопросах, критериях оценки и условиях выполнения; отменённый экзамен делает даже такое наблюдение недоступным. Оценка центра была профессиональным суждением о контрфактическом сценарии. Расчётная оценка была модельной оценкой, использующей данные центра и исторические закономерности. Ни одну из них нельзя было проверить по отсутствующему летнему экзамену.

Эта неопределённость важна, потому что институциональный язык может заставить оценку звучать как восстановленный факт. Система не восстанавливала оценки, которые уже существовали в базе данных. Она распределяла значимые результаты в рамках чрезвычайной политики, используя доказательства с разными охватами и ограничениями. Поэтому надлежащее управление должно было для каждого типа доказательств указать, что он может подтвердить, чего не может, и как будут разрешаться расхождения до объявления результатов.

Преемственность была законной целью. Задержанная или отсутствующая оценка также могла навредить человеку. Провал подотчётности не в том, что лица, принимавшие решения, действовали в условиях неопределённости; после отмены экзаменов у них не было альтернативы неопределённости. Проверка состоит в том, сделала ли операционная система эту неопределённость видимой и контролировала ли её на том же уровне, на котором наступали последствия.

Политическая задача содержала цели, которые не все могли быть максимизированы

Выбранная схема пыталась одновременно решить несколько задач. Она стремилась обеспечить продолжение обучения, сохранить ценность квалификаций, поддерживать стандарты во времени, одинаково относиться к центрам, ограничить чрезмерную совокупную инфляцию и оставаться справедливой к учащимся. Каждая цель была разумной. Вместе они создавали компромиссы, которые не могла устранить ни одна статистическая методика.

Объявление Ofqual об исключительных мерахпоследовало за консультациями и подтвердило, что будут присуждаться расчётные оценки. Оно также указывало на осеннюю серию экзаменов. Так была создана чрезвычайная архитектура: центры предоставляют данные, экзаменационные организации рассчитывают оценки по правилам Ofqual, а для части учащихся предусмотрен более поздний экзаменационный маршрут.

Центральный конфликт был между сопоставимостью системы и индивидуальной оценкой. Если принять представленные центрами оценки без изменений, различия в том, насколько щедро школы оценивали учащихся, могли привести к несогласованным результатам и значительному росту оценок. Если же результаты ограничивались исторической успеваемостью центров, система могла снизить эти различия, но частично ставила результат текущего учащегося в зависимость от предыдущих когорт. Ранжирование сохраняло относительное суждение центра, но не устанавливало границу оценки, которую конкретный учащийся пересёк бы на экзамене.

Этот конфликт следовало зафиксировать в протоколе решения, а не прятать внутри спецификации модели. Заказчики должны были указать, какой вред они готовы терпеть, какое отклонение от исторических закономерностей приемлемо и какие индивидуальные случаи требуют иного маршрута. Без такой формулировки стабильность совокупных показателей можно было ошибочно принять за определение справедливости, а не за одну из её составляющих.

Существовали альтернативы, но ни одна не была бесплатной. Немодерируемые оценки центров рисковали несогласованной щедростью. Отложенные экзамены рисковали сбоями и неравной готовностью. Стандартизированные оценки создавали проблемы индивидуальной надёжности и приемлемости. Общий экзамен, собранный в короткие сроки, вызвал бы вопросы безопасности, доступа и валидности. Подотчётность не требует идеального варианта. Она требует прозрачного сравнения, показывающего, почему выбранный вариант оставался пригодным по мере накопления данных.

Оценки центров и ранжирование были человеческими данными со своим происхождением

Школам и колледжам было предложено предоставить для каждого учащегося оценку центра и ранжировать учащихся внутри каждой оценки по предмету. Оценка центра (CAG) представляла собой оценку, которую учащийся, по мнению центра, с наибольшей вероятностью получил бы, если бы обучение продолжилось и экзамены состоялись. Ранжирование указывало системе, какой учащийся должен находиться ближе к границе, когда модель распределяла иную структуру оценок.

Формальныетребования к расчёту результатов летом 2020 годапревратили политику в обязательства для экзаменационных организаций. Именно здесь управление данными становится операционным. Расчёт подотчётен ровно настолько, насколько подотчётны определения, правила подачи, валидация, контроль версий и обработка исключений вокруг его входных данных.

Данные центров не были исходным фактом. Учителя могли опираться на классные работы, пробные экзамены, неэкзаменационное оценивание и своё знание успеваемости учащегося. Им также приходилось представлять контрфактическое продолжение обучения. Разные предметы и центры располагали разным объёмом и качеством данных. Одни учащиеся быстро прогрессировали; другие недавно переехали; третьи были частными кандидатами; у четвёртых были нетипичные показатели предыдущей успеваемости. Процесс подачи сжимал эти контексты до оценки и места в ранжировании.

Такое сжатие само по себе не ошибочно. Структурированное профессиональное суждение часто является лучшим доступным доказательством. Но запись данных должна сохранять происхождение суждения: какие категории доказательств были доступны, кто их проверял, когда было принято решение и выявил ли центр исключительный случай. Декларация руководителя центра может подтвердить процесс и добросовестность; она не может превратить прогноз в наблюдаемый экзаменационный результат.

Модель также унаследовала зависимости от практики центров. Если оценки центров в среднем были завышены, их бесконтрольное принятие могло изменить общие стандарты. Если ранжирование было ошибочным, стандартизация могла распределить доступные оценки не тем учащимся. Если у центра были слабые исторические сопоставимые данные, модели требовался запасной вариант. Поэтому управление данными охватывало и статистический механизм, и распределённую человеческую систему, создававшую его входные данные.

Историческая успеваемость управляла группами сильнее, чем отдельными людьми

Подход Ofqual «Прямая успеваемость центра» прогнозировал распределение по предмету внутри центра. Он использовал историческую успеваемость центра и корректировал её с учётом предшествующей успеваемости текущей когорты. Ранжирование, составленное учителями, затем помогало распределить оценки внутри этого распределения. Метод был создан для контроля профиля результатов групп, а не для прогнозирования независимой экзаменационной отметки каждого учащегося.

Промежуточный отчёт о присуждении оценок летом 2020 годаобъёмом 319 страниц объясняет варианты модели, тестирование и выбранный подход. В нём указано, что на прогнозное распределение влияли историческая успеваемость по предмету и изменения предшествующей успеваемости когорты. Там также поясняется, что оценки центров получали больший вес при малом числе записей, поскольку статистический прогноз там был менее надёжен.

Такая конструкция создала чёткую границу уровня анализа. История центра могла обосновать ожидание относительно распределения, когда было достаточно сопоставимых данных. Она не могла установить, какую оценку получил бы конкретный учащийся на конкретном комплекте экзаменационных работ. Ранжирование добавляло индивидуальное место, но всё ещё оставалось суждением центра, а не внешним измерением расстояния до границы оценки.

Это различие можно представить в виде трёх отдельных вопросов. Во-первых, какой общенациональный профиль результатов сохранит стандарты квалификаций? Во-вторых, какое распределение оценок по этому предмету было правдоподобным для данного центра? В-третьих, какой результат был обоснован для этого учащегося? Данные, хорошо отвечающие на первый или второй вопрос, не могут автоматически ответить на третий.

Подотчётная система присваивала бы метки надёжности каждому переходу. Она показывала бы, когда распределение в значительной степени опиралось на историю, когда текущая предшествующая успеваемость меняла этот прогноз, когда оценки центров доминировали из-за малочисленности когорты и когда позиция учащегося оказывалась близко к назначенной границе. Такие метки не дали бы определённости, но сделали бы доказательную базу системы соразмерной последствиям.

Исторические данные также содержат эффекты прежних образовательных условий. Их использование не доказывает, что каждая историческая закономерность несправедлива, и само по себе не устанавливает дискриминацию. Но это означает, что заказчики должны проверить, согласуется ли воспроизведение закономерности с текущей целью политики, и ясно сообщить об этой зависимости.

Малые когорты показали, что модель уже признавала ограничения

Статистические модели обычно становятся менее устойчивыми по мере уменьшения релевантной выборки. Подход Ofqual по-разному обращался с малыми когортами по предмету. При очень малом числе записей решающий вес имели данные оценки центра; при несколько больших, но всё же малых когортах метод постепенно переходил от суждений центра к статистическому распределению. Это был существенный управленческий выбор, а не мелкая деталь внедрения.

Опубликованныепротоколы заседаний совета Ofqual за 2020 годпоказывают неоднократные чрезвычайные заседания на протяжении разработки модели, её внедрения и августовского кризиса. Эти записи подтверждают институциональную хронологию и участие совета. Их не следует использовать для вывода о незафиксированных мотивах или личной вине какого-либо члена совета, министра или должностного лица.

Особый подход к малым когортам показывает, что лица, принимавшие решения, понимали разную силу доказательств. Тот же принцип следовало распространить и за пределы размера когорты. Учащийся с нетипичной картиной предшествующей успеваемости, недавно созданный центр, предмет с нестабильными историческими показателями или центр, переживающий быстрые изменения, также могли ослабить связь между историей группы и индивидуальным результатом.

Система исключений должна была определить эти условия до публикации результатов. Она могла бы запускать точечную проверку, когда модель меняла оценку более чем на заданную величину, когда историческая сопоставимость была слабой, когда место в ранжировании находилось вблизи созданной моделью границы или когда центр документировал необычный профиль данных. Проверяющие не просто подменяли бы модель своими предпочтениями; они оценивали бы, сохранялись ли допущения модели в данном случае.

Операционная сложность заключалась в масштабе. Миллионы оценок нужно было обработать в нескольких экзаменационных организациях в фиксированные сроки. Это делало всеобщую ручную проверку нереалистичной. Но это не делало принципиально невозможной проверку на основе рисков. Система может приоритизировать случаи с самыми слабыми доказательствами или самыми серьёзными последствиями, документировать то, что не было проверено, и резервировать ресурсы для быстрого исправления.

Тестирование модели показало эффективность, но метрика не решила вопрос

Ofqual тестировал альтернативные модели на более ранних данных, включая упражнение с использованием результатов 2019 года в качестве известного сравнения. Выбранная модель показала точность по заявленным метрикам и была оценена на предмет эффектов по защищённым характеристикам. Эта работа была серьёзной и значимой. Её также легко переоценить.

Вписьменном заявлении председателя Ofqual Комитету по образованиюпозднее пояснялось, что подход не смог завоевать доверие общества, хотя была проделана значительная техническая работа и анализ равенства. В нём также указано, что политика стандартизированной оценки учителей исходила из распоряжения государственного секретаря, и при этом признаётся коллективная институциональная неспособность разработать приемлемый механизм. Это более сильная граница, чем история об одном автономном регуляторе или одном действующем самостоятельно министре.

Метрика вроде точности в пределах плюс-минус одной оценки может быть пригодна для сравнения моделей. Она не означает, что результат, отличающийся на одну оценку, безвреден для человека. Одна оценка может повлиять на выполнение условия предложения, поступление учащегося на курс или на то, считает ли другой принимающий решения орган квалификацию свидетельством готовности.

Тестирование на исторических данных также отличается от реального случая. В предыдущие экзаменационные годы были фактические результаты и исторические взаимосвязи центров. Летом 2020 года использовались данные учителей, собранные в исключительных условиях, а модель применялась к когорте, чьи экзамены никогда не выявят контрфактическую истину. Прогностическая эффективность на предыдущем распределении помогает выбрать модель, но не может постфактум подтвердить каждую выставленную оценку.

Поэтому управление должно вести каталог метрик. Для каждой меры нужны определение, совокупность, допустимое отклонение и цель использования при принятии решений. Совокупное распределение оценок, ошибка на уровне центра, доля в пределах одной оценки, разрыв между подгруппами и доля индивидуальных исключений отвечают на разные вопросы. Панель индикаторов, объединяющая их без пояснений, может создавать ложную уверенность.

В протоколе утверждения также следует указывать остаточный риск. Если модель, как ожидается, менее надёжна для нетипичных учащихся, руководители должны решить, способны ли апелляция, ручная проверка или иное правило выставления оценок контролировать этот риск. Техническая валидация завершена только тогда, когда оставшейся ошибкой можно управлять в реальной услуге.

Выводы о равенстве не подтверждали каждый индивидуальный результат

Наиболее чувствительная доказательная граница касается защищённых характеристик. До объявления результатов общественная дискуссия ставила вопрос, может ли стандартизация поставить в невыгодное положение отдельные группы. Ofqual провёл агрегированные анализы, а позднее были изучены данные на уровне учащихся. Эти анализы важны. Их следует излагать точно, не отбрасывая и не расширяя за пределы их замысла.

Официальныйанализ равенства на уровне учащихсяпришёл к выводу, что нет доказательств систематической предвзятости расчётных или итоговых оценок в отношении кандидатов с защищёнными характеристиками или из неблагополучных семей. В отчёте сравнивались взаимосвязи между характеристиками и результатами в разных подходах и годах. Он не утверждал, что каждая индивидуальная оценка была верной.

Это различие предотвращает две противоположные ошибки. Было бы неверно, вопреки официальному анализу, утверждать, что доказано систематическое смещение модели против защищённых групп. Также было бы неверно говорить, что отсутствие выявленного систематического смещения доказывает индивидуальную надёжность или снимает все опасения о справедливости. Анализ подгрупп может упустить вред, который не совпадает чётко с проверяемыми категориями, а результат может быть ненадёжным для конкретного человека, не создавая диспропорции на уровне популяции.

Поздняяоценка оценок центровизучила суждения учителей и связанные с ними факторы. Эти данные показывают, почему замена стандартизации оценками центров не была переходом от предвзятой машины к нейтральной истине. Суждения центров также содержали неопределённость, вариативность и возможные различия в щедрости.

Управление равенством должно действовать по всей цепочке: данные, доступные учителям, суждение центра, ранжирование, исторические данные, распределение моделью, внедрение экзаменационной организацией, доступ к апелляции и последствия для продолжения обучения. Проверка по защищённым характеристикам на этапе выхода модели необходима, но недостаточна для оценки услуги.

Правильный вывод ограничен. Официальные анализы не выявили систематической предвзятости по защищённым характеристикам или по признаку неблагополучия в расчётных или итоговых оценках. Общественная обеспокоенность по поводу индивидуального обращения, зависимости от истории центра и средств правовой защиты всё ещё может быть обоснованной. Удерживать оба утверждения — не уклончивость, а добросовестное управление доказательствами.

Выбросы сделали индивидуальную надёжность явным известным риском

Выброс — это не проблемный человек. Это учащийся, к которому групповые допущения модели могли подходить плохо, например потому, что предшествующая успеваемость делала его нетипичным внутри центра. Ofqual изучал такие случаи в ходе и после разработки модели. Существование этой работы подтверждает, что индивидуальная надёжность была признанной проблемой, а не просто критикой, придуманной после дня объявления результатов.

Исследование Ofqual остандартизации и выбросахобъясняет, что нетипичный профиль мог сделать расчётную оценку ненадёжной. В нём также зафиксированы позднейшие извинения и решение использовать более высокую из оценки центра или стандартизированной оценки. Отчёт не следует превращать в утверждение, что все нетипичные учащиеся получили неверные оценки.

Анализ выбросов требует определённой операционной реакции. Выявление случая — лишь первый шаг. Система должна определить, исключается ли случай из модели, проверяется ли он с дополнительными данными, помечается ли для центра или оставляется на апелляцию. Она также должна определить, кто может видеть пометку и доступна ли она до принятия решения о продолжении обучения.

Существует риск замкнутого круга. Модель, основанная на истории центра, может признать учащегося нетипичным именно потому, что он отличается от этой истории. Рассматривать отличие как свидетельство против потенциала учащегося значило бы затруднить распознавание прогресса. Наоборот, автоматическое принятие каждого заявления об исключительности подорвало бы сопоставимость. Контроль — это проверка на основе доказательств, а не презумпция в ту или иную сторону.

Индивидуальная надёжность имеет и коммуникационное измерение. Учащийся, видящий оценку ниже суждения центра, может резонно спросить, какие данные её изменили. Ответ, который лишь описывает поддержание национальных стандартов, не отвечает на личный вопрос. Услуге нужно объяснение, связывающее место учащегося в ранжировании, назначенное распределение центра и применимые правила исключений, не раскрывая личную информацию других учащихся.

Разрывы в оценках показали, почему две правдоподобные оценки всё же могли расходиться

Пересмотр политики создал ценное сравнение оценок центров и расчётных оценок. Позднейший анализ показал, что для большинства записей A-level в его наборе данных обе оценки совпадали, однако значительное меньшинство различалось. В большинстве расхождений оценка центра была выше расчётной. Эти закономерности описывают расхождение между оценками, а не подтверждённые ошибки модели.

Позднейшийанализ разрывов в оценкахнеобычайно чёток: для отдельного кандидата невозможно узнать, что лучше отражало бы достижения учащегося при состоявшихся экзаменах — оценка центра или расчётная оценка. Это утверждение должно определять все последующие интерпретации.

В том же отчёте не найдено веских оснований превращать расхождения оценок в универсальную историю о причинно-следственной связи с защищёнными группами. Он сосредоточен на частоте различий и характеристиках кандидатов, используя связанные данные с ограничениями. Его ценность в том, чтобы показать, где результаты разошлись и как распределились эти расхождения, а не воссоздать отсутствующую экзаменационную успеваемость.

Запись об управлении данными должна сохранять все три значения, где это применимо: представленную оценку центра, расчётную оценку и итоговую присуждённую оценку. Их нельзя перезаписывать в одно поле. Система также должна сохранять, почему окончательное правило выбрало одно значение, дату изменения и любые последующие проверки. Без такого происхождения исследователи и учащиеся не смогут отличить исходный выход модели от окончательного квалификационного результата.

Это важный урок для любой публичной модели. Когда правило меняется, новый результат может быть средством правовой защиты, политическим компромиссом или выбором в рамках контроля рисков. Это не обязательно техническое исправление. Аудиторские журналы должны сохранять статус каждого значения, а не позволять итоговому состоянию базы данных переписывать историю решения.

Экзаменационные советы внедрили расчёт, поэтому гарантии должны были пересекать границы учреждений

Ofqual разработал требования и демонстрационный код, а четыре экзаменационных совета отвечали за производственные системы, рассчитывавшие результаты. Каждая экзаменационная организация имела собственную технологию и операционную среду. Поэтому общий метод нужно было перенести в отдельные реализации, сохраняя согласованные результаты.

Позднее Ofqual опубликовалкод, использованный для расчёта оценок. Публикация содержала важное ограничение: код Ofqual не был окончательным кодом, применявшимся экзаменационными советами. Он показывал, как можно реализовать нормативные требования; окончательный рабочий код для своих систем готовили экзаменационные организации.

Это не позволяет удобной, но неточной фразе «алгоритм» нести всё объяснение. Существовали политическая директива, нормативный метод, общие требования, данные, предоставленные центрами, внедрение экзаменационными организациями, обеспечение качества и операции по выпуску. Дефект мог возникнуть на любом стыке, но результат, отличающийся от оценки центра, сам по себе не является свидетельством ошибки в коде.

Межучрежденческие гарантии требуют большего, чем тестирование каждого компонента по отдельности. Нужны общие тестовые случаи, согласованные распределения результатов, идентификаторы версий, валидация входных данных, журналы исключений и подписанные решения о выпуске. Если экзаменационная организация иначе толкует правило, Ofqual нужен механизм обнаружения и устранения расхождения до того, как оценки дойдут до учащихся.

Годовой отчёт и финансовая отчётность за 2020–21 годыописывает внешнюю консультативную группу, тестирование модели, работу по защите данных и обеспечение качества в экзаменационных советах. Там также признаётся, что подход не получил широкого признания и нанёс ущерб общественному доверию. Эти факты могут сосуществовать: значительная управленческая деятельность велась, но сквозная система всё же не прошла проверку на легитимность.

Публикация в день результатов превратила статистическую неопределённость в немедленные последствия

Модель можно оценивать неделями; учащийся переживает результат в конкретный момент. 13 августа результаты AS и A-level вошли в процессы приёма в университеты, предложения о зачислении на курсы, решения школ и планы семей. Горизонт планирования системы сузился от разработки политики до срочных индивидуальных действий.

Позднееанализ результатов лета 2020 годаOfqual обновил промежуточные данные и сообщил окончательные результаты после изменения политики. Это свидетельство о распределениях и соотношениях оценок. Его не следует использовать для утверждения, что общенациональное повышение исправило все последствия для продолжения обучения или что каждый первоначальный результат причинил ущерб.

Готовность к публикации должна включать тестирование последствий. Лицам, принимающим решения, нужно спросить, что происходит, когда учащийся не проходит по условиям предложения, как быстро центр может выявить ошибку в данных, могут ли университеты удерживать места, какое объяснение доступно и как служба справляется со всплесками обращений. Технически корректная партия всё равно может быть операционно небезопасной, если средство правовой защиты поступает после решения, которое оно должно защищать.

Коммуникация также влияет на легитимность. До дня результатов публичные объяснения подчёркивали поддержание стандартов и общую точность. Учащиеся, получившие неожиданные результаты, хотели индивидуальных причин. Если система не может ответить на этот вопрос, ей следует сказать об этом прямо и объяснить альтернативные данные и средства правовой защиты. Язык гарантий, сформулированный только на агрегированном уровне, может звучать уклончиво, даже будучи статистически корректным.

Соответствующий контроль — это шлюз выпуска, объединяющий аналитические, операционные и публичные критерии. Он должен требовать утверждения распределений результатов, исключений с большим воздействием, пропускной способности апелляций, координации заинтересованных сторон, коммуникаций и возможности приостановки. Модель с необратимыми немедленными последствиями нуждается в более сильных доказательствах готовности, чем модель, используемая для внутреннего планирования.

Апелляции были частью конструкции, но сроки и основания имели значение

Ofqual планировал апелляции на случай ошибок и случаев, когда модель стандартизации использовала неподходящие данные для центра. Учащиеся также могли сдавать экзамены осенью. Это были значимые гарантии, но ни одна из них не обеспечивала автоматически индивидуальный и своевременный пересмотр обоснованности оценки.

Отчёт Комитета по образованию«Получение заслуженных оценок»выразил обеспокоенность по поводу прозрачности, доступности и бремени доказывания предвзятости или дискриминации. Это были парламентские выводы и рекомендации, сделанные до объявления результатов, а не судебные заключения. Их значимость в том, что риск, связанный со средствами правовой защиты, был виден заранее.

Апелляция должна определять, кто может её подать, по каким основаниям, с какими доказательствами, в какие сроки и с каким влиянием на решение о продолжении обучения. Апелляция, инициируемая центром, может защитить согласованность и конфиденциальность, но может оставить учащегося в зависимости от центра, чьё суждение также является частью доказательств. Осенний экзамен может дать новое измерение, но спустя месяцы он может не сохранить августовскую возможность.

Различие между ошибкой в данных и несогласием с моделью принципиально. Перепутанное место в ранжировании, неверная историческая запись или ошибка внедрения могут быть исправлены. Заявление о том, что допущения модели не подходят конкретному человеку, требует иной проверки. Убеждение, что оценка центра — более точная оценка, относится к третьей категории. Объединение их под одним ярлыком «апелляция» затемняет стандарт принятия решения.

Позднейшиеответы правительства и Ofqual комитетуфиксируют, как пересмотр решения опередил части запланированной системы апелляций по расчётным оценкам. Они также сохраняют отдельные институциональные ответы. Эти записи не следует читать как доказательство того, что все первоначальные опасения были приняты или что последующие изменения устранили все последствия.

Средство правовой защиты — часть валидности модели, поскольку известный профиль ошибок может быть приемлемым только при условии, что проверка работает с необходимой скоростью. Если услуга полагается на апелляцию для выявления предсказуемых индивидуальных аномалий, пропускная способность апелляций, доступ к доказательствам и сроки принятия решений должны входить в обоснование гарантий до выпуска.

Пересмотр 17 августа изменил правило принятия решения, а не исторические факты

После того как результаты A-level не завоевали доверия общества, 17 августа Ofqual объявил, что учащиеся получат более высокую из оценки центра или расчётной оценки. Результаты GCSE затем были выставлены на этом основании. Изменение снизило неопределённость для учащихся и изменило совокупные результаты.

Заявление председателя Ofqual— основной публичный документ о решении. В нём сформулирована политическая проблема, признаётся отсутствие простого решения и излагается правило выбора более высокой из двух оценок. Оно не указывает на всеобщую ошибку в коде и не возлагает личную вину.

Пересмотр должен быть классифицирован правильно. Это был политический и нормативный ответ на опасения по поводу легитимности, операционных вопросов и индивидуальных результатов. Он не устанавливал, что каждая расчётная оценка была неверной. Некоторые расчётные оценки были выше и остались итоговыми; некоторые совпадали с оценками центров. Он также не устанавливал, что каждая оценка центра была истинным контрфактическим экзаменационным результатом.

Здесь важны версионированные записи решений. До 17 августа действовало правило расчётной оценки. После объявления — правило выбора более высокой из двух оценок. Выгрузки данных, публичная статистика, апелляции и последующие исследования должны указывать, какой статус оценки они используют. Иначе фраза «оценка 2020 года» может без предупреждения относиться к оценке центра, расчётному результату или итоговой присуждённой оценке.

Политическое руководство и независимость регулятора также требуют точности. Министры определили цель чрезвычайной политики и издали нормативные распоряжения. Ofqual выполнял регуляторные и технические обязанности. Экзаменационные организации внедряли результаты. Позднейший пересмотр касался правительства и Ofqual. Подотчётность распределена, но не размыта: каждое учреждение должно объяснить собственное решение, доказательства, эскалацию и утверждение.

Последствия для продолжения обучения сделали услугу большим, чем расчёт оценок

Квалификации действуют внутри сети. Университеты делают условные предложения, школы распределяют места в старших классах, работодатели оценивают соискателей, а учащиеся решают, вступать ли в процесс добира, откладывать ли поступление или выбирать другой маршрут. Оценка может быть статистически обычной на уровне популяции и всё же решающей в точке использования.

Обзор Библиотеки Палаты общин«Результаты A-level и поступление в университеты»документирует быстрое влияние на приём и нагрузку на мощности, возникшую при изменении итоговых оценок. Это парламентский исследовательский синтез, а не установление ответственности в индивидуальном случае.

Эта последующая сеть должна была быть отражена в модели управления. Каждому потребителю требовались правила действий на случай задержанных, обжалованных или пересмотренных оценок. Обмен данными требовал контроля версий, чтобы университет не действовал на основе устаревшего результата. Учащимся нужно было знать, какое учреждение может изменить какую запись и будет ли удержано место.

Измерение воздействия также должно избегать преувеличений. Изменённая оценка могла повлиять на решение, но зафиксированные официальные данные не устанавливают исход каждого заявления и не приписывают каждое разочарование коду модели. И наоборот, подсчёт того, сколько учащихся в итоге поступило в высшие учебные заведения, не показал бы, что каждое первоначальное решение было безвредным.

Цель контроля — восстанавливаемость. До выпуска система должна выявить зависимости с серьёзными последствиями, установить каналы обновлений и проверить, насколько быстро исправленное или изменённое правило доходит до них. Публичные модели становятся инфраструктурой, когда на их результаты полагаются другие учреждения. Управление инфраструктурой включает способность двигаться вперёд, а не просто рассчитывать.

Прозрачность после события была необходима, но не могла заменить оспаривание до выпуска

Ofqual опубликовал подробный промежуточный отчёт в день результатов, позднее выпустил исследования, протоколы заседаний совета и демонстрационный код, а также поддержал дальнейшую оценку. Это создало необычайно обширную документацию. Прозрачность улучшила ретроспективный анализ и институциональное обучение.

Обзор Управления по регулированию статистики«Обеспечение доверия общества к статистическим моделям»даёт самую сильную межсистемную оценку. В нём установлено, что регулятор и экзаменационные команды действовали добросовестно, и сделан вывод, что управление моделями должно быть открытым и заслуживающим доверия, строгим на всех этапах и ориентированным на общественную ценность.

OSR также отметило ограниченную ручную проверку индивидуальных результатов до дня объявления и чрезмерную опору на агрегированный анализ. Оно указало, что анализы равенства не показали расширения разрывов, хотя общественная обеспокоенность социально-экономическими последствиями сохранялась. Эти выводы не подтверждают и не опровергают каждый отдельный результат. Они показывают несоответствие между проведёнными гарантиями и уровнем, на котором требовалось доверие.

Сроки публикации влияют на ценность оспаривания. Выпуск сотен страниц одновременно с результатами позволяет последующее изучение, но даёт внешним экспертам мало возможностей повлиять на внедрение. Часть секретности до выпуска была направлена на предотвращение игр с системой или преждевременных оценок. Эту законную озабоченность можно было решить через конфиденциальную независимую проверку, поэтапную публикацию допущений или экспертный процесс «красной команды».

Таким образом, прозрачность — это больше, чем открытый код. Она включает цель, управление, альтернативы, определения данных, известные ограничения, карточки моделей, доказательства равенства и индивидуальной надёжности, различия во внедрении, протоколы решений, основания для апелляций и инциденты после выпуска. Код без этих материалов может порождать ложную уверенность в том, где были сделаны решающие выборы.

Более сильная конструкция подотчётности начинается с отдельных утверждений о гарантиях

Будущее чрезвычайное присуждение оценок должно начинаться с явной карты утверждений. Первое утверждение касается непрерывности: результаты можно подготовить вовремя, чтобы поддержать продолжение обучения. Второе — поддержания стандартов: распределения остаются интерпретируемыми в сравнении с предыдущими годами. Третье — согласованности центров. Четвёртое — эффектов по защищённым характеристикам. Пятое — индивидуальной надёжности. Шестое — средств правовой защиты. Для каждого нужны свои доказательства и ответственный.

Затем у модели должна быть граница назначения. Если её самые сильные доказательства подтверждают групповые распределения, это следует заявить. Её не следует представлять как механизм индивидуального прогнозирования без индивидуальной валидации. Если итоговая оценка объединяет выход модели и профессиональное ранжирование, документация должна описывать вклад и неопределённость каждого.

Происхождение данных должно сохранять оценку центра, место в ранжировании, когорту предмета в центре, исторические годы, входные данные о предшествующей успеваемости, версию модели, реализацию экзаменационной организации, расчётную оценку, флаги исключений, статус апелляции и итоговую оценку. Контроль доступа должен защищать учащихся и их сверстников, но конфиденциальность не должна становиться оправданием необъяснимого решения.

Ручная проверка на основе рисков должна быть спроектирована до внедрения. Триггерами могут быть большие отклонения от оценки центра, слабая историческая сопоставимость, индикаторы выбросов, предупреждения о качестве данных и особенно значимые границы. Проверка должна тестировать допущения, а не пересчитывать ту же формулу. Её масштаб и ограничения должны быть отражены в отчётности.

Заказчики должны проводить тестирование приемлемости с учащимися, центрами и последующими пользователями. Это не голосование о популярности арифметики. Оно проверяет, понимают ли затронутые люди цель, считают ли связь доказательств легитимной и могут ли воспользоваться средством правовой защиты. Технически грамотный метод, который не может быть принят, всё равно может не удовлетворить потребность политики.

Шлюз выпуска должен быть достаточно независимым, чтобы остановить или изменить внедрение. Он должен проверять всю цепочку, включая ограничения министров, метод регулятора, реализацию экзаменационных советов, пропускную способность услуги и координацию с последующими участниками. Ни одна сводная оценка гарантий не должна усреднять провал шлюза индивидуальных средств правовой защиты.

Институциональное обучение требует точной ответственности, а не поиска одного виновного

Система 2020 года формировалась под влиянием беспрецедентной чрезвычайной ситуации, ограниченных данных, сжатых сроков и конкурирующих целей. Эти условия объясняют трудности, но не снимают подотчётности. В равной мере серьёзный результат не оправдывает персональные обвинения, не подтверждённые официальными выводами.

Ответственность должна фиксироваться по каждому решению. Министры отвечали за отмену экзаменов и политическое руководство. Ofqual — за нормативную конструкцию, требования к модели, надзор и публичные гарантии в пределах своих полномочий. Экзаменационные организации — за свои реализации и операционные расчёты. Центры — за представленные суждения и ранжирование в рамках установленного процесса. Последующие учреждения — за то, как они обращались с меняющимися оценками в пределах своих полномочий.

Такое распределение позволяет учиться, не делая вид, что каждый участник контролировал всю систему. Оно также не позволяет слову «алгоритм» прикрывать политические решения. Модель не выбирает свою цель, не решает, какой вред учитывать, не устанавливает график апелляций и не определяет, когда пересматривать политику. Это делают люди и учреждения.

Границы доказательств должны оставаться прочными. Анализы равенства не показали систематической предвзятости против защищённых групп или по признаку неблагополучия; они не доказали индивидуальную точность. Пересмотр изменил правило присуждения оценок; он не назвал каждую первоначальную оценку программным дефектом. Протоколы совета показывают управленческую деятельность; они не устанавливают личные мотивы. Парламентская критика и уроки OSR авторитетны в своих рамках, но не являются выводами о чьих-либо индивидуальных нарушениях.

Последняя проверка — операционная способность. До следующей чрезвычайной ситуации система должна уметь показать, кто может санкционировать альтернативу, какие доказательства поддерживают каждое утверждение, как выявляются индивидуальные исключения, как согласуются все реализации, как учащийся может получить своевременную проверку и как последующие пользователи получают обновлённый результат. Именно это превращает урок в устойчивость.

Заключение

Модель выставления оценок Ofqual 2020 года не была просто неудачным фрагментом кода. Она была одним из компонентов публичной системы принятия решений, созданной после того, как экзамены — и истинные данные, которые они обычно давали, — исчезли. Системе пришлось согласовывать продолжение обучения, стандарты, согласованность центров, равенство, скорость предоставления и индивидуальную справедливость с доказательствами, которые не могли установить каждый контрфактический результат.

Модель и связанные с ней анализы могли обосновать утверждения о распределениях, центрах и закономерностях по защищённым характеристикам. Они не могли устранить неопределённость в отношении отдельного человека. Общественное доверие разрушилось там, где самые сильные агрегированные гарантии системы столкнулись с непосредственной потребностью учащегося в лично обоснованном результате и работоспособном средстве правовой защиты.

Подотчётный ответ — не отказ от статистических моделей и не объявление суждений центров безошибочными. Он состоит в управлении всей цепочкой: цель министров, конструкция регулятора, человеческие входные данные, исторические данные, допущения модели, внедрение экзаменационными организациями, проверка индивидуальных исключений, последствия выпуска, апелляции, пересмотр и обучение. Каждое утверждение должно оставаться на уровне, который способны подтвердить его доказательства.

Эта граница — непреходящий урок. Публичная модель заслуживает легитимность не потому, что её общенациональные итоги выглядят правдоподобно, и не потому, что её код работает в соответствии со спецификацией, а потому, что лица, принимающие решения, могут объяснить, что ей известно, признать, чего она знать не может, и предложить действенный путь, когда отдельный человек несёт издержки этой неопределённости.