Отказ оборудования стал для Tokyo Stock Exchange проверкой ответственности за непрерывность рынка

Резюме

• В 07:04 по японскому стандартному времени 1 октября 2020 года система arrowhead зафиксировала большой объём сообщений об ошибках доступа к памяти в одном контроллере двухузлового сетевого хранилища (NAS).Триггеромстал отказ оборудования. Компонент может выйти из строя в течение срока службы; резервирование и существовало для того, чтобы сдержать такое событие.
• Технической первопричинойстал параметрOn Panicсетевого хранилища, установленный в значениеFalseна основе устаревшего понимания, что штатный перехват управления всё равно произойдёт. В актуальной спецификации продукта сообщение panic, поступившее до потери сигнала heartbeat, означало, что не запускался ни немедленный, ни штатный перехват управления. К такой конфигурации привели устаревшее руководство, недостаточный контроль изменений спецификаций и нерепрезентативное тестирование отказов.
• Пара хранилищ содержала общие файлы, используемые распространением рыночных данных, контрольными экранами и всеми тремя контурами приостановки торгов (обычными и аварийными). Эта общая зависимость сталасопутствующим условием: существовало множество перечисленных в документах механизмов контроля, но каждый из них ожидал одно и то же недоступное хранилище.
• TSE быстро обнаружила симптомы, создала аварийный штаб и работала с Fujitsu. Однако её диагностический инструмент также завис, заранее подготовленные команды принудительного перехвата управления оказались неполноценными, и несколько попыток завершились неудачей, прежде чем модифицированная команда передала управление хранилищу NAS № 2 в 09:26.
• Приём заявок начался в 08:00. Поскольку TSE не могла штатно остановить исполнение, она изолировала системы arrowhead и ToSTNeT на сетевых балансировщиках нагрузки в 08:54 и 08:56. Внутренняя обработка исполнения продолжилась для принятых аукционных заявок, а система FLEX распространила примерно одну минуту данных об исполнении после 09:00. TSE объявила эти аукционные данные недействительными; при этом она отдельно подтвердила, что подпадающие под критерии сделки ToSTNeT действительны. Целостность рыночных данных, таким образом, требовала правовой и операционной классификации, а не просто повторного подключения кабеля.
• Перезапуск без перезагрузки привёл бы к выдаче отложенных уведомлений об исполнении, которые TSE уже объявила недействительными. Перезагрузка могла очистить биржевые заявки и исполнения, но участники не получили бы обычных сообщений о прекращении действия заявок, и многие не смогли бы восстановить или заново отправить клиентские заявки. Консультации TSE показали, что к восстановлению были готовы лишь около 38% объёма торгов, ограниченные по типу участников зарубежными брокерскими фирмами. Комитет независимых директоров признал решение о приостановке торгов на весь день разумным в сложившихся обстоятельствах.
• Тот же комитет и Financial Services Agency отделили разумностьреагированияот недостаточной подготовки до события. TSE не тестировала перезагрузку и возобновление торгов даже в тестовой среде, не согласовала с участниками порядок работы с заявками и не установила чёткой процедуры возобновления торгов в тот же день. Защитимое решение не возобновлять торги не отменяло провала в управлении непрерывностью, из-за которого безопасное возобновление было неосуществимо.
• Fujitsu поставляла OEM-хранилище под своим брендом, составляла или передавала документацию на продукт, проектировала эту настройку в детальных документах, разрабатывала и сопровождала систему arrowhead и участвовала в устранении инцидента. Fujitsu публично признала ответственность за качество поставляемой продукции и недостаточность тестирования. Расследование возложило основную ответственность за ошибку в руководстве и цепочку настроек на Fujitsu, признав при этом, что TSE должна была в определённой мере требовать тестирования отказов, соразмерного важности хранилища.
• FSA выпустила предписания об улучшении деятельности в адрес TSE и JPX на основании отдельных положений Закона о финансовых инструментах и биржах. Они требовали контроля изменений спецификаций, анализа зависимостей, приостановки торгов, независимой от хранилища, правил и учений для участников, проверки всей группы и сдвига от преимущественной установки «Never Stop» («никогда не останавливаться») в сторону устойчивости.
• Последствия для руководства были явными, но процедурно ограниченными: президент TSE Miyahara Koichiro подал в отставку; руководители JPX и TSE получили снижение вознаграждения или строгие предупреждения; Fujitsu снизила вознаграждение пяти руководителям и вынесла строгие предупреждения трём старшим должностным лицам. Это были корпоративные меры управления, предпринятые во исполнение регуляторных предписаний, а не судебные решения об убытках, халатности или уголовной ответственности.
• Доказательства устранениясуществуют на нескольких уровнях: замена материнской платы и контролируемые торги 2 октября; испытание на реальном оборудовании с последующей установкойOn Panic=Trueв рабочей среде 4 октября; полный пересмотр настроек хранилища; процедуры принудительного переключения; независимый от хранилища аварийный контур остановки торгов; учения участников; опубликованные правила перезапуска, обработки заявок и информирования; а также последующая работа по повышению устойчивости arrowhead. Эти артефакты существенно повышают уверенность, но ни один публичный источник не доказывает, что любое возможное состояние оборудования, система участника или будущий сбой могут быть устранены без сбоев.

Границы доказательственной базы и процессуальный статус

В этом анализе используются пять ярлыков для доказательств.Подтверждённый фактпрямо изложен в современном уведомлении биржи, техническом отчёте, раскрытии компании, тексте правил или регуляторном акте.Обоснованный выводсвязывает подтверждённые факты для целей анализа контроля, не претендуя на судебное установление.Спорное утверждениетребует наличия существенно расходящихся позиций; простая неполнота или позднейшее уточнение спором не являются.Неизвестное— это вопрос, который публичный массив данных не разрешает.Правовой или регуляторный выводприписывается только органу, который его сделал, и только в рамках соответствующего производства.

Основной криминалистический документ — отчёт комитета независимых внешних директоров JPX. Егоанглийский переводнеобычно явно говорит о собственных ограничениях: комитет состоял из внешних директоров JPX, не был обычным сторонним комитетом, опирался для фактической хронологии на материалы и информацию, предоставленные JPX и TSE, и не ставил своей главной целью активное установление фактов или юридическую ответственность. Он оценивал изложение событий компаниями, методы расследования, реагирование и предлагаемые меры, включая расследование Fujitsu. Это весомая формальная управленческая запись, но не независимый судебный вывод.

Японское административное предписаниеFSA имеет иной статус. Регулятор запросил отчёты 2 октября, получил их 16 октября и провёл выездные проверки, прежде чем 30 ноября выпустить предписания об улучшении деятельности. Его выводы, следовательно, обладают регуляторной силой. Они не решают вопрос о частных компенсациях, не распределяют договорные убытки между TSE, Fujitsu и неназванным OEM-поставщиком и не устанавливают состава преступления.

Раскрытия Fujitsu — это признания и описания непосредственно вовлечённого вендора. 19 октября компания сообщила, что ETERNUS NR1000 поставляется другим разработчиком-производителем как OEM-продукт, но ответственность за качество поставляемой продукции несёт Fujitsu. Она признала, что руководство не отразило изменение спецификации, внесённое через обновление версии ОС, и что её тестирование и проверки были недостаточными. Эти заявления — важные доказательства от первой стороны; они не являются внешним аудитом каждой инженерной записи Fujitsu или поставщика.

Описание причин уточнялось, а не оспаривалось по существу. Сообщения TSE от 1 и 5 октября описывали отказ модуля памяти и неудачное переключение. Позднейшее расследование разграничило событие в компоненте, механизм конфигурации и операционные условия, расширившие воздействие. Ни один из цитируемых источников JPX, TSE, FSA или Fujitsu формально не оспаривает эту цепочку. Утверждения, что дневной простой был «просто случайным отказом оборудования» или, наоборот, что реального отказа оборудования не было, противоречат формальной записи, а не отражают сохраняющиеся институциональные споры.

Хронология до распределения ответственности

До 1 октября: высокоскоростная система с унаследованными допущениями

Система arrowhead работала с 2010 года. Третье поколение было запущено 5 ноября 2019 года после обновления оборудования и повышения производительности. Совместноеуведомление о запускеTSE и Fujitsu подчёркивало функциональность, стабильную производительность и безопасный и надёжный рынок. Расследование позднее описало систему из сотен синхронизированных серверов, которые принимали заявки, сопоставляли их, возвращали уведомления об исполнении, распространяли рыночную информацию, взаимодействовали с клирингом и обеспечивали функции надзора и контроля. Заявленное время реакции на заявку составляло около 200 микросекунд.

Этот скоростной контекст важен, потому что непрерывность — это не только сохранение доступности серверов. Биржа должна сохранять общее состояние заявок, исполнений, официальных уведомлений, публичной ценовой информации, надзора, счетов участников и последующего клиринга. Быстрое сопоставление увеличивает объём состояния, которое может разойтись за секунды, когда нарушается один контур управления.

Пара NAS не хранила основной синхронизированный биржевой стакан заявок в качестве замены архитектуры сопоставления arrowhead. На ней хранились общие файлы, например информация о выпусках и пользователях, необходимая множеству серверов и операционных функций. Централизация этих файлов обеспечивала согласованность и эффективность архитектуры. Она же означала, что процессы рыночных данных и контроля могли ожидать один и тот же сервис хранения, если переключение при отказе не сработает.

Ключевая настройка появилась раньше третьего поколения. В прежнем поведении продукта значениеOn Panic=Falseотключало немедленный перехват управления, но штатный перехват всё равно происходил после потери сигнала heartbeat. Эта настройка работала в первом и втором поколениях. В ходе дальнейшей эволюции продукта спецификация NAS изменилась: если уведомление panic поступало до остановки сообщений heartbeat, значениеFalseблокировало и штатный перехват. Значение по умолчанию изменилось сFalseнаTrue, но соответствующая письменная спецификация неточно описывала изменение поведения. Старое значениеFalseперешло по наследству в третье поколение.

Это не тот случай, когда TSE вообще не задала цели восстановления. Требования к третьему поколению предусматривали переключение и продолжение работы функций, связанных с NAS, в течение 30 секунд после отказа оборудования. Провал лежал между требованием, поведением продукта, детальной конфигурацией, проверкой и репрезентативным тестом. Бумажное требование непрерывности не доказывало, что развёрнутый резерв ему соответствует.

Прежние инциденты давали контекст предупреждений, не доказывая повторения того же дефекта. В 2012 году отказала часть шлюза рыночной информации, и 241 выпуск был приостановлен на утреннюю сессию; расследование отнесло это событие к неполному переключению ПО и недостаточной проверке переключения. В 2018 году поток сообщений от пользователя колокации перегрузил маршрутизирующее оборудование и отключил несколько шлюзов участников. Отчёт TSE об инциденте2018 годазадокументировал сетевые меры контроля, коммуникацию с участниками и расширенное тестирование отказов. Эти исправления устраняли именно те механизмы.

Они не проверяли то самое состояние panic до потери heartbeat, которое возникло в 2020 году.

07:04–08:36: обнаружение, диагностика и решение о приостановке

В 07:04 мониторинг сгенерировал множество сообщений о нарушениях доступа к хранилищу NAS № 1. В 07:10 часть терминалов торгового надзора и управления операциями не смогла войти в систему; другие терминалы продолжали работать. Смешанное состояние усложнило первичную оценку. Диагностический инструмент, который должен был сообщить о состоянии системы, работал, не возвращая результат. TSE уведомила Fujitsu в 07:10, и специалисты платформы и приложений Fujitsu начали совместную локализацию воздействия в 07:11.

С 07:30 TSE обнаружила задержки информации о выпусках и выяснила, что запланированные сообщения о техническом обслуживании маршрутизации и начале связи не были отправлены. Директор по информационным технологиям Yokoyama Ryusuke возглавил аварийный штаб по устранению системного сбоя с 07:37. В 07:55 Fujitsu сообщила, что сообщения указывают на отказ механизма управления хранилища NAS № 1 и что ожидаемое переключение на NAS № 2 не произошло.

В 08:00 arrowhead начала приём заявок по обычному расписанию. Это решение стало важным позднее, но его не следует переписывать задним числом. Комитет установил, что до 08:00 TSE ещё не понимала всего события и его последствий; часть экранов была доступна; и сотрудники считали, что штатные или аварийные средства приостановки торгов при необходимости всё ещё могут защитить рынок. Тем не менее комитет позднее критиковал более глубокое допущение «Never Stop», из-за которого приём заявок в 08:00 и открытие в 09:00 выглядели безусловными, а не обусловленными данными.

В 08:01 TSE уведомила участников, что сообщения о начале связи не могут быть отправлены. Восстановление и анализ воздействия продолжались параллельно. TSE выбрала 08:30 как порог принятия решения о приостановке всех выпусков, если распространение рыночных данных не восстановится, оставив время для уведомления участников до открытия в 09:00. Распространение оставалось нарушенным. В 08:36 TSE уведомила участников о приостановке торгов на основании Правила 29, пункта 4 Правил биржевой деятельности. В первом публичноманглоязычном рыночном уведомленииговорилось, что технический сбой затронул распространение рыночных данных, все торгуемые выпуски будут остановлены, а приём заявок будет прекращён.

Решение о приостановке и фактическая техническая остановка были разными событиями. Штатная приостановка торгов требовала экрана торгового надзора; приостановка рынка требовала экрана управления операциями; аварийная задача обходила этот экран, но всё равно читала файлы NAS. Все они были недоступны. Поэтому TSE использовала сетевой механизм, предназначенный для ограничения приёма заявок на определённых серверах: она отключила балансировщик нагрузки arrowhead в 08:54 и ToSTNeT в 08:56. Это предотвратило новое сообщение с участниками, но не отдало штатную команду на остановку сопоставления заявок.

08:16–09:26: неудачные попытки перехвата управления и расхождение состояний

Параллельно TSE и Fujitsu пытались принудительно передать управление хранилищу NAS № 2. Команды на отключение питания NAS № 1 в 08:16 и передачу управления в 08:26 не удались. Блокировка порта в 08:28 прервала связь, но NAS № 1 уже отключилась, и перехват управления не произошёл. Попытка при изменённых условиях в 08:42 также не удалась. В 09:23 команда, предоставленная продуктовой группой Fujitsu, не сработала; в 09:26 добавление опций к этой команде наконец обеспечило переключение на NAS № 2. После этого процессы рыночных данных и экраны надзора и управления были признаны работоспособными.

82 минуты между первоначальным обнаружением и успешным принудительным переключением были не просто временем ремонта вышедшего из строя компонента. Они вскрыли пробел в управлении восстановлением. Поскольку инженеры предполагали, что автоматический перехват произойдёт, проверенная команда и зависящая от состояния ручная процедура не были готовы. Расследование признало подготовку Fujitsu недостаточной и отметило неадекватную предусмотрительность самой TSE.

Тем временем принятые заявки создали проблему целостности рынка. Приём заявок начался в 08:00, и данные о заявках в реальном времени первоначально поступали. Поскольку действие балансировщика нагрузки не остановило механизм сопоставления, arrowhead обработала заявки, принятые до 08:54. Отключение рыночных данных пересекло открытие в 09:00, поэтому FLEX распространила примерно одну минуту видимых данных об исполнении. В 09:11 TSE сообщила рынку, что распространённые к этому моменту данные недействительны. В еётретьем английском отчётетакже говорилось, что ToSTNeT остановлена и все распространённые к тому моменту данные FLEX недействительны, в то время как деривативы Osaka Exchange работали в обычном режиме.

Позднейшая классификация была точнее. Вуведомлении о статусе торгов за тот же деньTSE сообщила, что никакие исполнения на аукционном рынке юридически не состоялись, даже там, где FLEX передавала видимые исполнения, а заявки, принятые до приостановки, не переносятся на следующий день. Отдельно было сказано, что заявки ToSTNeT, принятые до 08:56, исполнены и все уведомления об исполнении отправлены. «Все данные недействительны» было срочным предупреждением о рыночных данных, а не утверждением, что каждый внеаукционный договор недействителен.

Это различие центрально для вопроса об ответственности. Переключение хранилища могло восстановить доступ к файлам, но само по себе не могло решить, какие сообщения являются действительными рыночными действиями, согласовать системы участников, восстановить остатки клиентов или воссоздать честное ценообразование. Восстановление требовало и технического состояния, и авторитетного рыночного состояния.

09:26–11:45: почему исправный резерв не создал честного рынка

После принудительного переключения TSE рассматривала два пути: переподключение без перезагрузки либо перезагрузку arrowhead и возобновление торгов. Переподключение привело бы к выдаче уведомлений об исполнении, удержанных внутри arrowhead для заказов, обработанных до отключения сети. TSE уже объявила эти аукционные результаты недействительными. Участники могли счесть уведомления действительными, обновить остатки клиентов и продолжить торговать на ложном основании. Базовые цены дня также были затронуты внутренней обработкой. Комитет счёл этот путь несовместимым со справедливым и беспристрастным рынком.

Перезагрузка сбросила бы принятые на бирже заявки, данные об исполнении и базовые цены. Но обычные процессы участников были управляемы уведомлениями. Заявка, отправленная в TSE, обычно меняла статус, когда участник получал сообщение о приёме, исполнении или прекращении действия. Перезагрузка очистила бы биржевое состояние без отправки обычных уведомлений о прекращении действия. Брокерам пришлось бы выводить заявки из состояния «отправлено» с помощью исключительных процедур, сверять клиентские инструкции и заново отправлять подходящие заявки.

Некоторым системам розничных брокеров с предварительным финансированием также нужно было бы предотвратить влияние недействительных исполнений на покупательную способность или остатки.

До 11:00 TSE запросила мнения крупных отечественных брокеров, онлайн-брокеров, зарубежных фирм и поставщиков общих систем. Онлайн-брокеры заявили, что не справятся с этим процессом; крупный вендор, обслуживающий множество средних участников, никогда не тестировал его и не мог подтвердить готовность. Комитет позднее оценил долю потенциально готовых участников не более чем примерно в 38% по стоимости торгового оборота и описал её по атрибутам участников как зарубежные брокерские фирмы.

Рынок, возобновлённый с таким преобладанием этой подгруппы, исключил бы значительную часть отечественных и розничных участников и поставил бы под угрозу репрезентативное ценообразование.

В 11:00 групповой генеральный директор JPX и президент TSE присоединились к внеочередному заседанию Комитета по управлению рисками. Президент TSE Miyahara принял решение оставаться закрытыми до конца дня, о чём было объявлено в 11:45. Впятом отчёте TSE за тот же деньобъяснялось, что неудачное переключение помешало распространению рыночной информации, запланирована замена оборудования и что дневная перезагрузка может вызвать замешательство инвесторов и участников после консультаций с участниками рынка.

11:45 — 2 октября: контролируемое восстановление на следующий день

TSE не отнеслась к дневной остановке как к разрешению оставить рыночное состояние неопределённым. В японском уведомлении о порядке дня были классифицированы итоги аукционных торгов и ToSTNeT. Отдельноеуведомление о порядке следующего дняопределяло базовые цены, продолжение ценовых ограничений для коротких продаж, режим ценовых пределов и специальные ценовые механизмы ToSTNeT. В 19:25уведомление о возобновленииTSE сообщило, что 2 октября аукционные торги и торговля ToSTNeT, как ожидается, пройдут в обычном режиме.

Что касается оборудования, TSE и Fujitsu заменили всю материнскую плату, на которой находилась вышедшая из строя память NAS № 1. Согласно расследованию, система вернулась к конфигурации active-active, появились готовые процедуры быстрого ручного переключения, обе организации установили усиленный мониторинг, подготовительная обработка прошла штатно, а замена материнской платы завершилась в 22:00. Торги 2 октября прошли без проблем.

В смысле подтверждения надёжности ремонт ещё не был завершён. 2 октября стороны нашли ошибку конфигурации. Они воспроизвели соответствующее условие на реальном оборудовании, подтвердили корректное переключение и 4 октября установили в рабочей среде значениеOn Panic=True. Работа с исправленным значением началась 5 октября. Впервом английском техническом уведомленииTSE задокументированы отказ модуля памяти, неудачное переключение, изменение настройки 4 октября и подтверждение того, что автоматическое переключение ведёт себя как ожидалось.

Карта причин: триггер, первопричина и сопутствующие условия

Триггер

Триггеромстал случайный физический отказ, из-за которого карта памяти в NAS № 1 стала недоступна для чтения и записи. Fujitsu и неназванный OEM-поставщик исследовали деталь. Сообщаемая история отказов той же модели оставалась в пределах внутреннего порога Fujitsu, карта находилась в пределах срока службы, и дефектной производственной партии они не выявили. Комитет не поставил TSE в вину сам факт отказа компонента.

Называть отказ памяти триггером — не семантическая уловка. Резервная конструкция создаётся потому, что компоненты отказывают. Если один работающий компонент может остановить рынок вопреки установленному резервированию, анализ ответственности должен выяснить, почему сдерживающий механизм не сработал.

Техническая первопричина

Технической первопричинойбыла некорректная настройкаOn Panic=Falseпри фактическом поведении развёрнутого NAS. Отказавший контроллер отправил уведомление panic до прекращения контроля сигнала heartbeat с интервалом 0,5 секунды. Согласно фактической спецификации, значениеFalseподавляло немедленный перехват управления и в этой последовательности подавляло также штатный перехват. NAS № 2 не перехватила управление, и пара осталась недоступной для зависимых функций.

Цепочка настройки состояла из нескольких связанных фактов. Старый продукт допускал штатный перехват управления при значенииFalse. Позднее спецификация и значение по умолчанию изменились. Документ поставщика зафиксировал изменение значения по умолчанию, но не изменение поведения; руководство Fujitsu осталось неточным. Fujitsu вписала значениеFalseв детальный проект, TSE проверяла этот проект по тому же неточному руководству, и ни одна из организаций в предпроизводственных тестах не воспроизвела потерю функций NAS при последовательности panic. В одностраничномприложении TSE о настройках NASпоказано, почему сообщение panic исключило ожидаемый задержанный перехват управления.

Собственноераскрытие причин и мерFujitsu подтвердило рабочую цепочку: руководство утверждало, что автоматическое переключение происходит всегда, фактический продукт мог быть сконфигурирован так, чтобы не переключаться при отказе памяти, руководство не отразило изменение спецификации, внесённое через обновление версии ОС, а тестирование и проверки Fujitsu не выявили несоответствия.

Сопутствующее условие 1: управление спецификациями не сохранило требование

TSE требовала продолжения работы в течение 30 секунд. Системные инженеры Fujitsu знали настроенные значения, но Fujitsu сообщила комитету, что требования TSE не были переданы продуктовой группе при проверке согласованности. Продуктовая группа проверяла, не конфликтуют ли настройки оборудования друг с другом, а не соответствует ли поведение устройства системной цели восстановления биржи.

Это обоснованный управленческий вывод: контуры требования, реализации и валидации продукта не были замкнуты. Ни один держатель документа не доказал, что «продолжение работы за 30 секунд» оставалось истинным после изменения поведения OEM-продукта. Вывод не устанавливает, что кто-то осознанно скрыл изменение.

Сопутствующее условие 2: тест воспроизводил потерю heartbeat, а не фактическое состояние отказа

TSE и Fujitsu тестировали прерывание связи heartbeat и наблюдали продолжение работы сервиса. Они сочли это достаточным доказательством для выхода из строя контроллера NAS. Это не эквивалентно. В реальном событии контроллер выдал сообщение panic до потери heartbeat, выбрав другую ветвь логики перехвата управления. Тест под названием «переключение» прошёл, а фактический режим отказа в production остался непротестированным.

Урок контроля точен: покрытие тестами должно выражаться в запускающих состояниях и результирующих инвариантах, а не только в широких ярлыках. Доказательство того, что резерв перехватывает управление после тихой потери heartbeat, не доказывает перехват после panic контроллера, частичного отказа ввода-вывода, устаревшего состояния владения или некорректного уведомления.

Сопутствующее условие 3: множество механизмов контроля имели одну общую зависимость от хранилища

NAS централизовало общие файлы для сохранения внутренней согласованности данных. Распространение рыночной информации, экраны надзора, экраны операций, штатная приостановка торгов, приостановка рынка и аварийная задача приостановки — все полагались на эти файлы. Аварийный путь был процедурно обособлен, но не независим по области отказа. Когда пара NAS стала недоступна, каждая спроектированная команда приостановки не сработала.

Эта зависимость превратила инцидент с хранилищем в невозможность управления торговлей. Она же вынудила сетевую изоляцию, которая остановила связь, не останавливая сопоставление. FSA позднее предписала TSE проверить зависимости по всей системе и обеспечить, чтобы отказ конкретного узла не мог отключить функции, существенные для непрерывности.

Сопутствующее условие 4: принудительное восстановление импровизировалось

Ожидалось автоматическое переключение, поэтому точные команды для перехвата управления в состоянии неудачного переключения не были подготовлены и проверены. Несколько попыток провалились, прежде чем Fujitsu предоставила успешные опции команды в 09:26. Рассматривалось и физическое отключение кабеля. Резерв операционно доступен не просто потому, что его оборудование включено и синхронизировано; оператору нужен осознающий состояние, отрепетированный путь передачи управления, который работает, когда автоматика не срабатывает.

Сопутствующее условие 5: приём заявок и политика перезапуска не были спроектированы как единая система непрерывности

Политика TSE была склонна принимать заявки во время приостановок, поскольку участники просили об этом после более ранних событий. 1 октября приём заявок до полного понимания последствий сделал позднейшую аварийную остановку труднее согласуемой. Не было согласованного правила, когда прекращать приём заявок, что произойдёт с принятыми заявками после перезагрузки, какие уведомления управляют состоянием участника и как определить, что на рынок может вернуться достаточное разнообразие.

Комитет независимых директоров признал решения TSE в реальном времени разумными, учитывая то, что знали сотрудники. Вместе с тем он признал недостаточными заранее установленные критерии решений, процедуры, коммуникацию с участниками и подготовку тестов. Эти выводы сосуществуют. Командование инцидентом может принять наименее вредное доступное решение, в то время как управление остаётся ответственным за то, что были доступны только вредные варианты восстановления.

Сопутствующее условие 6: культура надёжности перевесила восстанавливаемость

Комитет использовал необычно прямые выражения о подходе «Never Stop». Он сказал, что чрезмерный акцент на начале приёма заявок в 08:00 и торгов в 09:00 способствовал тому, что плавный перезапуск после восстановления стал невозможен. FSA также установила, что работы JPX по устойчивости отставали от её фокуса на надёжности. Обоснованный вывод не в том, что высокая доступность была ошибочной. Он в том, что предотвращение перерывов стало более сильной проектной предпосылкой, чем контролируемая деградация, авторитетная остановка, сброс состояния и проверенное возобновление торгов.

Обнаружение, реагирование, восстановление и целостность рыночных данных

Обнаружение

Обнаружение не было ни отсутствующим, ни полностью эффективным. Мониторинг немедленно выявил аномалии доступа к NAS в 07:04, а операционные симптомы появились в течение минут. TSE эскалировала проблему в Fujitsu и создала аварийный штаб до окна приёма заявок. Это позитивные механизмы контроля.

В то же время сам диагностический инструмент ожидал бесконечно долго, доступность терминалов была нестабильной, а ранние пропуски рыночных данных приходилось собирать по отдельным признакам. Обнаружение выявило неблагополучие, но не объяснило оперативно область отказа и не гарантировало безопасную остановку. Остаточный урок — отделять наблюдаемость от наблюдаемого компонента и заранее определять доказательства готовности к открытию рынка: обязательные контрольные экраны, потоки данных, контуры остановки и сообщения участникам должны пройти проверку до начала приёма заявок.

Реагирование

Реагирование преследовало три одновременные цели: восстановить хранилище, не допустить открытия несправедливого рынка и сообщать авторитетный статус. TSE добивалась всех трёх. Она пыталась выполнить принудительный перехват, установила порог решения 08:30, уведомила участников в 08:36, изолировала соединения заявок до запланированного открытия, признала недействительными вводящие в заблуждение аукционные данные, проконсультировалась с типами участников и приняла формальное решение на весь день.

Реагирование также вскрыло слабости реализации. Сетевое отключение завершилось достаточно близко к 09:00, чтобы утекла одна минута данных об исполнении. Первые публичные уведомления неизбежно уточнялись, но последовательность оставляла пользователей в ожидании графика восстановления. В проекте информационной политики совета по предотвращению повторения отдекабря 2020 годапредлагались выделенная страница статуса систем, обновления обычно каждые 30 минут даже без прогресса, этапы «воздействие — возобновление» и push-рассылка. Это средство — доказательство того, что частота и структура информирования были частью пробела в непрерывности.

Почему отказ от перезапуска был механизмом целостности

Потерянная торговая возможность была серьёзной. Из этого не следует, что любое возобновление было лучше, чем оставаться закрытыми. Рынок не является непрерывным в релевантном смысле, если лишь узкий класс участников может восстановить заявки, если недействительные уведомления об исполнении могут попасть в книги брокеров или если публичные ценовые сообщения противоречат юридическому статусу сделок.

Решение на весь день сохранило три формы целостности.Целостность транзакцийтребовала общего ответа о том, какие заявки и сделки существовали.Целостность данныхтребовала авторитетного режима для сообщений FLEX и базовых значений следующего дня.Целостность участиятребовала достаточно широкого набора отечественных, розничных, институциональных и зарубежных участников для честного ценообразования. Официальные доказательства подтверждают вывод TSE, что эти условия не могли быть обеспечены для возобновления торгов в тот же день.

Комитет не просто согласился с руководством. Он оценил оценку готовности в 38%, состав участников, отсутствие перезапуска в тестовой среде и проблему состояния сообщений, после чего признал решение и процесс сбора информации разумными. Это самое сильное доказательство против упрощённого утверждения, что руководство выбрало закрытие только для избежания операционных неудобств.

Восстановление

Восстановление происходило поэтапно. В 09:26 принудительный перехват восстановил доступ и операционные экраны. К вечеру TSE классифицировала состояние торгов за день, определила рыночный режим следующего дня, заменила вышедшую из строя материнскую плату, организовала совместный мониторинг и завершила подготовительную обработку. Нормальные торги 2 октября дали важный результат на уровне обслуживания.

4 октября, после воспроизведения условия на реальном оборудовании, TSE изменила значениеOn PanicнаTrue. К 23 октября системная и продуктовая команды Fujitsu проверили все настройки NAS на соответствие требованиям и фактическому поведению продукта; к концу октября значения, отличавшиеся от заводских по умолчанию, получили подтверждение на реальном оборудовании. Расследование также сообщило о подтверждении процедур принудительного переключения и планах списков команд для конкретных состояний оборудования.

Эти этапы не следует сжимать в формулу «починили за ночь». Замена компонента восстановила ёмкость; усиленный мониторинг управлял краткосрочной неопределённостью; изменение настройки устранило известный дефект автоматического переключения; всеобъемлющая проверка искала родственные ошибки конфигурации; процедуры решали проблему отказа автоматики. Каждый этап отвечает на свой вопрос об уверенности.

Распределение ответственности после хронологии

Tokyo Stock Exchange: оператор рынка и владелец системы

TSE обладала основным публичным контролем над тем, откроется ли её кассовый рынок, какие заявки принимаются, означают ли сообщения действительные сделки, когда торговля останавливается и когда она может возобновиться. Она сформулировала требование продолжения работы NAS за 30 секунд, проверяла детальные проекты, эксплуатировала arrowhead, поддерживала план действий в чрезвычайных ситуациях и координировала подключённых участников.

Её ответственность, следовательно, шире авторства плохой настройки. TSE могла разумно полагаться на точное руководство профильного вендора, и комитет возложил основную ответственность за эту ошибку на Fujitsu. Но TSE контролировала критерии приёмки системы, отказ которой мог остановить национальный рынок. Комитет установил, что с учётом важности NAS TSE должна была в определённой мере требовать тестирования фактической потери функций и частично несёт ответственность за то, что дефект настройки не был распознан.

TSE также владела проектированием непрерывности рынка вокруг технического отказа. Множество механизмов остановки разделяли отказавшее NAS; перезагрузка и возобновление не тестировались даже в тестовой среде; у участников не было согласованного порядка обработки заявок; критерии возобновления не были явными. Это биржевые механизмы контроля, даже если необходимо сотрудничество участников и вендора.

Решение на весь день не следует превращать в отдельное установление вины. Комитет не нашёл ошибки в решении оставаться закрытыми. Ответственность TSE лежит в архитектуре и правилах до события, которые сделали справедливое возобновление торгов в тот же день недоказуемым, а также в обязанности их исправить.

Japan Exchange Group: корпоративное управление материнской компании и групповая устойчивость

JPX владела групповым управлением рисками, распределением ресурсов и надзором за TSE. Событие затронуло другие кассовые биржи, использующие arrowhead, и подняло общие вопросы для Osaka Exchange и других рыночных функций группы, хотя деривативы OSE оставались открытыми. Ответственность материнской компании, следовательно, не сводилась к надзору за одной командой по инциденту.

FSA предписала JPX провести проверки систем в компаниях группы и репетиции раннего восстановления, создать правила перезапуска с участием участников и перебалансировать разработку и сопровождение в сторону устойчивости. Независимый отчёт также требовал групповой надёжности и «всенаправленной» коммуникации. Роль JPX заключалась в том, чтобы превратить отказ одной дочерней компании в стандарт для всех рыночных бизнесов, а не предполагать, что дефектная конфигурация изолирована.

Fujitsu: поставщик продукта под своим брендом, системный интегратор и вендор сопровождения

У Fujitsu было несколько контуров контроля. Она поставляла ETERNUS NR1000 под своим брендом; её продуктовая группа проверяла OEM-продукт и документацию; её инженеры arrowhead писали детальную настройку NAS; она разрабатывала, сопровождала и обслуживала биржевую систему; она же предоставляла команды для инцидента. Эти роли давали Fujitsu практический контроль над цепочкой изменений спецификаций и переводом поведения продукта в системное требование.

Расследование заключило, что Fujitsu несёт ответственность за ошибочное руководство и несёт основную ответственность за дефектную настройку. Оно также выявило недостаточную валидацию продуктовой группой, недостаточную коммуникацию с OEM-поставщиком, недостаточное тестирование состояний отказа, недостаточную внутреннюю координацию и недостаточную подготовку ручного переключения. Сама Fujitsu признала, что OEM-отношения не снимают ответственности за качество поставляемой под своим брендом продукции.

Fujitsu не контролировала, откроет ли TSE рынок юридически, какие заявки действительны и какая широта участия достаточна для ценообразования. Цитируемые записи также не устанавливают частного договорного распределения убытков. Ответственность вендора и ответственность биржи — это пересекающиеся контуры контроля, а не игра с нулевой суммой.

Неназванный OEM-поставщик

В отчёте источник NAS назван «Компания A». Этот поставщик изменил поведение продукта и исходное значение по умолчанию, тогда как его спецификация недостаточно полно отразила изменение поведения. Он также участвовал в исследовании компонента. Эти факты подтверждают операционную роль в спецификации продукта и доказательствах тестирования.

Публичная запись не раскрывает личность поставщика и договор и не публикует его самостоятельный ответ. Было бы необоснованно назначать долю юридической ответственности или предполагать сокрытие. Явное признание Fujitsu ответственности за качество продукции под своим брендом означает, что OEM-отношения не снимали клиентский контроль Fujitsu.

Торговые участники и поставщики общих систем

Брокеры контролировали свои машины состояний заявок, клиентские инструкции, предварительное финансирование, обработку исключений и готовность к сверке и повторной отправке. Поставщики общих платформ контролировали, смогут ли многие участники выполнить исключительное восстановление. Их неспособность поддержать перезагрузку была сопутствующим фактом непрерывности, но расследование не представило это как нарушение: TSE не согласовала и не тестировала процедуру с ними.

После события участие создало взаимные обязанности. TSE должна была опубликовать ясные правила и тестовые мощности; участники должны были внедрить и отрепетировать согласованный порядок. Правило перезапуска, существующее только в документации биржи, — это не непрерывность рынка. И наоборот, участник не может требовать возобновления торгов в тот же день, отказываясь создавать механизмы контроля сообщений и состояния клиентов, которые делают такое возобновление справедливым.

Регуляторы

FSA не проектировала arrowhead и не командовала инцидентом. Её механизмы контроля — надзор, требования о предоставлении отчётности, проверки и правоприменение. Предписание от 30 ноября задокументировало системные, процедурные и управленческие недостатки и потребовало регулярной отчётности. Роль регулятора заключалась в том, чтобы превратить план исправления компании в поднадзорные обязательства и потребовать, чтобы ответственность была сделана явной.

Событие также проверило пределы подхода к соблюдению через метрики доступности. Биржа может отчитываться о высокой исторической доступности, не имея заслуживающего доверия восстановления после аварийной остановки. Регуляторная ответственность, следовательно, должна проверять тестируемое согласование состояний, независимые контуры остановки, охват участников и доказательства учений с моделированием разрушительных сбоев, а не только номинальное резервирование и длительность простоев.

Выводы FSA и ответственность руководства

FSA установила, что дефект продукта непосредственно вызвал событие, настройки автоматического переключения были неадекватны, а правила перезапуска TSE недостаточны. Для TSE предписание требовало четырёх связанных программ: переподтверждение настроек и процессов контроля изменений, включая требования к аутсорсинговым вендорам; устранение зависимости критической приостановки торгов от отказавшего устройства и проверка всех системных зависимостей; создание действенных правил приёма заявок и перезапуска с тестами участников; расширение устойчивости наряду с надёжностью «Never Stop».

Для JPX FSA потребовала, чтобы компании группы проверили системы и провели учения по раннему восстановлению, установили заранее согласованные решения о перезапуске с участниками и повысили устойчивость в разработке и сопровождении. Официальныйсправочный английский перевод предписаниясохраняет эти требования для читателей, не владеющих японским. При расхождении перевода приоритет имеет японский оригинал.

Враскрытии ответственности от 30 ноябряJPX затем назвала последствия для руководства. Президент TSE Miyahara Koichiro подал в отставку с поста президента TSE и с должности группового Co-COO JPX. Месячное вознаграждение генерального директора JPX Kiyota Akira было снижено на 50% на четыре месяца, директора по информационным технологиям Yokoyama Ryusuke — на 20% на четыре месяца, одного руководителя TSE — на 10% на четыре месяца; два начальника департаментов получили строгие предупреждения.

Fujitsu затем выпустилауведомление о мерах в отношении руководителей от 3 декабря. Месячное вознаграждение её президента было снижено на 50% на четыре месяца, заместителя президента — на 30%, трёх исполнительных директоров — на 20% или 10%; три старших исполнительных директора получили строгие предупреждения. Компания связала эти меры с неудачным автоматическим переключением и начала более широкую перепроверку систем и усиление обеспечения качества.

Эти меры делают ответственность руководства видимой, но не доказывают пропорциональность или эффективность. Отставка и снижение вознаграждения показывают, что советы директоров назначили институциональные последствия. Они не заменяют доказательств конфигурации, независимого тестирования, готовности участников или последующего контроля регулятора. Они также не являются выводами о том, что названные руководители лично настраивали устройство или совершили правовое нарушение.

Доказательства устранения: от исправления конфигурации к перезапускаемому рынку

Немедленные технические доказательства

Сильнейшее немедленное доказательство — не заявление о политике. TSE и Fujitsu воспроизвели условие отказа на реальном оборудовании, наблюдали корректный перехват управления при изменённой настройке и затем развернули значениеOn Panic=Trueв рабочей среде. Они проверили все настройки NAS на соответствие требованиям и поведению продукта, с проверкой на реальном оборудовании значений, отличающихся от значений по умолчанию. Они также подтвердили процедуру принудительного переключения для случаев, когда автоматика всё ещё не срабатывает.

Это доказательство напрямую затрагивает известный причинный путь. Его предел — охват: оно доказывает проверенный сценарий и конфигурацию, а не все мыслимые состояния контроллера, сети, хранилища или повреждения данных. Комитет прямо предупредил, что «неожиданные» отказы остаются возможными и что вендоры должны проводить всеобъемлющие сценарные тесты.

Независимое доказательство остановки рынка

TSE изучила, может ли одно устройство или функция помешать команде приостановки торгов, и разработала аварийный контур остановки, не проходящий через NAS. Это устранило скрытую общую зависимость, вынудившую изоляцию на балансировщиках нагрузки. Механизм контроля следует оценивать по периодическим доказательствам исполнения, включая доказательства того, что он останавливает сопоставление и приём заявок, сохраняя поддающуюся аудиту запись, а не только по существованию отдельной кнопки или задачи.

Согласованные доказательства перезапуска и состояния заявок

TSE создала Совет по мерам предотвращения повторения с участием брокерских фирм, инвесторов, поставщиков систем и наблюдателей FSA. Официальнаязапись советасохраняет материалы трёх заседаний совета и девяти сессий специализированной рабочей группы. Эта площадка превратила перезапуск из внутреннего биржевого решения в рыночный протокол.

В итоговомотчёте советаот марта 2021 года определены правила в зависимости от времени и типа отказа, приёма заявок, окон принятия решений о перезапуске, консультаций с участниками, частоты информирования и учений. В нём сказано, что учение пользователей 23 января 2021 года проверило новый информационный процесс и что оперативная информационная работа arrowhead началась в феврале. Это доказательство внедрения, а не только намерений.

Постояннаястраница TSE о возобновлении после перезагрузки системыизлагает операционные последствия. Перезагрузка отменяет биржевые заявки; участники в основном заново отправляют порученные клиентские заявки, если не согласовано иное; частично исполненные заявки требуют связывания; действительные исполнения до отказа остаются в принципе действительными; данные FLEX после перезапуска отражают период после перезапуска, а консолидированная дневная информация публикуется позднее; для цен, приостановок по корпоративной информации и коротких продаж установлен явный режим. Это ровно те вопросы о состоянии, на которые 1 октября не было согласованного ответа.

TSE также открылапроцедуру публичного обсуждения 2021 годапо недостаткам уведомлений о деталях сделок, вызванным системным сбоем. Публикация предлагаемого порядка и ответов на комментарии делает правовую и операционную границу проверяемой за пределами комнаты управления инцидентом.

Доказательства на уровне группы и остаточная работа

Вобзоре выполнения среднесрочного плана за 2020 финансовый годJPX сообщила о завершении исправления настроек и всеобъемлющих проверок, процедур принудительного переключения, проверок ключевых систем и функции остановки торгов, независимой от NAS. Учения и тесты описаны как продолжающиеся, а правила совета — как основа постоянной оценки эффективности. Это раскрытие полезно как управленческое доказательство, но остаётся отчётностью первой стороны, а не внешней технической сертификацией.

Зависимость выходила за пределы листингов самой TSE. В уведомленииNagoya Stock Exchange от 1 октябряуказано, что её дневная приостановка возникла из-за торговой системы TSE, которую она использует. Fukuoka Stock Exchange также выпустилаинструкции о порядке следующего дняпосле своей дневной приостановки. Устранение, следовательно, должно было координировать региональные биржи, использующие arrowhead, а не только дочерние компании JPX.

Более поздняя эволюция системы даёт дополнительные, но не окончательные доказательства непрерывности. В актуальнойистории обслуживания arrowheadJPX зафиксирован запуск четвёртого поколения в ноябре 2024 года с устойчивостью как явной целью, наряду с синхронизированной обработкой торговых данных на трёх узлах и современными функциями, ориентированными на восстановление. Успешное новое поколение показывает инвестиции и изменившиеся приоритеты проектирования. Оно не может задним числом доказать, что каждая слабость 2020 года отсутствовала в каждой точке после инцидента.

Подтверждённые факты, обоснованные выводы, спорные утверждения и неизвестное

Подтверждённые факты

Карта памяти отказала; пара NAS не переключилась автоматически; значениеOn Panic=Falseимело фактическое поведение, отличное от понимания, основанного на руководстве; репрезентативное тестирование состояния panic отсутствовало; все штатные и аварийные пути остановки зависели от файлов NAS; принудительный перехват управления удался в 09:26; аукционные данные об исполнении, распространённые около 09:00, недействительны; часть сделок ToSTNeT оставалась действительной; перезагрузка в тот же день не тестировалась; оценка готовности к повторной отправке составляла около 38% по стоимости торгов и ограничивалась зарубежными фирмами; TSE оставалась закрытой; 2 октября торги прошли штатно; FSA выпустила два предписания об улучшении деятельности; JPX/TSE и Fujitsu применили последствия для руководства; последовали технические и процедурные исправления.

Обоснованные выводы

Номинальное аппаратное резервирование не было операционным резервированием, поскольку развёрнутое состояние, руководство, тест и путь ручного перехвата совместно не доказывали переключение. Общее NAS создало общую точку отказа контура управления, хотя данные сопоставления имели другие механизмы синхронизации и защиты. «Never Stop» стал сопутствующим управленческим условием, когда процедуры открытия рассматривались как стандартные, несмотря на неполные доказательства готовности. Решение оставаться закрытыми защитило целостность рынка, тогда как невозможность возобновления вскрыла устранимый пробел непрерывности.

Это выводы о контроле, подтверждённые записью, а не юридические решения.

Спорные утверждения

В цитируемой формальной записи не видно материального причинного спора между TSE, JPX, FSA и Fujitsu. Ранние краткие формулировки, относившие инцидент к оборудованию, были заменены задокументированной цепочкой настроек и управления и без неё неполны. Публичные утверждения, что TSE могла просто снова включить рынки, противоречат доказательствам удержанных уведомлений, состояния участников и готовности. Поскольку ни одна формальная сторона не представила проверенной альтернативы возобновления в тот же день, эта статья не фабрикует двусторонний спор.

Неизвестное

Публичная запись не идентифицирует Компанию A, не публикует OEM-договор, не раскрывает исходный код или полные файлы конфигурации, не предоставляет полного лабораторного отчёта по отказавшей карте и не показывает все внутренние комментарии к проверкам. Она не оценивает экономические потери каждого инвестора, не устанавливает, выплатила ли TSE или Fujitsu частные компенсации, и не решает вопрос договорной ответственности. Она не публикует ответы о готовности по каждому участнику и не доказывает точность оценки 38%.

Она не даёт полных независимых результатов каждого позднейшего учения и не доказывает, что все региональные системы и системы участников внедрили каждое правило одновременно.

Контрфактические механизмы контроля и стандарт доказательства

Что запись о воздействии доказывает и не доказывает

Критическое воздействие инцидента подтверждено без выдуманной оценки потерь в иенах. TSE не предоставила никакой возможности аукционных торгов в течение всего запланированного дня; ToSTNeT остановилась после интервала предоткрытия; Nagoya Stock Exchange и Fukuoka Stock Exchange также приостановили торги, поскольку используют систему TSE; публичные рыночные данные потребовали признания недействительными и исправления; брокеры, эмитенты и инвесторы вынуждены были переносить открытые инвестиционные решения на следующую сессию. Центральная функция ценополагания биржи была недоступна, хотя деривативы на Osaka Exchange продолжали работать.

Публичные источники не предоставляют полного контрфактического реестра сделок, показывающего, что приобрёл или продал бы каждый инвестор и по какой цене в отсутствие сбоя. Они также не агрегируют затраты брокеров на исправление, проскальзывание хеджирования на других площадках, задержанную эмиссионную активность, эффекты индексов или частные требования. День без торгов может создавать альтернативные издержки и риск-экспозицию, но эти исходы зависят от намерений инвесторов и последующих цен. Поэтому эта статья не превращает рыночную капитализацию, среднедневной оборот или стоимость неисполненных заявок в убытки.

Институциональное воздействие самостоятельно значимо. FSA установила, что дневная остановка серьёзно подорвала доверие инвесторов к бирже финансовых инструментов, потребовала регулярной отчётности об исправлении и потребовала явной ответственности. Региональная зависимость показала, что один отказ контроля может затронуть юридически обособленные рынки. Меры руководства в JPX/TSE и Fujitsu показали, что оба совета отнеслись к событию как к провалу управления, а не к рутинному обслуживанию компонента.

Эти факты поддерживают оценку воздействияCRITICAL, сохраняя различие между потерей национальной службы ценополагания, измеримыми издержками реагирования и недоказанными частными денежными потерями.

Самый узкий превентивный контрфактический сценарий прям: при значенииOn Panic=Trueпринимающий контроллер запустил бы немедленный перехват управления после уведомления panic. Воспроизведение на реальном оборудовании до производственного изменения поддерживает этот вывод для известного состояния.

Более сильный превентивный контрфактический сценарий основан на управлении. Если бы каждое изменение поведения продукта сопоставлялось с системными требованиями, изменённое значение по умолчанию и семантика panic вызвали бы пересмотр. Если бы точное развёрнутое значение TSE, отличное от значения по умолчанию, тестировалось при отказе контроллера, а не только при прерывании heartbeat, несоответствие могло быть обнаружено до начала обслуживания. Если бы шлюз приёмки требовал доказательств для каждой ветви триггеров, общий результат «тест переключения пройден» не закрыл бы требование.

Механизмы снижения воздействия отдельны. Проверенный сценарий принудительного перехвата мог сократить восстановление хранилища. Независимая от NAS команда, останавливающая сопоставление и приём заявок, могла предотвратить удержанные уведомления об исполнении. Шлюз открытия рынка мог остановить приём заявок в 08:00, как только были нарушены критические контрольные экраны и коммуникации. Заранее согласованная семантика перезагрузки и учения участников могли обеспечить широкую, справедливую повторную отправку и восстановление в тот же день.

Доказательство должно быть многослойным.Доказательство конфигурациивключает подписанные описи, карты «требование — настройка» и тесты на реальных устройствах.Доказательство области отказавключает разрушительные учения или инъекции отказов для состояний panic, heartbeat, частичного ввода-вывода, потери контроля и устаревшего владения.Доказательство рыночного контролядемонстрирует, что независимые контуры остановки останавливают предназначенные процессы и сохраняют авторитетные журналы.Доказательство перезапускасогласует состояние биржи, брокера, клиента, публичных данных и клиринга.Доказательство участияизмеряет, какая доля и какое разнообразие рынка может вернуться в каждом окне восстановления.

Доказательство управленияфиксирует исключения, ответственных, сроки, рассмотрения советом директоров и последующий контроль регулятора.

Доступность — лишь один исход. Устойчивая биржа должна уметь безопасно останавливаться, объяснять, что действительно, восстанавливаться из известного состояния, включать репрезентативный рынок и предоставлять доказательства, что каждый шаг сработал. Сбой 2020 года показал, почему резервное устройство, план действий в чрезвычайных ситуациях и несколько аварийных функций могут существовать одновременно, пока непрерывность остаётся недоказанной.

Заключение

Сбой 1 октября 2020 года был запущен физическим отказом памяти, но его значение — в неудавшемся сдерживании. Устаревшее описание продукта, унаследованная настройка, непротестированная последовательность panic и недостаточная подготовка ручного переключения победили резервирование хранилища. Общая зависимость затем отключила механизмы рыночных данных и остановки торгов. Приём заявок и отключение на сетевом уровне создали состояние, которое нельзя было безопасно согласовать с системами участников ни по какому отрепетированному правилу.

Решение TSE не возобновлять торговлю в середине дня не было свидетельством безразличия к непрерывности. По официальной записи это было рациональное решение о целостности рынка: переподключение грозило доставкой недействительных исполнений, перезагрузка грозила исключением большей части отечественных и розничных участников, и ни один путь не был протестирован. Провал ответственности произошёл раньше, когда экосистема биржи не сделала безопасный перезапуск спроектированной и доказанной способностью.

Ответственность следовала за контролем. Fujitsu владела документацией продукта под своим брендом, дизайном настройки, валидацией продукта и важными функциями сопровождения и приняла существенную долю ответственности в этой цепочке. TSE владела критериями приёмки, независимой архитектурой остановки, рыночными правилами и готовностью участников. JPX владела групповым надзором и приоритетами устойчивости. Участники владели восстановлением состояния своих заявок и клиентов после того, как биржа предоставила согласованный протокол. FSA владела регуляторным правоприменением и потребовала, чтобы эти механизмы стали явными.

Запись об устранении заслуживает доверия, потому что содержит больше, чем извинения: заменённая плата, воспроизведение переключения на реальном оборудовании, исправленная производственная настройка, проверка настроек по всей совокупности, процедуры принудительного переключения, разработка независимой остановки, учения участников, опубликованная семантика перезапуска, частота информирования и групповая работа по устойчивости. Столь же важен и её остаточный предел. Ни один конечный тест не доказывает, что рынок никогда не остановится.

Подотчётная цель — показать, что когда непредвиденный компонент или состояние отказывает, рынок может авторитетно остановиться, сохранить истину, широко восстановиться и продемонстрировать, почему возобновление справедливо.