Кратко

  • В апреле 2010 года Библиотека Конгресса объявила о получении публичных твитов с 2006 года и о дальнейшем приёме потока. Её официальные ответы исключали закрытые данные, удалённые записи, изображения и сайты по ссылкам.
  • Документ о решении 2017 года пояснил: библиотека получала только текст, хотя сообщения становились длиннее и всё чаще опирались на визуальные материалы. С января 2018 года отбор шёл по темам и событиям; тексты за 2006–2017 годы оставались на хранении и под ограничением доступа, как сообщало публичное объявление.

Сменили правило приёма, а не уничтожили фонды

В конце 2017 года Библиотека Конгресса прекратила ежедневный приём полного потока публичных текстов Twitter. Начиная с января она могла брать записи по важным темам и событиям, в том числе выборам и государственной политике. Двенадцать лет уже полученного текста сохранились. Менялась дверь, через которую войдёт следующая часть истории.

В обосновании библиотеки было несколько пунктов. Росло число сообщений и сопутствующих операций, сами записи становились длиннее. Бесконечный сплошной сбор не являлся обычной практикой учреждения: для нового тогда вида общения было сделано исключение. Особенно показателен другой пункт. Читатели всё чаще видели изображения и видео, библиотека же получала только буквы. Масштаб потока уже не описывал полноту сохранённого разговора.

Если запись гласит «посмотрите», будущий исследователь может датировать реакцию. Увидеть предмет реакции по такой записи он не сможет. Миллиарды верно подсчитанных единиц остаются миллиардами неполных сцен, если единица с самого начала определена узко. Решение 2017 года показало разницу между количеством полученных файлов и содержанием исторического свидетельства.

Границы подарка были известны в 2010-м

Объявление от 14 апреля 2010 года прозвучало широко: публичные твиты с момента возникновения сервиса в 2006 году, затем новые записи без перерыва. Для библиотеки это был способ сохранить повседневную речь, новости и реакцию общества. Вопросы и ответы от 28 апреля уточнили предмет договора.

Twitter определял, какие сообщения публичны. Закрытые сведения об аккаунтах и удалённые твиты не передавались. Фотографии и сайты за ссылками тоже. Библиотека не намеревалась повторять функции самой платформы. Поставщик управлял публичным потоком, хранитель — полученными файлами, а страницы и изображения оставались у иных владельцев. За словами «все твиты» стояли отдельные полномочия и отдельные виды материала.

Библиотека указала и срок: до исследовательского использования должно пройти не меньше шести месяцев после публикации записи. Средства поиска и условия доступа ещё предстояло разработать. Срок допуска не превращает необработанный массив в читальный зал.

Приёмная работала; читальный зал ждал

Технический отчёт января 2013 года описывает реальные объёмы. Историческая партия за 2006–2010 годы содержала около 21 миллиарда твитов в трёх сжатых файлах. К 1 декабря 2012 года добавилось более 150 миллиардов: всего около 170 миллиардов, 133,2 терабайта для двух сжатых копий. Суточный приём вырос со 140 миллионов в феврале 2011 года почти до полумиллиарда в октябре 2012-го.

Посредник собирал записи в часовые блоки. Библиотека скачивала каждый блок, проверяла полноту и ошибки передачи, считала записи и переносила материал на ленту. Два ленточных архива располагались в разных географических точках. Хранение было рабочим процессом, а не красивой строкой в пресс-релизе.

Но исследователям ещё не предоставили доступ. На тогдашних системах один поиск по фиксированной партии 2006–2010 годов мог занять 24 часа. Соглашение разрешало доступ добросовестным исследователям спустя шесть месяцев, запрещая коммерческое использование, дальнейшее распространение и удобное скачивание значительной части фонда через сайт. Разрешение по договору, две копии на ленте и пригодный для работы поиск — три разных результата. К 2013 году первые задачи продвинулись заметно дальше третьей.

Даже быстрый поиск нашёл бы лишь полученные слова. Изображение, не доставленное библиотеке, осталось бы за пределами результата. Именно поэтому позднейшая смена формата сообщений стала самостоятельным основанием для пересмотра сбора, а не просто продолжением истории о медленном поиске.

Старая коллекция сохранилась, новая стала выбором

Публичное сообщение 26 декабря 2017 года подтвердило сохранность текстов 2006–2017 годов и переход к выборочному приёму. Существующий фонд оставался закрытым для широкого исследования, пока проблемы доступа нельзя было решить с устойчивыми затратами; даты открытия документ не обещал. Вопросы удаления сообщений и доступа пользователей требовали работы с Twitter.

Полный сбор уже содержал скрытый отбор: слова проходили, картинки — нет. Выборочный сбор сделал явным следующий вопрос — какие события получат место в памяти учреждения. Двенадцать лет текста представляют крупный первичный источник. Он имеет точные границы. Библиотека сохранила источник и одновременно показала, что сохранять доставленную запись и определять состав самой записи — разные решения.