8. Цифровые гуманитарные науки, Историческая информатика, Искусственный интеллект. Модели цифрового сотрудничества

8. Цифровые гуманитарные науки, Историческая информатика и Искусственный интеллект.

Модели цифрового сотрудничества

Все, что мы с вами проходили на этом курсе до сегодняшнего дня, можно назвать "базовым" электронным изданием или созданием "базовых" электронных ресурсов. Оцифрованные или электронные объекты обрабатываются тем или иным способом, и публикуются/размещаются в электронных коллекциях более или менее удобным способом для дальнейшего использования исследователями.

Тема сегодняшней лекции посвящена более "продвинутым" методологиям обработки материалов и их электронного издания, в основе которых лежит использование инновационных информационных и компьютерных технологий и методологий. Их правильное применение позволяет автоматизировать электронное производство, извлекать из электронного контента дополнительную пользу для исследователей, и дает им в руки "продвинутые" инструменты для работы с электронной информацией и манипуляцией ею. 

Данное описание этой области является наиболее общим и данным с точки зрения электронного издателя и архивиста/библиотекаря. По мере конкретизации возможностей в этой общирной области "добавленной стоимости" к базовым электронным коллекциям, и в зависимости от конкретной области знаний и практики, в которой работает тот или иной специалист (библиотекарь, историк, компьютерщик, филолог, статистик, инженер, географ и т.д.), эта тема распадается на несколько более или менее пересекающихся между собой областей, а их определения могут в большей или меньшей степени отличаться друг от друга, в зависимости от точки зрения специалиста.

Сегодня я предлагаю хотя бы кратко обсудить основные, наиболее часто упоминаемые из них, - Цифровые гуманитарные науки, Историческую информатику и Искусственный интеллект - наиболее свежую модную область, которая у нас всех на слуху в последние несколько лет.

Говоря об этом слайде, хотел бы отметить один важный, с моей точки зрения момент - помечая "Визуализацию архивных коллекций и другие продвинутые возможности работы с документами" (т.е. область Цифр гум наук) оценкой "Отлично", я отнюдь не имею в виду, что указанные инновационные возможности для исследователей ЛУЧШЕ или БОЛЕЕ ПОЛЕЗНЕЙ для них, чем простой но хорошо работающий веб сайт архива или библиотеки, или удобный электронный каталог и электронная библиотека с простым полнотекстовым поиском, или простая но эффективная возможность показа взаимосвязей между родственными материалами. Как раз наоборот, и это мое личное мнение, работой с продвинутыми методологиями и технологиями из области Цифр гум наук следует заниматься только после достижения качественной реализации базовых электронных ресурсов и услуг. 

В противном случае (с моей точки зрения, еще раз подчеркиваю это, - со мной многие могут не согласиться), забеги вперед на занятия модными (и иногда хорошо финансируемыми) проектами из области Цифр гум наук без качественной реализации базовых моделей электронного издания и создания электронные архивов и библиотек можно сравнить с попыткой усадить ваших пользователей-исследователей в космический корабль для отправки их на луну, в то время как вы еще не смогли обеспечить для них безопасность полета на простом кукурузнике.

• Открытые исследовательские данные (англ. Open data)

• Большие данные (англ. big data)

• Базы данных

• Визуализация данных

Взгляд на архивы будущего (Сообщение американского Национального научного фонда)

   (Заметка подготовлена К. Фесенко для Вестника массовой оцифровки в 2011 г.)

США. Апрель 2011 г. -- Американский Национальный научный фонд (National Science Foundation - NSF) публикует на своем веб сайте отчет о проекте по визуализации электронных архивов. [1] Данный проект разрабатывается группой исследователей Техасского суперкомпьютерного центра (Texas Advanced Computer Center - TACC) под руководством Марии Естевой (Maria Esteva), архивиста TACC, и Вейя Шу (Weijia Xu), специалиста по анализу. Целью проекта является создание компьютерных средств визуализации больших электронных архивных коллекций и взаимосвязей между электронными документами. В связи с постоянно растущим объемом документов и записей в электронном формате, поступающими на архивное хранение, архивистам и исследователям все более требуются продвинутые средства компьютерной визуализации коллекций и взаимосвязей между их частями. В отчете указывается, что эта проблема стоит особенно остро перед Национальной администрацией архивов и документов (National Archives and Records Administration - NARA), правительственной организацией, отвечающей за управление национальными историческими документами и их сохранность. "После консультаций с NARA и выяснения их потребностей, сотрудники TACC разработали гибкий подход, в котором разные модели анализа данных объединены в единую схему визуализации. Эти картинки-визуализации осуществляют роль моста между архивистом и данными путем интерактивного рендирования информации в качестве форм и цветов с тем чтобы упростить пониманние структуры и контента архивного фонда".  Например, одной из примененных моделей стала древовидная карта (treemap), позволяющая отображать "иерархические (древовидные) структуры в видне набора вложенных прямоугольников. Каждая ветвь дерева задается прямоугольником, который затем разбит на меньшие прямоугольники представляющие под-ветви основного. Площадь каждого прямоугольника пропорциональна размеру данных, который он отображает. Прямоугольники окрашиваются в разные цвета для четкого отображения размерности различных данных." [2] Создаваемые "на лету", такие визуализации позволяют архивисту, как отмечается в отчете NSF, быстро сравнивать структуры и контент разных коллекций. Один из подходов для анализа данных, разработанных в рамках данного проекта, позволяет комбинировать алгоритм сопоставления цепочек (string alignment algorithm) с методами обработки текстов на естественных языках (Natural Language Processing). Последний подход используется для обработки названий директорий и файлов с тем чтобы помочь архивисту определить, какие группы документов организованы по одинаковым именам, датам, географии, порядковому номеру или комбинации из этих категорий. Мария Естева подчеркивает, что "фундаментальной задачей нашего проекта является определить, в какой степени визуализация и абстракции данных помогают архивистам анализировать коллекции и более глубоко понимать их структуру и содержание". С любезного разрешения сотрудников Техасского суперкомпьютерного центра, мы публикуем экраны с примерами визуализации архивных коллекций:         Рис. 1. Древовидная структура тестовой коллекции представлена в виде прямоугольников. Такой вид позволяет архивисту выбрать корреспонденцию в зависимости от количества файлов (размер директории), их размеров (градации желтого) и распределения в директории.    Рис. 2. Репрезентация веб сайта, содержащего приблизительно 2,000 файлов разных форматов. Разными оттенками желтого цевета отмечаются различные количества PDF файлов в директориях веб сайта. Фиолетовым цветом отмечаются закономерности в названиях файлов в разных директориях.               Рис. 3. Вид файлов Геологической службы США (U.S. Geological Survey) с точки зрения их сохранности. На этом экране разные файлы объединены в индивидуальные группы, которые показывают через свою окраску разные степени риска, которому подвергаются  файлы с точки зрения их долгосрочной сохранности.   Рис. 4. Результат анализа коллекции с использованием метода обработки текстов на естественных языках. Зеленым отмечены директории, в которых документы организованы по датам.        Авторы визуализаций: Мария Эстева (Maria Esteva), Вей Шу (Weijia Xu), Сьог Датт Джейн (Suyog Dutt Jain) и Варун Джейн (Varun Jain). Источники [1] A Glimpse of the Archives of the Future. NSF Report. April 5, 2011. http://www.nsf.gov/discoveries/disc_summ.jsp?org=NSF&cntn_id=119074 [2] Описание утилиты Disk Inventory X. http://osmaster.org.ua/?p=424

См. также Explore large image collections with ImagePlot

• Краудсорсинг

• Применение ГЕО-информационных систем

Свойство искусственных интеллектуальных систем выполнять творческие функции, которые традиционно считаются прерогативой человека; наука и технология создания интеллектуальных машин, особенно интеллектуальных компьютерных программ.

Другие определения искусственного интеллекта из Википедии:

- Научное направление, в рамках которого ставятся и решаются задачи аппаратного или программного моделирования тех видов человеческой деятельности, которые традиционно считаются интеллектуальными.
- Свойство интеллектуальных систем выполнять функции (творческие), которые традиционно считаются прерогативой человека. При этом интеллектуальная система — это техническая или программная система, способная решать задачи, традиционно считающиеся творческими, принадлежащие конкретной предметной области, знания о которой хранятся в памяти такой системы. Структура интеллектуальной системы включает три основных блока — базу знаний, решатель и интеллектуальный интерфейс, позволяющий вести общение с ЭВМ без специальных программ для ввода данных.
- Направление в информатике и информационных технологиях, задачей которого является воссоздание с помощью вычислительных систем и иных искусственных устройств разумных рассуждений и действий.
- Способность системы правильно интерпретировать внешние данные, извлекать уроки из таких данных и использовать полученные знания для достижения конкретных целей и задач при помощи гибкой адаптации. (Википедия)

В последние годы ИИ привлекает особенно повышенный интерес, включая в области его применения в архивах. Работа здесь идет в разных направлениях, и соответственно специалисты дают иногда разные определения ИИ в зависимости от их конкретных направлений исследований и разработок.

В частности, среди популярных направлений можно упомянуть:

• Создание и обучение программ для автоматического вычленения из текстов имен и названий организаций, географических названий. Перевод аудиозаписей в текст, автоматизация поиска и распознавания в больших базах данных имиджей и видео файлах.
• Разработка механизмов обработки больших массивов данных, автоматизированной экспертизы ценности, в частности, материалов электронной переписки - эта тема особенно сейчас популярна у западных архивистов.
• Распознавание рукописных текстов - здесь стоит упомянуть интересный опыт, полученный в результате проекта Российского исторического общества и Сбербанка «Digital Петр».
• Создание чат ботов с искусственным интеллектом (ChatGPT).
• Компьютерные гиганты типа Майкрософт и Гугл экспериментируют с использование ИИ для написания программного кода.
• Растущей проблемой в США, например, становятся студенты, пишущие курсовые работы с помощью таких программ Искусственного Интеллекта как GPT-3.
• Большое внимание на нашем конгрессе уделяется и перспективам использования Искусственного Интеллекта в области НИОКР в разных областях знаний, и так далее.

При всем при этом следует оговориться, что разные программы Искусственного Интеллекта показывают результаты разного качества, которые кого то побуждают еще более активно исследовать и улучшать работу в этом направлении, а кого то укрепляют в их скептицизме.

• Однако в этом году мы наблюдаем буквально расцвет рисующих и иллюстрирующих программ из категории Generative AI или Генерирующего Искусственного Интеллекта, которые переводят текстовые запросы в имиджи, видео и звук как, например, Stable Diffusion, Midjourney и DALLE 2.

Новые возможности здесь кажутся захватывающими - я также не смог удержаться и попробовал работу программы DALLE 2 для производства двух иллюстраций, которые мне потребовались для выступления на другой конференции в прошлом месяце. 

Первую слева я использовал для иллюстрации библиографов, создающих карту информационной вселенной, а вторая должна была иллюстрировать информационную вселенную российской национальной библиографии и сопровождалась призывом к слушателям уделять больше внимания исследованию "черной материи информационной вселенной" или редким или совсем неизвестным документам. Я ввел текстовый запрос на эти имиджи в программу Далли и она нарисовала их за 10 секунд каждый. Эти примеры демонстрируют впечатляющий прогресс ИИ в области иллюстрации и визуализации контента.

Но возвращаясь все же к вопросу об улучшении доступа исследователей к архивным коллекциям и цифровой трансформации архивов в следующее десятилетие, хотел бы упомянуть некоторые проблемы, разрешение которых более чем искусственного интеллекта потребует живого человеческого интеллекта, смекалки и инициативы архивных специалистов. В частности, речь идет о таких характерных проблемах в архивной отрасли как:

• Стихийность оцифровки - архивам иногда трудно определиться в приоритетах - для кого делается оцифровка и как будут использоваться ее результаты.
• Проблема устаревшего программного обеспечения и баз данных, которые усложняют задачу улучшения онлай-доступа исследователей к коллекциям.
• Как заметил один архивист на встрече в прошлом году - “архивное пространство центрального фондового каталога напоминает период феодальной раздробленности, где каждый архив держит свою вотчину. Полнота представленной информации из архивов отличается, и размещается там иногда с большим опозданием”.
• Отвечая на вопрос “Почему медленно создаются базы данных?” архивисты говорят о том, что не хватает рабочих рук, и что это является особенно острой проблемой у региональных и муниципальных архивов.
• В некоторых случаях архивисты с тревогой отмечают падение посещаемости архивных веб сайтов и интернет-выставок, и т.д.

Что меня здесь беспокоит, в частности, так это выбор приоритетов для расходования весьма ограниченных ресурсов, которые направляются на развитие архивной системы и улучшения доступа к ней исследователей. Нам необходимо убедиться, что за занятиями популярными веяниями, в частности в области ИИ, мы не на минуту не ослабим внимания к важным текущим потребностям исследователей.

10 апреля 2023 года ВНИИДАД провел круглый стол по теме «Практические задачи внедрения технологий искусственного интеллекта в деятельность архивов».