Искусственный интеллект восстанавливает произведения искусства Кирилло-Белозерского музея-заповедника!

Нейросеть добралась и до Кирилло-Белозерского музея-заповедника! В филиале «Музей фресок Дионисия», который находится в селе Ферапонтово Вологодской области, пытаются восстановить фрески Дионисия 1502 года!

 «Фрески собора Рождества Богородицы Ферапонтова монастыря – единственная роспись великого русского мастера Дионисия Мудрого, дошедшая до нашего времени почти в полном составе и подлинном виде с начала XVI века. К сожалению, в росписи есть некоторые утраты, причем часть из них вызвана переделками в самом соборе. В частности, потеряны части фресок, украшающих барабан купола, после того как там пробили окна в XVIII веке, – рассказывает генеральный директор Кирилло-Белозерского музея-заповедника Михаил Шаромазов. – В настоящее время сотрудники Института космических исследований РАН и Кирилло-Белозерского музея-заповедника исследуют возможности нейронных сетей для восстановления первоначального облика поврежденных произведений искусства. Это стало возможным благодаря предварительно проделанной работе по мультиспектральной съёмке росписей собора специалистами ИКИ РАН, Московского государственного университета геодезии и картографии, Национального исследовательского центра «Курчатовский институт», Государственного научно-исследовательского института реставрации. Коллекция высокоточных фотографий позволила специалистам провести начальную проверку возможностей искусственного интеллекта  для решения поставленной задачи».

В музее отметили – несмотря на то, что первоначальный облик таких произведений мы никогда не узнаем, есть возможность хотя бы попытаться представить, каким он мог быть. С этим успешно справляются реставраторы, восстанавливающие утерянные изображения из мелких фрагментов и на основе общей карты. Но каждое такое предприятие требует очень много времени и сил.

Решение, которое напрашивается сегодня, – использовать для этой работы нейронные сети, обученные на большой выборке изображений и способные генерировать картинки «по запросам пользователей».

«Мы готовы не только к традиционным подходам в своей работе, но и новым, неординарным, – замечает директор Музея фресок Дионисия Ирина Паршукова. – Я считаю, что мы только в начале пути. Не исключено, что в будущем появятся новые технологии и подходы, которые изменят направление развития нейросетей. Главное – нейросети обучаемы, и от нас зависит, какой будет в дальнейшем результат. Хочется надеяться, что в недалеком будущем мы сможем представить росписи собора Рождества Богородицы, выполненные Дионисием, так, как видел их сам мастер по окончанию работ, видели его современники, с участием которых разработана программа росписей, −  Иоасаф Оболенский и митрополит Спиридон Савва. Не исключено, что результат нас удивит. Мы увидим немного другого Дионисия, а не того, которого привыкли видеть сейчас. Работу специалистов института космических исследований можно условно назвать реставрацией. Реставрация – это воссоздание до оригинала. В нашем случае она выполнена не реставратором, а нейронной сетью, обученной специалистами ИКИ. У любого реставратора свое видение результата работы, т.е. субъективное реставрационное решение, а нейросеть беспристрастна.  Если дать ей максимально возможный объем информации, она более точно воспроизведет оригинал. Мы должны помнить – нейронные сети не являются идеальными и могут допускать ошибки. Поэтому важно внимательно анализировать и интерпретировать результаты, полученные с помощью нейронных сетей. Впереди большая, сложная работа коллектива единомышленников: искусствоведов, специалистов в области нейронных сетей, математиков. Многое будет зависит от объема информации, которого мы можем предложить для обучения сети, анализа материала, хорошей образовательной базы и эрудиции всех участников процесса».

Для реставрации поврежденных фресок использовалась нейросеть «Stable Diffusion». Это глубокая модель машинного обучения, которая способна создавать изображения на основе текстовых описаний. В Институте космических исследований РАН отметили: «Нейросеть в целом хорошо справляется с «ретушированием» не только малых, но и значительных потерь. Ей удалось восстановить не только фоновый цвет и повторяющиеся узоры, что вполне естественно, но и фрагменты фигур святых, направление взгляда и положение рук». В работе у специалистов находились изображения Спаса Вседержителя, праматери Евы, одного их праотцев человечества Мафусаила, прославившегося своим долголетием – согласно Библии он прожил 969 лет, третьего сына Адама и Евы – Сифа, его потомков – Иареда, Еноса и Еноха, а также последнего из допотопных ветхозаветных патриархов, происходящих по прямой линии от Адама, – Ноя.

Заведующий отделом учета и хранения филиала Кирилло-Белозерского музея-заповедника – Музея фресок Дионисия – Игорь Хоботов, участвовавший и в съёмках фресок собора Рождества Богородицы, и в тестировании работы искусственного интеллекта,  пояснил: «Не всё идеально. Есть и «ошибки» – в частности, фреска с изображением праматери Евы, где положение глаза сильно смещено относительно того, которое мы ожидали бы увидеть. Такого рода «ошибки» можно исправить, продолжая «обучать» нейронную сеть на специально подобранных изображениях фресок и частей фресок. Эта работа сейчас продолжается. В связи с этим, естественно, появляется вопрос об оценке качества реконструкции, ответить на который сложно, поскольку у нас нет исходного изображения. Тем не менее, в исследованиях других изображений из собора качество восстановления довольно высокое».

Ведущий математик отдела телекоммуникационных сетей и высокопроизводительных вычислительных комплексов ИКИ РАН Артём Просветов уверен: «Качество реконструкции можно попробовать оценить с помощью специализированных метрик, также использующих нейронные сети. Первым шагом формируется выборка близких по содержанию изображений того же автора с минимальными потерями. Эта выборка поможет нейронной сети Inception понять, какие детали и объекты присутствуют на «типичном» рисунке. Для расширения выборки к изображениям применяются различные повороты и фильтры. Аналогичные операции проводятся для реконструированных изображений. Таким образом, получается две выборки: набор изображений с минимальными повреждениями и серия реконструированных рисунков. Теперь появляется возможность получить статистику активированных нейронов на глубоких слоях сети для каждого из наборов. Чем меньше отличаются распределения «хороших» и реконструированных изображений, тем выше качество реконструкции. Получается, что сравнивается общее впечатление нейронной сети от каждого из наборов изображений, поэтому присутствие конкретного объекта на рисунке играет несущественную роль, намного важнее общий набор деталей и совокупное множество типичных объектов».

Специалисты Института космических исследований РАН и Кирилло-Белозерского музея-заповедника произвели первые подходы к решению задачи по восстановлению первоначального облика фресок Дионисия. Исследователи уверены, что продолжат изучение этого вопроса. В настоящее время идет процесс  обучения нейросети – он заключается в наполнении ее базы данных фотографиями фрагментов фресок.

Мария Хаустова