Как IT развивает современное искусство

Люди видят в современных IT-решениях не только инструменты, но ещё и помощников в творческих делах. Более того, часто программы и оценивают соответствующе: может ли компьютер творить? Если может, значит, он достаточно разумен.

Расскажем о нескольких сервисах и технологиях, которые люди уже используют в творчестве.

Компьютерная графика

Что посмотреть. Картин, созданных в компьютерных программах, становится так много, что для них открывают отдельные выставочные пространства, такие как Мультимедиа Арт Музей в Москве и галерея цифрового искусства «Цифергауз» в Петербурге. Там можно увидеть работы известных медиахудожников, например «Фракталы» Озана Тюрккана.

Компьютерная графика захватила и театр. Моушн-дизайн сопровождал серию концертов экспериментальной музыки Noiseroom на Новой сцене Александринского театра, а декорации к опере «Золотой петушок» Кирилла Серебренникова в Большом были созданы с помощью видеомэппинга — проецирования компьютерного изображения на объект с учётом его геометрии и положения в пространстве.

Что «под капотом». Для компьютерной графики используют специальные фреймворки: Processing для Java и самописные решения на С++.

Для создания мэппинга нужно уметь не только рисовать красивые анимации в Photoshop, Blender, Resolume или After Effects, но и переносить их на объект. Поэтому первый шаг в мэппинге — разработка 3D-модели объекта. Сделать её можно с помощью обычной фотографии или программы Outliner Software. После создания видеоконтента художники ещё устанавливают проекторы так, чтобы изображение «обтекало» объект и обыгрывало его особенности.

Искусственный интеллект

Что посмотреть и послушать. Композитор Холли Хёрндон записала альбом Proto, на котором, помимо её собственного, звучит голос искусственного интеллекта Spawn. Хёрднон собрала его совместно с коллегами в Берлине. Музыканты тренировали Spawn на материале собственных голосов, чтобы он слышал реальные голоса людей, а не делал их искусственно идеальными.

А София Креспо использует нейросети для создания картин — своим творчеством она ставит вопрос о потенциале искусственного интеллекта в искусстве и его возможности изменить наше понимание креативности.

Что «под капотом». Работа с искусственным интеллектом требует знания линейной алгебры и теории вероятностей, английского и, конечно, программирования. Чаще всего AI-разработчики используют Python. Он предлагает доступные библиотеки и фреймворки, такие как Scikit-learn, TensorFlow, PyTorch, Keras. Некоторые из них работают на C++. В работе с AI также пригодится знание языков Java, R, Scala и Lua.

Motion Capture

Что посмотреть. Эта технология уже давно прижилась в современном кинематографе. Без неё мы бы не увидели на экранах племя на’ви, Волан-де-Морта, Голлума, Таноса и других фантастических героев.

В отличие от голливудских режиссёров, хореограф Уэйн Макгрегор использовал захват движения не для оживления выдуманных существ, а для путешествия в прошлое. Его команда записала на видео членов группы ABBA в мокап-костюмах, чтобы сделать их CGI-аватары (или «АББАтары») и воссоздать легендарный концерт 1979 года при помощи 3D-анимации. Зрители шоу могут увидеть любимых исполнителей такими, какими они были на пике популярности, и погрузиться в атмосферу конца 70-х.

Что «под капотом». Для создания анимации на основе motion capture сначала нужно записать на видео движения человека в костюме с датчиками. Информация с них транслируется на компьютер в реальном времени или загружается вручную в программы для создания 3D-модели будущего героя. Сделать это можно в Autodesk MotionBuilder, Blender или 3DS Max. На разработанную 3D-модель накладывается CGI-персонаж. Так анимация получается менее трудоёмкой и более реалистичной.

Дополненная реальность

Что посмотреть. Технологии AR активно используют кураторы выставок, чтобы дать зрителям возможность взаимодействия с искусством. Например, гости ARTLIFE FEST 2020 заставляли картины двигаться в мобильном приложении с дополненной реальностью. Его разработала компания PHYGITALISM специально для фестиваля. C помощью AR им удалось оживить однообразный процесс рассматривания картин, сделав его более интересным для посетителей.

Уэйн Макгрегор, которого мы уже упоминали, использовал AR в игре-инсталляции Ēkhṓs. В ней пользователи размещают необычного вида скульптуры поверх реального мира. Чтобы привести их в движение, нужно двигаться самому. Так создатели экспериментируют с воздействием дополненной реальности на физический мир.

Что «под капотом». Создать дополненную реальность можно несколькими способами. Самый простой — в приложении Adobe Aero. Оно доступно на iOS, а также на Windows и macOS в бета-версии. Ещё можно написать код для AR самостоятельно, используя фреймворк A-Frame и библиотеку AR.js, работающие на HTML. Разработать собственное приложение с AR можно при помощи инструментов ARKit от Apple или ARCore от Google.

Роботостроение

Что посмотреть. Главную роль в спектакле выпускника магистратуры Art & Science ИТМО Ивана Заславца «В учёном обществе» получил робот. Он играет Каштанку из одноимённого рассказа А. Чехова и ведёт трансляцию того, что «видит» перед собой. По словам режиссёра, это заставляет зрителя посмотреть на происходящее глазами собаки и по-новому понять знаменитое произведение.

Что «под капотом». Код для робота пишут на Python, C++ или в ROS (Robot Operating System). Для сборки простых машин подойдут специализированные конструкторы вроде LEGO Mindstorm EV3, Raspberry Pi и Arduino. Чтобы сконструировать более сложного DIY-робота, потребуется углублённое знание механики и электроники.