Лауреаты Yandex ML Prize — о своих проектах и нашем общем будущем
Яндекс присуждает премию ML Prize в нескольких номинациях:
-
Первая научная публикация.
-
Молодые исследователи.
-
Преподаватели ML.
-
Молодые научные руководители.
-
Научные руководители и исследователи Яндекса.
Мы поговорили с лауреатами по двум направлениям — им слово!
Никита Гущин
Номинация "Первая публикация"
Про свою работу. Я занимаюсь развитием теории для генеративных нейронных сетей. Сейчас в этой области большой прогресс: кажется, все уже видели примеры картинок, нарисованных с помощью нейронных сетей вроде Midjourney или DALL-E. Это стало возможным за счёт так называемых диффузионных моделей. Но цена качества — низкая скорость работы. Ещё эти модели применимы не для всех типов данных.
Я развиваю теорию, чтобы решить эту проблему: использовать больше разных данных и ускорить работу. Например, некоторые нейросети в перспективе смогут определять, как отдельные клетки реагируют на лекарства или превращаются из здоровых в раковые.
Что стоит изучать. Всё, что связано с генеративным AI, будь то генерация текста (ChatGPT) или изображений (DALL-E, Stable Diffusion). За пару лет прогресс уже огромный — и кажется, что всё больше цифрового контента будет создаваться нейронными сетями.
Куда двигаться. Вижу развитие технологий в сторону создания нейронных сетей, генерирующих любой цифровой контент по запросу. Помимо генерации, скорее всего, будут развиваться технологии редактирования этого контента.
Айдар Булатов
Номинация "Первая публикация"
Про свою работу. За последние годы нейросети научились отлично работать с текстом. Если несколько лет назад сгенерированный текст можно было отличить за пару предложений, то сейчас современные языковые модели пишут на уровне среднестатистической статьи в интернете, а зачастую и лучше. Но если вы общались с языковой моделью, то наверняка сталкивались с их наивностью, а иногда и откровенной глупостью, особенно при решении математических и логических задач.
Наша научная группа в лаборатории DeepPavlov пытается сделать модели умнее, улучшив их память и обучая работать с большими источниками знаний. Наша модель уже способна вместить все книги про Гарри Поттера или, например, всю серию «Властелина колец».
Что стоит изучать. Я считаю, что начинать стоит с изучения математики. Освоение высшей математики поможет в будущем проще и глубже изучать и другие области. Ещё один необходимый навык, особенно для ИИ, — программирование, понимание алгоритмов и структур данных, а также умение использовать нейросети в обучении и работе.
Куда двигаться. Мне нравится направление создания и интерпретации работы новых нейросетевых архитектур. Скорее всего, диалоговые агенты будущего станут обучаться не один раз, а непрерывно, совершенствуя свои навыки и приобретая новые. Чтобы приблизиться к сильному искусственному интеллекту, необходимо создавать качественно новые нейросети, а также методы, позволяющие заглянуть в процесс их мышления.
Александр Никулин
Номинация "Первая публикация"
Про свою работу. Я занимаюсь исследованиями в области обучения с подкреплением (Reinforcement Learning, RL). Можно вспомнить о программе AlphaGo, обыгравшей человека в го, ботах в StarCraft 2 или Dota 2, ChatGPT, который дообучался с помощью RL. Основная цель обучения с подкреплением — создание агентов, способных самостоятельно действовать и обучаться через активное взаимодействие с окружающей средой. Фактически именно это обычные люди представляют себе, когда слышат об искусственном интеллекте.
Что стоит изучать. Как показывает практика, люди совершенно не способны предсказывать будущее. Поэтому, мне кажется, изучать надо прежде всего вещи, которые интересны конкретному человеку и к которым у него есть стремление, — вне зависимости от их популярности и даже практической применимости. Если же говорить конкретно об области машинного обучения, то сейчас очень важны инженерные навыки. Обучение больших моделей, особенно обучение с подкреплением, требует большого инженерного опыта. Я и сам хотел бы стать в этом гораздо лучше.
Куда двигаться. Сейчас обучение с подкреплением очень редко используется на практике — по ряду причин. Мне кажется, практическое применение RL — это задача, которую предстоит решать всей области, и я хотел бы в этом поучаствовать.
Айбек Аланов
Номинация "Исследователи"
Про свою работу. Я занимаюсь исследованиями генеративных моделей. Основная задача такой модели — научиться генерировать новые объекты на основе примеров, которые она видела на входе. Например, если мы хотим научить модель генерировать изображения человеческих лиц, нужно во время обучения показать ей много реальных картинок лиц. Я думаю, что в ближайшем будущем такие модели получат широкое распространение в областях, где нужно создавать большое количество визуального контента: в кинематографе, рекламе, виртуальной реальности. И это будущее окажется очень интересным.
Что стоит изучать. Мне кажется, важно умение анализировать и фильтровать полезную информацию из большого входного потока. Нужно развивать критическое мышление и уметь пользоваться научным методом при принятии решений. Также я бы рекомендовал хотя бы на базовом уровне изучить, как устроены современные модели искусственного интеллекта. Когда их внедрят во все сферы нашей жизни, будет важно понимать возможности и ограничения.
Куда двигаться. Если пофантазировать — думаю, сильное развитие получат персональные ИИ-ассистенты, которые позволят каждому человеку решать интеллектуальные задачи: анализировать и обрабатывать информацию и создавать свой контент. Такие технологии увеличат когнитивные возможности и сделают человека продуктивнее. Верю, что в результате все будут жить лучше.
Конечно, будет развиваться ИИ и создание контента с его помощью. Это может привести к демократизации искусства и культуры: более доступные ИИ-технологии генерации позволят обычным людям создавать произведения искусства и культурные продукты.
Антон Разжигаев
Номинация "Исследователи"
Про свою работу. Чем я только не занимаюсь! Могу выделить три главных направления. Во-первых, я пытаюсь скрестить проверенные источники знаний, структурированную информацию из Википедии и языковые модели, чтобы решить проблему их галлюцинаций или выдумывания несуществующих фактов.
Во-вторых, я занимаюсь мультимодальными исследованиями (Кандинский, OmniFusion) — кажется, что путь к сильному ИИ лежит не через один лишь текст, а через объединение всех основных форматов данных: текста, картинок, видео, аудио. Да и количество текстовой информации весьма ограниченно — в течение пары лет мы её исчерпаем и обучим языковые модели вообще на всём, что есть, поэтому надо расширять область доступных для них знаний.
В-третьих, мне безумно интересно, как и почему большие модели обучаются так здорово. Чтобы это понять, я углубляюсь в эти модели, изучаю их активации, динамику их эмбеддингов. Во время такого препарирования обученных и обучающихся моделей становится понятно, как их можно сделать эффективнее.
Что стоит изучать. Не хочется спекулировать на теме ИИ, но я верю, что мы переживаем техническую революцию: огромное количество профессий исчезнет, формат привычной работы изменится, но всё это будет менять нашу жизнь к лучшему. Думаю, что независимо от конкретной траектории развития вечно актуальными будут оставаться исследовательские задачи. Поэтому надо идти в науку.
Куда двигаться. Есть несколько фундаментальных недостатков, влияющих на возможности ИИ: это ограниченный размер контекста, которым они могут оперировать, галлюцинации (выдумывание несуществующей информации) и скорость. На мой взгляд, эти вещи сильнее всего ограничивают спектр возможных применений таких инструментов, как ChatGPT, при этом увеличение моделей принципиально не решает эти проблемы. Но я уверен, что в течение нескольких лет мы сможем это исправить и создадим что-то невероятное.
