Как устроены нейросети и кто отвечает за их обучение в Яндексе

Расскажи, чем ты занимаешься в Яндексе

Я отвечаю за научные исследования: ищу проблемы, формулирую теории, провожу эксперименты. Иногда программирую. Сейчас работаю над обучением нейросети для приложения «Шедеврум». Оно генерирует картинки и тексты с помощью нейросети YandexGPT.

Моя область — это гибрид. С одной стороны, это математика, с другой — инженерия и критическое мышление, так как математическая основа моделей нетривиальна. Сейчас программировать приходится мало, потому что всё ключевое написано. Чаще собираю аналитические инструменты, чтобы проверить работу нейросети.

Можешь привести примеры своих повседневных задач?

Например, мне нужно понять, почему одна версия модели нейросети, которую мы учили, оказалась хуже другой. Есть шесть факторов, которые менялись во время обучения, какие-то из них более критичны, какие-то — менее. Моя задача — выяснить, что повлияло на качество.

Или другой пример. Нужно проверить, соответствуют ли тексту картинки, которые генерирует нейросеть, и насколько красивые они получаются. Для этого мы с аналитиками придумали инструмент. Берём набор из нескольких сотен текстов и генерируем по ним картинки, а потом отправляем людям на разметку. Они выносят вердикт: соответствует ли картинка тексту и эстетично ли выглядит.

А как вообще работает нейросеть?

В 1960-х годах придумали первый алгоритм, который назывался «перцептрон». Его создатели вдохновлялись структурой нейронов в мозге человека: по отросткам в нейрон поступают сигналы, они преобразуются и идут дальше. Так же работают алгоритмы нейросети, но они имеют мало общего с устройством человеческого мозга.

Возьмём сеть, которая генерирует картинки. Представим, что у нас есть:

• множество картинок — то, что мы хотим получить;

• шум — как на экране сломанного телевизора;

• некие промежуточные этапы, когда часть — картинка, часть — шум.

Сеть, которую мы учим, — некая математическая функция. Она учится предсказывать по зашумлённой картинке. Если человек посмотрит на такое изображение, он представляет, как бы она выглядела без шума. С помощью алгоритмов мы учим нейросеть выполнять такую же задачу. Когда вы вбиваете текст и ожидаете готовую картинку, нейросеть двигается от шума к реальному изображению: делает обобщения из того, что видела во время обучения, и создаёт новые картинки.

Звучит очень интересно. Расскажи, как ты попал в эту профессию?

Я учился в МГУ на математика, а потом поступил в аспирантуру в Корнеллский университет (США). Через некоторое время понял, что чистая математика мне не очень интересна и хочется заниматься чем-то прикладным. Я перевёлся в Россию, в Сколтех, и стал изучать искусственный интеллект. Мне всегда нравилась научная фантастика: Айзек Азимов, рассказы про роботов. Хотел заниматься чем-то таким ещё до того, как узнал, что уже есть целая наука.

Пока учился в Сколтехе, Яндекс учредил научную премию за достижения в области AI. Лауреаты получали возможность постажироваться в одном из наукоёмких подразделений Яндекса. Так я попал в Yandex Research. Мне понравилось, и в 2019 году остался работать на полную ставку.

Как ты считаешь, какими навыками должен обладать человек, чтобы работать в твоей области?

Первое — это интеллектуальное любопытство. Чтобы было желание разобраться, когда возникает проблема и что-то непонятно. Второе — навык системно подходить к анализу проблем, методично исследовать факторы, проверять, какой из них на что влияет.

Ещё важно быть инициативным. Если вы только начинаете работать, нормально иметь научного руководителя, который говорит, что делать. А если вы опытный ресёрчер, у вас должно быть понимание темы, которую вы хотите исследовать, должны быть научные амбиции. И конечно, база в области математики.

А какие научные амбиции у тебя?

Хочу отладить все процессы с генеративными моделями в нашем проекте в Яндексе. Хочется, чтобы все исследования проводились по высочайшим стандартам, как в лучших лабораториях в истории — вроде Bell Labs.

Есть какие-то нейросети, которые тебя вдохновляют?

Больше всего меня вдохновила модель генерации картинок DALL-E 2 от компании OpenAI. Они выпустили её год назад и показали, что технологии уже готовы к тому, чтобы генерировать фотореалистичные изображения по описаниям. У них были такие потрясающие примеры, что сразу захотелось в это погружаться.

Вопрос, который нельзя не задать:) Как считаешь, опасен ли искусственный интеллект?

Пока это инструмент, который облегчает людям жизнь. Для полноценного интеллекта система должна обладать тремя свойствами:

• Умением делать выводы из данных — сейчас это могут нейронные сети.

• Способностью направлять события действием — предсказывать, что изменится, если совершить определённое действие.

• Умением делать контрфактические выводы — что было бы, если мы поступили бы по-другому.

Пока они умеют только первый пункт, и этого недостаточно, чтобы представлять опасность. Мы можем научить сети двум другим свойствам, но это требует модели мира. Например, сейчас сеть учится воспринимать язык, анализируя много текста. Но у неё нет целостной картины того, как устроен мир. Попытки внедрить такую модель есть, но пока они безуспешны.