Дмитрий Иванов о том, как устроен стартап внутри Яндекса

Дзен — это сервис персональных рекомендаций и платформа для создателей контента. Сегодня это один из самых крупных сервисов в России, 40 млн пользователей в феврале 2019 года. Десятки тысяч авторов, медиа и брендов каждый день делают публикации в Дзене. Внутри сервиса «живет» искусственный интеллект, именно он соединяет авторов и читателей, показывает каждому пользователю то, что интересно именно ему. Несмотря на кажущуюся простоту, Дзен — технологически очень сложный продукт. Директор Яндекс.Дзена Дмитрий Иванов рассказывает о том, как устроен стартап внутри Яндекса.

– В последнее время главные успехи Яндекса в создании новых продуктов были связаны со сферой услуг: Такси, Еда, Драйв. Выделение Дзена в отдельный бизнес-юнит выбивается из этого тренда, так как он про «что почитать».

«Что почитать» — это тоже сервис. Информационная услуга — тоже услуга. Пусть пользователь не платит за нее напрямую, но он отдает самое ценное, что у него есть — свое время. Если раньше за свободное время человека конкурировали традиционные медиа, то сейчас все стало сложнее: за наше внимание бьются и медиа, и контентные платформы, и социальные сети.

В результате складывается парадоксальная ситуация: нас окружают огромные потоки информации, но мы далеко не всегда успеваем следить за тем, что нас по-настоящему интересует. Самостоятельно отбирать интересное крайне трудоемко, поэтому мы либо следим за конкретными изданиями или блогами, где эту работу за нас делает другой человек, либо доверяемся алгоритму, который автоматически собирает все самое интересное для каждого пользователя.

Алгоритмы изучают поведение человека в интернете, анализируют его интересы и на базе этой информации рекомендуют публикации. Рекомендательные системы оказались настолько эффективны, что теперь используются всеми крупными платформами: YouTube, Facebook, Instagram. Технологии рекомендаций развиваются очень быстро. Вместе с тем задача, что бы такого интересного почитать, если мы пытаемся решить ее универсально, для многих миллионов людей, пока далека от решения.

– Какой логикой вы руководствовались, выбирая это направление? Опытом китайских рекомендательных сервисов типа Toutiao? Есть ли у Дзена какая-то российская специфика?

Когда мы начинали делать Дзен, то понятия не имели, что похожие проекты есть в Китае. Например, о существовании Toutiao (одного из крупнейших рекомендательных ньюсфидов в Китае) мы, со стыдом признаюсь, узнали лишь спустя год после запуска. Мы тогда испытали смешанные чувства. С одной стороны, было досадно — получается, что мы не первопроходцы. С другой стороны, если в высокотехнологичном Китае проект успешно развивается, значит модель работает.

На западном рынке также было несколько продуктов, с которыми можно сравнивать Дзен, например, Flipboard, но все они содержательно и технологически сильно отличаются от нового поколения алгоритмических ньюсфидов.

А вот что мы по-настоящему круто придумали и сделали раньше других — это интеграция алгоритмической ленты в браузер. Мы первыми додумались добавлять в браузер умный (и бесконечный) алгоритмический ньюсфид, а не просто какие-то популярные заголовки. Это было очень своевременным решением: оно позволило Дзену совершить рывок и в аудитории, и в качестве. Вслед за нами персонализированную алгоритмическую ленту вставили в свои браузеры и другие компании, в том числе Google.

– Соцсети сегодня заменили хронологические ленты на алгоритмические, медиа тоже все больше используют автоматические подборки публикаций. Но далеко не всегда эти рекомендации подходят пользователям. Может ли алгоритм научиться по-настоящему хорошо доставлять людям контент?

Может, но не сразу. Уже сейчас алгоритмы более эффективно доставляют людям контент, чем редакторские подборки. И вместе с тем у меня нет никаких иллюзий. Сейчас уровень понимания машиной интересов и желаний каждого конкретного пользователя достаточно примитивный. И не только у нас — уровень развития искусственного интеллекта в этой области примерно одинаковый во всех ведущих технологических компаниях (собственно, такие есть в основном в Китае, США и России).

Всем нам предстоит многое сделать для того, чтобы каждая рекомендация по-настоящему била в десятку, чтобы каждый пользователь мог однозначно сказать: мне показывают ровно то, что интересно. Алгоритмические рекомендательные продукты начали развиваться относительно недавно. А задача сложнее, потому что в поиске пользователь явным образом дает запрос. Здесь же алгоритму нужно ответить на незаданный запрос: а что бы такого интересного посмотреть конкретному человеку сейчас. При том что человек подчас сам не знает, что ему интересно. Такая высокая степень неопределенности очень усложняет задачу.

– Как эти задачи решаются с инженерной точки зрения? Чем заняты разработчики Дзена?

На рекомендательные системы можно посмотреть как на «поиск без запроса»

Информационный поиск сам по себе является сложной задачей, и поэтому поисковые компании так сильно вкладываются в технологии машинного интеллекта, а если убрать из поиска запрос, то задача усложняется стократно. По сути, всё, что у нас есть, — это данные о поведении пользователя и данные о публикации.

Первая часть связана со сложными инженерными задачами вокруг хранения и обработки больших данных: Дзен агрегирует информацию из большого числа источников, строит из них контуры поставки данных и «варит» из них обучающие выборки и факторы для машинного обучения.

Вторая часть позволяет глубинному обучению развернуться в полный рост. Нам надо представлять контент всех модальностей (текст, картинки, видео) в едином семантическом пространстве и предсказывать по нему разные аспекты качества и то, как с ним будет взаимодействовать пользователь. Например, для того, чтобы понять, сколько времени пользователь проведет, читая статью, нужны новейшие (state of the art) результаты из области обработки естественных языков и компьютерного зрения.

Помимо этого, в рекомендациях статей остро стоит проблема жадной целевой функции. В этом важное отличие текстовых контент-систем от видеохостингов. Если YouTube может себе позволить за сессию сделать одну или две удачные рекомендации, которые увлекут пользователя на полчаса-час, то Дзен, в котором время чтения средней публикации занимает пару минут, должен не делать точечные рекомендации, а максимизировать число прочтений за всю сессию. Поэтому у нас появляется всё больше и больше задач, связанных с reinforcement learning — модной областью машинного обучения, которая занимается подобными проблемами.

– Как устроена команда Дзена?

Весь Яндекс возник на стыке мира технологического и мира гуманитарного. В информационных сервисах, таких как Дзен, взаимодействие этих двух миров особенно важно. Вообще я думаю, что по-настоящему крутые продукты получаются тогда, когда встречаются люди с совсем разным опытом. Что необычно в Дзене? Помимо стандартных для интернет-компаний разработчиков, специалистов по машинному обучению, дизайнеров, менеджеров и аналитиков у нас в команде есть редакторы и журналисты с большим опытом работы в российских медиа. Но работают они в новой роли — помогают обучить алгоритмы Дзена.

Можно сказать, что искусственный интеллект, который мы развиваем, берет на себя функции редактора. Алгоритм решает, какую публикацию показать каждому конкретному человеку с определенными интересами. А значит, чтобы научить алгоритм принимать правильные решения, нужно объяснить ему множество вещей: от простых, вроде корректного определения тематики публикаций, до более сложных, например, как отличить более качественную публикацию от менее качественной, где заканчивается хороший цепляющий заголовок и начинается кликбейт.

Ответы на все эти вопросы лежат в профессиональном анализе и разметке контента, которая используется для обучения алгоритмов, а также в анализе действий пользователей: кликов, лайков, жалоб и т. п. Снова и снова мы размечаем публикации (в том числе во взаимодействии с медиаиндустрией) для того, чтобы машина могла с большей точностью принимать решения. Снова и снова запускаем эксперименты, где сравниваем версии алгоритмов, после чего запускаем на всю аудиторию Дзена то, что дает наилучшее качество.

– На какие метрики вы ориентируетесь? Как вы понимаете, что сервис стал лучше?

Индустриальным стандартом для продуктов типа Дзена является показатель time spent. Это время, которое пользователь проводит на платформе. Все социальные сети и медиаплатформы стремятся нарастить эту метрику, и мы на нее тоже смотрим — именно на этом поле мы конкурируем с другими платформами. На наш взгляд, Дзен выдерживает конкуренцию: пользователь проводит в сервисе в среднем 36 минут в день, это приблизительно на уровне популярных соцсетей.

Однако этот показатель в чистом виде ничего не говорит о качестве. Ведь за временем, проведенным на той или иной платформе, стоят гораздо более важные вопросы: насколько человек доволен тем, что потратил время на потребление того или иного контента? Не испытывает ли он дискомфорта и даже стыда за то, что потратил это время зря?

Чем дальше, тем больше в индустрии идет разговор про метрику time well spent. Важным становится количество хорошо, качественно проведенного времени на платформе

Именно этот показатель нужно стремиться максимизировать.

Здесь встает другой вопрос — как научиться определять это well spent? Как оценить, какое время пользователь провел хорошо, а какое не очень? Конечно, можно отшутиться, что у нас есть подопытные пользователи со встроенными в голову электродами, что позволяет нам в режиме реального времени получать эмоции людей и настраивать алгоритмы исходя из этих данных. Но этого пока нет. Кстати, рано или поздно это случится — и не факт, что прямой доступ машины к нашему мозгу нас обрадует.

Не имея возможности оценивать хорошо проведенное время напрямую, мы измеряем его косвенно. Прежде всего, мы стремимся минимизировать плохо проведенное время пользователя: например, когда он кликнул на публикацию, но не стал ее читать. Или когда кликнул, прочитал и дизлайкнул. Или пожаловался. Или заблокировал канал. Мы стараемся ловить любые сигналы от пользователей — как позитивные (клики, лайки), так и негативные — и использовать их для обучения алгоритмов. Таким образом, time well spent — это композитная метрика, которая постоянно совершенствуется.

В этом деле очень помогают отзывы самих пользователей и социальный сигнал. В том числе поэтому мы активно развиваем социальные функции в Дзене: например, комментарии к публикациям. Но здесь тоже всё не так просто. К сожалению, нельзя сказать, что та публикация, которая получила много лайков или широко обсуждается, качественная и вызывает у людей положительные эмоции.

– Что изменилось за время существования Дзена в вашем видении продукта?

Через год после запуска мы поняли, что нужно на порядок увеличить число создателей контента. В России живет много творческих людей, которые могут создавать интересные, в том числе нишевые, публикации. А наш искусственный интеллект позволит найти для таких авторов благодарную аудиторию. Представьте: где-нибудь в далеком поселке живет фанат шахмат, нумизматики или классического рока и создает на эту тему интересные публикации для тех, кто этим увлечен. Стать технологическим посредником, соединяющим такого автора с его аудиторией, и дать такому автору работу — это очень правильная задача.

Уже сегодня десятки тысяч авторов работают или подрабатывают в Дзене. Многие зарабатывают столько, что считают сервис полноценной работой. Здесь все зависит от их активности и творческих амбиций.

– Дзен возник как эксперимент, внутренний стартап в Яндексе, а недавно стал бизнес-юнитом. Как это повлияло на процессы и культуру в команде?

У нас возникли процессы долгосрочного планирования бизнеса, что позволяет, например, нанимать людей в новые большие проекты. Можно сказать, что сегодня Дзен сам становится местом, где рождаются новые эксперименты.

Что касается культуры в команде, то Дзен остается стартапом: мы не боимся рисковать, прежде всего нацелены на рост, привыкли к гибкости и открытости. Наши ценности остаются прежними: главенство интересов пользователей и авторов, инициатива и неравнодушие, готовность к открытому разговору — как внутри команды, так и на рынке.

– Сколько человек работает в команде Дзена?

Запускались мы совсем небольшой командой, потом быстро росли. Сейчас в Дзене 180 человек, и мы продолжаем нанимать новых сотрудников в наши офисы в Москве и Санкт-Петербурге.

Вакансии в Дзене: разработчики, аналитики, маркетологи, дизайнеры.

Здесь можно посмотреть все вакансии в Яндексе (выберите специальность и город).