Анализ данных в экспериментах ЦЕРНа и применение нейробайесовских методов для распознавания опухолей
В этом году на Факультет компьютерных наук НИУ ВШЭ приехало 14 исследователей из 10 зарубежных университетов. Мы расспросили троих иностранных ученых о том, для чего применяется машинное обучение в экспериментах ЦЕРНа, как байесовский подход повышает эффективность нейросетей и чем им запомнилось путешествие в Россию.
Сесилия Тошири (Оксфорд)
Я закончила бакалавриат и магистратуру в Пизанском университете. В магистратуре мне удалось получить грант и съездить в научно-исследовательскую лабораторию Фермилаб рядом с Чикаго. Там я изучала столкновения высокоэнергетических частиц — и впервые применяла машинное обучение в физике.
Когда я вернулась в Италию, то, пообщавшись с другими студентами, решила продолжить исследовательскую работу и поступить на PhD. Я получила стипендию Марии Склодовской-Кюри и благодаря этому поехала учиться в Оксфорд. В Оксфорде есть программа по применению анализа данных для физики высоких энергий. Она длится три года и состоит из учебных курсов, воркшопов и сотрудничества с корпорациями и исследовательскими институтами. Поездка в Москву стала частью этой программы.
В России я занималась исследованиями, напрямую связанными с моей основной деятельностью. Я работаю в команде Большого адронного коллайдера, которая занимается VH(H—>bb) анализом — поиском бозонов Хиггса, которые возникают совместно с так называемыми векторными бозонами и распадаются на два кварка. Эти исследования важны для того, чтобы дополнить «стандартную модель» — теорию строения и взаимодействий элементарных частиц. Сейчас она не включает в себя описания тёмной материи или гравитации, и поэтому исследователи стремятся её расширить.
В Коллайдере мы сталкиваем протоны, и благодаря этим столкновениям получаем фундаментальные (несоставные) частицы. Чтобы наблюдать за редкими процессами, нам нужно проводить эксперименты с очень высокой частотой. Поэтому исследовательская группа работает с сотнями миллионов единиц информации, и чтобы изучать их эффективнее, применяет методы машинного обучения. Например, мы используем обучение дерева решений и бустинг, чтобы повысить чувствительность моделей и отделить наблюдаемые события от шумов. A чтобы ускорить стимуляцию процессов без потерь в точности, используется GAN (алгоритм обучения без учителя, в котором «состязаются» две нейронные сети).
Знание машинного обучения очень востребовано в естественных науках, однако специалистов, которые обладают нужными навыками, не хватает.
Думаю, это связано с тем, что датасаентисты предпочитают работать в индустрии — технологических корпорациях, которые предлагают большие зарплаты. Поэтому сотрудничество между корпорациями и исследовательскими центрами очень важно: чтобы обмениваться экспертизой и навыками.
В Москве я сотрудничала с двумя исследователями: Фёдором Ратниковым, профессором НИУ ВШЭ, который работает над экспериментом LHCb в ЦЕРН, и Андреем Устюжаниным, отвечающим за совместные проекты ЦЕРНа и Яндекса. В начале стажировки мы с Андреем Устюжаниным подробно обсудили мой проект: он расспросил меня про проблемы, возникающие в исследованиях, и посоветовал релевантные научные статьи. Это было очень полезно: я узнала про различные алгоритмы для поиска сходства между объектами.
В рамках моего эксперимента это используется так: cперва генерируется структура данных, которая содержит в себе информацию о каждой отдельной частице, произведённой при помощи стандартной симуляции. Затем эта структура используется для того, чтобы совмещать новые частицы с уже полученной информацией, и не проходить весь процесс симуляции заново. Так, методы машинного обучения помогают проводить исследования при меньших вычислительных мощностях.
Но поездка в Москву запомнилась мне не только научной работой. Я была в восторге от местной еды — это как съездить на каникулы к гостеприимной бабушке. При этом мне не очень понравились военные парады (особенно когда под моими окнами в шесть утра проезжали танки), да и найти контейнеры для раздельного сбора мусора было не так просто. Но в целом поездка прошла удачно, и я даже немного выучила русский.
Бельаль Карими (Парижская политехническая школа)
Я закончил бакалавриат по прикладной математике в Париже. Тогда меня заинтересовали исследования в сфере машинного обучения, и я продолжил учиться в магистратуре в Политехнической Школе. Также я ездил в Массачусетский Технологический Институт — на семимесячную исследовательскую программу.
Там я исследовал MCMC — применение цепей Маркова для алгоритма Монте-Карло. MCMC нужен для того, чтобы генерировать выборки из вероятностных распределений. А когда я вернулся из Бостона, то поступил на PhD — сейчас заканчиваю третий год.
На PhD я занимаюсь решением задач оптимизации. В машинном обучении с учителем есть этап тренировки модели, который состоит в оптимизации функции потерь. В прошлом году я исследовал применение байесовского подхода для этой цели.
Нейробайесовский подход активно применяется в компьютерном зрении. В случае с изображениями, на которых есть чёткие объекты (например, фотографий улиц с стоящими на месте машинами) следует использовать детерминистские нейросети. А если предметы размыты, как на медицинских снимках опухолей, и их нужно «достраивать», то лучше сработают байесовские нейросети.
Во время изучения нейробайесовских методов я читал научные статьи Дмитрия Ветрова (профессора на Факультете компьютерных наук в НИУ ВШЭ) и его исследовательской группы. Я решил связаться с ним и попробовать постажироваться в его лаборатории. Дмитрий предложил приехать в исследовательский центр НИУ ВШЭ и Samsung AI. Чтобы профинансировать поездку в Москву, я подался на научный грант в Париже.
В Вышке провели установочную встречу с профессором Ветровым и его коллегой Василием Копытовым. На ней мы определили масштаб работы, которую нужно выполнить за двухмесячную стажировку. Затем большую часть времени я работал самостоятельно, а с научными руководителями мы встречались раз в пару недель: обсуждали прогресс в исследовании и возникающие проблемы.
Мне очень понравилась организация исследовательского процесса: студенты и руководители работали над проектами вместе.
Каждый день в лаборатории было 6–10 исследователей, и мы неформально помогали друг другу, делились результатами экспериментов.
По окончании работы я хотел доказать, что байесовские нейросети с усредненными весами работают так же эффективно, как и детерминистские. За два месяца я не успел закончить научную статью, но собрал для неё экспериментальную базу. Например, в ходе экспериментов я увидел, что при использовании байесовских нейросетей эффект переобучения менее выражен, чем при использовании детерминистских.
Сейчас я вернулся во Францию и продолжаю работать над статьёй: а профессор Ветров консультирует меня по почте. Возможно, я приеду в Москву ещё: мой научный руководитель в Политехнической школе часто ездит в Россию. Мне понравилась эта поездка — особенно район Маяковской, в котором я жил, и выходные, проведённые в Санкт-Петербурге.
Лео Ботель (Высшая нормальная школа)
Я учусь в Высшей нормальной школе в Париже: сначала закончил бакалавриат по математике и компьютерным наукам, а теперь поступил в магистратуру. Мне долгое время хотелось поехать в Россию, и поэтому я стал читать про университеты с сильными программами по анализу данных в Москве. Среди них оказалась и Высшая Школа Экономики. Я написал письмо на Факультет компьютерных наук, и мне ответил мой будущий руководитель — Сергей Кузнецов. Затем мы с ним созвонились в Skype и обсудили мои исследовательские интересы. Ещё Сергей давал мне стандартные задачи на алгоритмы — чтобы понять мой уровень. В итоге мы договорились, что летом я приеду на двухмесячную стажировку в Москву, и поработаю под его руководством
Сначала, когда я только приехал в НИУ ВШЭ, то собирался исследовать применения машинного обучения для построения социальных графов. Меня интересовали практические приложения таких исследований: например, чтобы распознавать фейковые новости. Я хотел брать данные из Twitter, однако нам не дали доступ к API вовремя, и мне пришлось сменить тему работы.
Новую тему предложил Сергей: она оказалась довольно сложной и требовала сильной математической подготовки. Работа строилась вокруг теории графов и в частности теоремы де Брёйна — Эрдёша. Правда, для меня пока непонятны практические приложения этого исследования. Зато за два месяца, проведённые в Москве, я смог подтянуть свои навыки, которые пригодятся мне в последующей научной работе.