Научные исследования в ML: где искать, как читать, чему верить

Дима, расскажи, где искать статьи наконкретную темуДима, расскажи, где искать статьи на конкретную тему

Чтобы получить общее представление о предмете исследования, можно начать с обычного поиска личных блогов и обзорных статей по ключевым словам в браузере. Это будут точки входа, где можно выделить для себя несколько фундаментальных работ.

Такие статьи могут оказаться не самыми свежими. Для глубокого погружения в тему и поиска наиболее актуальных работ можно воспользоваться системой Google Scholar. В отличие от обычного поиска в браузере, она индексирует только научные статьи, а не всё подряд. На этом этапе я сначала ищу конкретную статью по названию и потом открываю цитирующие её работы щелчком по ссылке «Цитируется».

На открывшейся странице будут представлены близкие по теме статьи, цитирующие первоисточник, их могут быть тысячи. Чтобы сузить этот список и найти наиболее релевантные и актуальные статьи, я выставляю фильтры. В опциях расширенного поиска можно ограничить поиск диапазоном дат. Стоит обращать внимание на наиболее свежие и цитируемые работы за последний год: в них наверняка содержится полезная информация о том, что происходит в этой области сейчас.

Затем пробегаемся по названиям и описаниям статей из выдачи и набираем список интересных. Далее проваливаемся в каждую из них и просматриваем раздел Related work. Обычно в нём дают краткий литературный обзор со ссылками на другие исследования — они тоже могут пригодиться. По мере чтения можно отмечать в списке литературы те статьи, что заинтересовали вас больше всего, и переходить к ним. Этот способ будет даже продуктивнее, чем просматривать все цитирования.

Лайфхак: в понравившихся статьях можно кликнуть по первому и последнему авторам из списка, чтобы посмотреть перечень их работ. Там тоже может быть что-то полезное.

Понятно. Аесли просто хочется быть вкурсе выхода новых статей?Понятно. А если просто хочется быть в курсе выхода новых статей?

Существует архив с открытым доступом — arXiv, там публикуется множество новых научных статей задолго до того, как они появятся на конференциях или в журналах. Имейте в виду, что работы не рецензируются перед публикацией, поэтому за качество материалов никто не отвечает. Но, как правило, авторы стараются публиковать достоверный контент.

Так как архив ежедневно пополняется и уследить за всеми обновлениями сложно, есть сервисы, паблики и каналы с подборками свежих статей. Например, Daily Papers — это подборка полезных статей из arXiv на популярные темы, которая обновляется каждый день. Также можно следить за последними новостями в сфере машинного обучения в Твиттере и тематических телеграм-каналах.

Если хочется сформировать собственную подборку на определённые темы, можно оформить подписку на новые статьи в Google Scholar. Для этого при поисковом запросе нужно нажать на кнопку «Создать оповещение» — и когда появится публикация, отвечающая заданным ключевым словам, вам на почту придёт сообщение. Таких оповещений можно создать сколько угодно, в том числе по конкретному автору.

Допустим, нужная статья нашлась. Акак вней незапутаться?Допустим, нужная статья нашлась. А как в ней не запутаться?

• Abstract (аннотация). Сжатая версия статьи, кратко рассказывает об основных целях и результатах исследования, включает общие идеи метода.

• Introduction (введение). Включает описание задачи, постановку проблемы и мотивацию исследования. Рассказывает о том, что было предложено в этой работе и к каким результатам пришли в итоге.

• Related work (обзор литературы). Содержит описание смежных работ и исследований, которые были предложены по этой теме ранее и на которые опирается автор. Здесь рассказывается о связи работы с предыдущими и иногда излагаются базовые фундаментальные вещи, которые могут потребоваться для описания предложенного метода.

• Method (метод). В этой части статьи автор детально описывает основной подход, его алгоритм, архитектуру и так далее. Часто здесь же представляют ключевое теоретическое обоснование предложенного метода и его первичный анализ.

• Experiments (эксперименты). Включает постановку экспериментального сетапа: какие данные будут использоваться, с какими альтернативными методами (baseline) сравнивают предложенный подход, как оценивается качество этих подходов и другие технические моменты для большего понимания потенциальной практической пользы предложенного метода. Далее идут результаты экспериментов с графиками, таблицами, диаграммами и делаются выводы.

• Conclusion (заключение или выводы). Краткий пересказ проделанной работы: автор простым языком повторяет суть предложенного метода, подводит итоги, описывает недостатки подхода и рассказывает, что можно сделать в будущем в этом направлении.

• References (список литературы). Все использованные во время написания статьи источники.

• Appendix. Всё, что не поместилось в статью: дополнительные результаты, материалы, технические детали и эксперименты. Это не основная часть статьи, но сейчас она есть почти во всех ML-работах. Раздел полезен для тех, кто хочет детально разобраться в нюансах работы, воспроизвести её результаты или сделать поверх неё свои исследования.

Ого! Икак это всё читать?Ого! И как это всё читать?

Не обязательно всё: при чтении статьи некоторые разделы часто пропускают — в зависимости от целей и уровня погружённости в тему.

Понять суть. Если вы хотите просто понять главный смысл работы, сначала обратите внимание на аннотацию. Затем переходите к чтению введения, а лучше сразу к части c contributions, где автор описывает вклад работы в область исследований и кратко рассказывает, что было сделано. На этом моменте обычно становится понятно, содержит ли статья потенциально интересную для вас информацию.

Разобраться в теме. Если тема для вас новая и хочется понять, что происходило с этой задачей ранее, стоит ознакомиться с обзором литературы. В свежих и качественных статьях нередко можно наткнуться на ёмкий и полезный обзор.

Ближе к делу. Если вы уже разбираетесь в теме, можно пропустить аннотацию, введение, литературный обзор — и сразу перейти к разделу с описанием метода, а потом посмотреть интересующие результаты в экспериментах.

Для удобства можно распечатать статью и отмечать всю важную информацию маркером, а незнакомые факты выписывать на полях или на специальных стикерах, чтобы лучше запомнить. PDF-документ тоже можно разметить похожим образом. Если нужно вернуться к статье позже, то по этим записям будет легче вспомнить, о чём она.

Это всё, конечно, классно. Ностатей наодну тему могут быть сотни, каким верить?Это всё, конечно, классно. Но статей на одну тему могут быть сотни, каким верить?

Часто доверие вызывают работы авторов из известных компаний и лабораторий топовых университетов (Стэнфордского, Кембриджского и других). Но, к сожалению, известные имена авторов и их место работы — это не гарантия качества статьи. Поэтому всё равно нужно во многом опираться на здравый смысл и своё понимание области. По ходу чтения статьи важно задавать себе вопросы в духе «почему авторы сделали именно так, а не иначе».

Если некоторые вещи в статье противоречат друг другу, никак не доказываются, не подкрепляются фактами и у вас начинают закрадываться сомнения — такой статье лучше не доверять. Кроме нестыковок в части теории в работе может быть некачественно поставлен эксперимент: например, сетапы немного съехавшие, сравнения не совсем честные — и из-за этого могут быть сделаны некорректные выводы.

Также стоит обращать внимание на то, сравнили ли авторы свои результаты с последними актуальными работами на ту же тему: это важный момент, по которому можно понять, насколько предложенный подход полезен на практике.