Бенчмарк устойчивости современных метрик качества к состязательным атакам

Сергей Лаврушкин, Старший научный сотрудник, Институт ИИ МГУ

Современные нейросетевые методы оценки качества изображений и видео обходят традиционные метрики по корреляции с визуальными оценками. Однако такие методы также более уязвимы к состязательным атакам, позволяющим искусственно повысить значение метрики путём предобработки изображений или видео без улучшения визуального качества.

Во-первых, пользуясь уязвимостью метрик, разработчики видеокодеков и других алгоритмов обработки могут (и внедряют) такие атаки для накрутки своих результатов в сравнениях. Во-вторых, риск заточиться под неустойчивую метрику есть, даже если вы не ставите такой цели при разработке своего метода и оцениваете его качество одной метрикой или добавляете её в функцию потерь (так называемый непреднамеренный взлом, когда метрика стала выше, а реальное качество — ниже). Вопрос «Что лучше ставить в Loss?» с новыми метриками оказывается намного сложнее, чем хотелось бы.

В докладе будут продемонстрированы результаты сравнения устойчивости 15+ современных методов оценки качества к различным состязательным атакам. Мы расскажем об устройстве нашего бенчмарка, а также выделим наиболее устойчивые к атакам метрики. Бета бенчмарка опубликована в июле по ссылке.