Как ошибаются нейросети и можно ли уберечь себя от их промахов

Почему не стоит доверять всем ответам нейросетей

Нейросети обучены решать множество задач: писать рекламные тексты, составлять презентации, генерировать картинки, находить ответы на вопросы. Однако они всё ещё несовершенны. Хоть нейросети и обрабатывают большие объёмы данных, у них нет критического мышления. Часто они подбирают ненадёжные источники или придумывают ответ.

Непредсказуемое или самопроизвольное поведение ИИ называют галлюцинациями. Например, когда нейросеть даёт абсурдный ответ на адекватный вопрос, неправильно переводит текст на другой язык. Это случается, потому что данные, на которых обучают нейросети, не всегда проверены и достоверны.

У искусственного интеллекта просто нет возможности проводить фактчекинг. Для этого нужно уметь размышлять, выносить суждения и анализировать источники. Чтобы получать действительно качественную информацию, придётся перепроверять ответы ИИ самостоятельно, а ещё — учиться правильно формулировать запросы.

Как проверить ответы нейросети

Используйте методы фактчекинга, чтобы определить пользу и качество информации, которую выдаёт нейросеть.

Проcите источники. Запросите у нейросети ссылки на источники информации. Даже если вам кажется, что она привела книги или научные работы, которым можно доверять, выясните, в какой главе или на какой странице находится цитируемый текст. Нейросеть вполне может вырвать цитату или ссылку на источник из контекста неправдоподобной статьи — и окажется, что на самом деле автор книги или работы такого не писал.

Обращайте внимание на детали. Если в тексте есть даты, имена, конкретные события, поищите информацию сами и проверьте, насколько они точны. Например, нейросеть может указать неверную дату или придумать событие, которого никогда не происходило. Факты всегда проще всего проверить — и это позволяет сориентироваться: можем ли мы доверять общей идее ответа, или лучше перепроверить всю логику.

Ищите на разных языках. Если ответ нейросети кажется вам сомнительным, попробуйте задать вопрос на другом языке. Особенно если речь идёт о международных событиях. Так есть вероятность, что ИИ найдёт первоисточник или тексты по теме, которых нет в русском переводе.

Как предотвратить ошибки в ответах нейросетей

Запросы к нейросети называют промтами — это те вводные данные, что ИИ использует для генерации ответа. Нейросеть — вероятностная математическая модель, и можно научиться правильно формулировать промты, чтобы свести неточности к минимуму.

Описывайте контекст. Чем больше деталей вы добавите, тем лучше будет результат. Например, если вы пишете структуру для доклада, уточните:

• объём предполагаемого текста;

• для какой цели он нужен — рассказать о каком-то понятии, поделиться идеями, донести важную мысль;

• кто аудитория;

• какие основные идеи важно отразить;

• насколько формальным должен быть стиль.

Плохой промт без контекста: «Собери структуру доклада о том, как проводить custdev».

Хороший промт с контекстом: «Собери структуру доклада для разработчиков, как проводить custdev для мобильного приложения по обучению пению. Расскажи, какие вопросы нужно задавать, как создать хорошую обстановку для интервью, как проанализировать итоги. Пиши в дружелюбном тоне, используй формальный язык».

Приводите примеры. Нейросеть обучается в том числе в процессе обработки промтов. Чтобы она выдала то, что вы хотите, дайте ей несколько образцов. Например, если вам нужна элегия про осень в стиле Пушкина, добавьте к запросу его стихотворение.

Если текст-пример слишком большой, укажите ссылку на него. В запросе можете обозначить это так: «В качестве примера используй статью по ссылке [приведите ссылку на текст]».

Используйте слова-подсказки. Вы можете навести нейросеть на нужный ответ или его структуру с помощью вспомогательных слов:

• «опиши шаг за шагом» — используйте, когда хотите получить пошаговую инструкцию или алгоритм;

• «представь, что ты [имя]» — укажите известного человека или персонажа, стиль которого хотите сымитировать в тексте;

• «напиши ответ в формате [укажите формат]» — подставьте нужное, например «в формате отзыва» или «в формате подборки».

Указывайте длину текста. Чтобы вместо короткого описания к видео не получить объёмную статью в блог, не забывайте прописывать в запросе ограничение на количество символов.

Попросите нейросеть улучшить запрос. Если не знаете, как сформулировать задачу, попросите помощи у самой нейросети. Например, вы можете написать:

• «Какие недостатки есть в моём запросе?».

• «Проанализируй мой запрос. Как его можно улучшить?».

Соберите ответы ИИ и доработайте ими свой промт, чтобы получить релевантную информацию. Советы, как писать промт, чтобы нейросеть выдавала нужный результат, собрали в отдельном материале.