Почему для ИИ важно рассуждать последовательно, как нейронки делают это сейчас — и как люди стараются помочь им
4 августа 2025Новость первая (которая уже не совсем новость): в компании Anthropic, разработавшей нейросеть Claude, придумали способ буквально проследить ход «мыслей» нейросети. Технология называется Circuit Tracing, и она позволяет увидеть, какие именно «ассоциативные связи» внутри модели привели к тому или иному ответу. Почему не совсем новость? Потому что впервые Anthropic рассказали об этом ещё в марте 2025 года.
Новость вторая (без которой первая не имеет для нас значения): Anthropic представили понятный инструмент на базе технологии Circuit Tracing и сделали его общедоступным. Сервис оснащён интерфейсом на платформе Neuropedia.com и — что самое важное — предлагает визуализацию «размышлений» нейросети в виде графа. И теперь каждый может протестировать LLM на любом промте и увидеть, как нейросеть поняла вопрос и на чём основывала свой ответ.
Потому что до сих пор даже разработчики не всегда понимают, почему ИИ выбирает одно решение, а не другое. Circuit Tracing превращает ИИ из чёрного ящика в систему, которую можно изучать, проверять и улучшать. Для нас как для пользователей имеет значение, почему нейросеть дала определённый ответ. Она считает его правильным? Или пришла к нему на основании ложных умозаключений? Или полагает, что он понравится пользователю
Возможность следить за тем, что происходит «в голове» у нейрособеседника, — важный шаг к созданию ИИ, которому действительно можно доверять.
Сравните сами!
Джеффри Хинтон, исследователь в области данных и когнитивной психологии, «крёстный отец ИИ», говорил так: «Нейросети остаются для нас полностью непрозрачными системами, эдаким чёрным ящиком: мы просто не знаем, как они на самом деле работают внутри».
Но это уже в прошлом. Слушаем Дарио Амодеи, СЕО Anthropic:
Некоторые современные LLM умеют обдумывать ответ шаг за шагом. Это называется Chain of Thought — цепочка размышлений. Модель не просто выдаёт ответ, а последовательно проговаривает промежуточные шаги, как бы думает вслух. Такой режим работы нейросети значительно повышает качество ответа.
Модели, которые всегда работают в режиме рассуждения, называются рассуждающими, или «ризонинговыми» (от англ. reasoning — рассуждение).
Современные рассуждающие модели:
OpenAI o3 и группа моделей 4о.
Google Gemini в режиме Deep Research.
DeepSeek R1.
Anthropic Claude Sonnet.
Во время рассуждения модель показывает нам внешнюю оболочку, мы можем увидеть слова — но не их значения: какие ассоциации сработали, какие связи активировались и почему вообще появилась такая последовательность идей.
То есть Chain of Thought — это видимое внешнее обоснование ответа.
А Circuit Tracing — это способ понять внутреннюю логику и смысл идей, которыми оперирует модель.
Вот что вы увидите, когда откроете инструмент Circuit Tracer на Neuropedia. На этой приборной панели находятся все инструменты управления сервисом. Давайте сначала поймём, что мы можем здесь найти, и потом разберёмся, в каком порядке этим пользоваться.
Это даёт нам понять, о чём нейросеть думала до определённой точки рассуждения, о чём после и с чем ассоциировала одну конкретную идею. Но весь этот интерфейс интерактивный, каждое действие меняет конфигурацию данных и позволяет получить больше информации.
Смело пробуйте!
...вам нужен промт. И тут у вас есть два пути:
Воспользоваться предложенными промтами — хорошая идея, чтобы разобраться с возможностями сервиса. Потому что в подборку включены такие задачи, рассуждения модели над которыми наглядны, не перегружены информацией и при этом достаточно подробны, чтобы увидеть возможности трассировки.
Чтобы задать промт, система предложит вам авторизоваться и выбрать целый набор параметров. Дальше будет интересно
Хорошо продумайте свой промт, чтобы получить полезный и интересный граф. Обратите внимание, что все тестовые промты сформулированы типично: они предлагают закончить фразу одним словом или решить математическую задачу. Это нужно для того, чтобы сфокусировать нейросеть на простом ответе в одном конкретном направлении.
Если ваш промт будет длинным и предполагающим развёрнутый ответ, вы получите очень сложный граф, который будет трудно анализировать.
В промте имеют значение все детали, потому что они влияют на то, с какими начальными токенами будет взаимодействовать нейросеть. Например, обратите внимание, что на скриншоте сервис сделал замечание по поводу пробела в конце промта: это повлияет на рассуждение.
Возможно, мы движемся в этом направлении. Но это не точно.
А вот что говорит Фёдор Добрянский, эксперт по ИИ, CTO и co-founder ИСУО «Карта Офиса»: "Сейчас я занимаюсь данными и нейросетями, а в молодости, году в 2009, я стажировался в лаборатории нейрофизиологии и вживлял электроды в мозги лягушек и рыб.
Circuit Tracing и восторг вокруг этой технологии пока слишком напоминают мне исследование мозговых волн существа без мыслей".
До сих пор исследователи создавали мощные модели и развивали их возможности, не имея ясного ответа, как это получается. Работает — и спасибо. Развитие получилось стремительным, но не вполне управляемым, и это породило страх: а вдруг ИИ пойдёт не туда — и никто не поймёт почему?
Circuit Tracing — это технология, которая делает нейросети ещё чуть менее магическими и более инженерными.
Если получится развить её дальше, мы сможем:
Строить ИИ, которые следуют заданным правилам по смыслу.
Быстрее находить и исправлять ошибки в логике LLM.
Регулировать мораль и этику нейросетей.
Находить пробелы в мышлении моделей, которые отличают их от человека, — например, понимание эмоций, — чтобы создавать полноценных собеседников.
Безусловно, это не волшебная палочка. Но, возможно, ключ к следующему поколению ИИ, в котором важна не только мощность, но и понимание смысла.
