ИИ-аудит: каждый вывод должен подтверждаться цитатой

Знакомо?

Выберите свою ситуацию

Ситуация ИИ-агенты и ассистенты

Инструмент нашёл три проблемы, но ни одну из них вы не можете найти в файле.

ИИ-аудит пишет уверенные выводы, но отличить реальную проблему от догадки модели вы не можете.
Вывод приходит без источника, и чтобы проверить его, приходится переделывать аудит вручную.
В списке снова появляются посторонние замечания, среди которых теряется важный вывод.
Вы бы больше доверяли инструменту, если бы он говорил меньше и мог указать на конкретную строку.
Вам нужно правило, которое инструмент не сможет обойти разговорами: нет цитаты, нет вывода.

Как я решаю

Что я делаю

Делаю проверки и аудиты, в которых каждый вывод подтверждён дословной цитатой из источника. Сначала сканер собирает доказательства по заданным правилам. Модель читает их и пишет выводы. Верификатор отбрасывает всё без дословной цитаты. Дополнительная проверка без ИИ убирает посторонние замечания модели. В отчёте остаётся меньше выводов, но каждый можно проверить по источнику.

Так устроен мой ИИ-аудит трекинга. Я откалибровал его на реальных входных данных. Отбрасывание неподтверждённых выводов делает отчёт пригодным для работы.

Процесс

Как это работает

Собираю доказательства без ИИ: точный текст вокруг каждого сигнала, с жёстким ограничением размера всего набора.
Даю модели только этот набор. Использую промпт с историей версий, основную и запасную модели, повторные попытки и дневной лимит расходов.
Требую точную цитату из источника для каждого вывода.
Отбрасываю выводы без цитаты верификатором, а посторонние замечания убираю дополнительной проверкой без ИИ.
Ставлю оценку по шкале A–F. Если внешних данных не хватает, показываю «needs connection» (нужно подключение).
Передаю отчёт: выводы с цитатами и список того, что осталось неизвестным, с причинами.

Передача

Что вы получаете

Проверка, в которой у каждого вывода есть дословная цитата; всё остальное отбрасывается, прежде чем вы это увидите.
Набор доказательств, собранный по заданным правилам до запуска модели. Она читает только этот текст.
Версионированный промпт, откалиброванный на реальных входных данных, запасная модель, повторные попытки и дневной лимит расходов.
Честный статус «needs connection» вместо угаданного вердикта.
Оценка и отчёт, а не стена непроверяемых утверждений.

На чём сделаноЧастей: 11

Сканер и сборщик доказательств по заданным правилам
промпт с историей версий
основная и запасная модели
верификатор дословных цитат
дополнительные проверки без ИИ
отчёт с оценкой и автоматические тесты на каждом этапе
Моя реализация использует TypeScript
Fastify
Prisma/PostgreSQL
ClickHouse
бэкенд на Next.js и vitest

Подтверждение

Примеры работ и результаты

До → после

Раньше одна метрика пайплайна показывала 0% на 58 из 58 магазинов из-за расчёта через вычитание. Аналитик мог выдавать выводы без цитат. Я переписал метрику, ввёл обязательную дословную цитату и откалибровал промпт на 26 действующих публичных магазинах. Работал над системой с 2026-08 по 2026-09.

Fixel Pixel AI Tracking Audit

в продакшене

правило no quote, no finding: набор доказательств, собранный без ИИ, LLM-аналитик и верификатор, который отбрасывает выводы без дословной цитаты. Калибровка на 26 публичных магазинах.

Fixel Pixel 2.0

в продакшене

источник данных для аудита: браузерная и серверная доставка с подтверждением по каждому событию и сверкой с заказами.

Отзыв клиента

Клиентских цитат здесь нет. Отзывы о моей работе относятся к трекингу и автоматизации. Они не подтверждают опыт ИИ-аудитов.

Что можно посмотреть

Воссозданная схема пайплайна: сканер по заданным правилам → набор доказательств → ИИ-аналитик → верификатор дословных цитат с дополнительными проверками без ИИ → отчёт. На схеме виден шаг отбрасывания выводов. Пример построен на синтетическом магазине без клиентских данных.

Это мой продукт. Я основатель Fixel Pixel. Цифры описывают объём проверок и работу пайплайна, к клиентским результатам они не относятся.

Цена и сроки

Сколько стоит и как идёт работа

Такую проверку делаю как Custom Engineering Project. После согласования требований к доказательствам письменно фиксирую объём и смету. Беру узкую задачу: основная работа приходится на правила проверки выводов. Если достаточно одной проверки без ИИ, предложу и сделаю её.

СметаФиксируется до начала работы

Цена: Custom Engineering Project от 100 000 ₽, объём и смета письменно после того, как мы согласуем правило доказательств для проверки. Обсуждение задачи бесплатно.
Сроки: Custom Engineering Project: объём и смету фиксирую письменно. До подключения модели согласуем, чем подтверждать выводы и какие проверки выполнять без ИИ.
Первый шаг: Опишите задачу. Я отвечу в течение одного рабочего дня и подскажу, что делать дальше. Первый ответ бесплатный.

Опишите похожую задачу

Заметка Даниилаперед началом работы

Когда это не нужно

Если выводов мало и их легко проверить вручную или человек уже читает каждую строку, отдельный верификатор избыточен. Он окупается на больших источниках: сотнях страниц, событий или строк фида, где неверный вывод подрывает доверие. Убирать проверку цитат ради скорости я не предлагаю: она определяет работу этой системы.

Даниил

Вопросы

Что об этом спрашивают

ИИ что-нибудь решает сам?

Нет. Модель получает фиксированный набор доказательств. Верификатор отбрасывает выводы без дословной цитаты. Это проверка в коде, а не просьба к модели в промпте.

Что происходит, если цитаты нет?

Вывод отбрасывается, а не смягчается. Если доказательств для оценки не хватает, в отчёте будет статус «needs connection» (нужно подключение) вместо догадки.

Строгое правило не пропустит реальные проблемы?

Иногда да. Правило сознательно жертвует полнотой ради доверия. Если проверка должна находить всё, рядом с моделью добавляется детерминированное правило, а порог по цитате не снижается.

Как вы контролируете стоимость и дрейф?

Версионированный промпт, основная и запасная модели, повторные попытки, дневной лимит и детерминированный фильтр для нерелевантного шума. Стоимость одного прогона уточняется при оценке объёма; обещаний по ней я не даю.

Можно ли запустить это на наших данных и оставить всё внутри компании?

Это определим при оценке работ. Схема подходит и для модели у провайдера, и для модели на своей инфраструктуре. Куда можно передавать данные, решаем с вами до разработки.