«В прошлом месяце счёт за API был $1 200. А в этом — $3 600?»
Этот кошмар знаком каждому разработчику ИИ-приложений. Расходы на LLM API редко растут линейно: один неоптимизированный цикл, один забытый кэш, одна неудачно выбранная модель — и счёт мгновенно вырастает в разы.
В этой статье мы разберём структуру счёта, пройдёмся по всем стратегиям контроля затрат и дадим конкретные решения и рекомендации по инструментам.
Из чего складывается счёт за LLM API
Чтобы контролировать расходы, сначала нужно понять, куда уходят деньги:
1. Стоимость токенов
Основная составляющая:
- Входные токены: промпт, который вы отправляете в API
- Выходные токены: ответ, который вы получаете
- Токены чтения из кэша: попадания в кэш (обычно 10% от полной цены)
2. Объём запросов
Даже если на каждый запрос приходится мало токенов, расходы разгоняет само количество запросов. В агентных рабочих процессах одна задача может включать десятки вызовов API.
3. Выбор модели
Цены на модели различаются колоссально:
| Модель | Вход/1M | Выход/1M | Относительная стоимость |
|---|---|---|---|
| Claude Haiku 4.5 | $0.80 | $4.00 | 1x |
| Claude Sonnet 4.7 | $3.00 | $15.00 | ~3.8x |
| Claude Opus 4.8 | $15.00 | $75.00 | ~18.8x |
4. Повторы после сбоев
Неудачные вызовы API запускают повторные попытки. Плохая логика повторов способна умножить ваши расходы именно тогда, когда что-то идёт не так.
5 самых частых причин взрывного роста затрат
1. Вызовы в цикле без кэша
Сценарий: агент в цикле раз за разом отправляет один и тот же контекст и каждый раз платит полную цену. Последствия: расход токенов выше в 5-10 раз. Решение: используйте шлюз с кэшированием (например, TeamoRouter).
2. Большие модели для простых задач
Сценарий: простые задачи классификации или извлечения данных отправляются на Opus. Последствия: в 10-20 раз дороже, чем на Haiku. Решение: автоматическая маршрутизация по сложности задачи.
3. Слишком много повторных попыток
Сценарий: неудачные вызовы API повторяются 5 раз без экспоненциальной задержки. Последствия: пятикратный скачок расходов в периоды нестабильности. Решение: умная стратегия повторов (экспоненциальная задержка + ограничение числа попыток).
4. Нет мониторинга и оповещений
Сценарий: бюджетных оповещений нет — о перерасходе вы узнаёте из счёта за месяц. Последствия: невозможно вовремя вмешаться при аномальном потреблении. Решение: многоуровневые бюджетные оповещения (50%, 80%, 100%).
5. Неоптимизированная длина промпта
Сценарий: промпты набиты бесполезной информацией, избыточной историей и многословными системными инструкциями. Последствия: в 2-10 раз больше входных токенов на запрос. Решение: оптимизируйте длину промпта, обрезайте контекст.
Кэширование на практике
Кэширование — самый эффективный способ снизить расходы на LLM API.
Семантический кэш и кэш по точному совпадению
| Тип кэша | Как работает | Лучше всего подходит для | Реализация в TeamoRouter |
|---|---|---|---|
| По точному совпадению | Возвращает закэшированный ответ при точном совпадении запроса | Фиксированные шаблоны промптов | Базовый слой |
| Семантический | Возвращает закэшированный ответ на семантически близкие запросы | Агентные рабочие процессы (то же содержание, другая формулировка) | Ключевая возможность, доля попаданий 99.3% |
Почему семантический кэш особенно эффективен для агентов
Особенности агентных рабочих процессов:
- Более 80% контекста повторяется (системные промпты, история диалога)
- Повторяющееся содержимое каждый раз немного меняется (добавляются новые раунды)
Семантическое кэширование распознаёт такие запросы — «по сути те же, по форме чуть другие» — и резко повышает долю попаданий.
Как TeamoRouter достигает доли попаданий в кэш 99.3%
Кэширование в TeamoRouter оптимизировано под агентные сценарии:
- Умное сегментированное кэширование: промпт делится на динамическую и статическую части; кэшируется только статическая
- Сопоставление по семантической близости: точное совпадение не требуется — достаточно семантического сходства
- Предварительный прогрев: типовые шаблоны запросов кэшируются заранее
- Изоляция кэша: кэш изолирован по пользователям, чтобы исключить взаимное загрязнение
Стратегия маршрутизации моделей
Не каждой задаче нужна самая мощная модель. Автоматическая маршрутизация по сложности задачи заметно сокращает расходы.
Пример стратегии маршрутизации
| Тип задачи | Рекомендуемая модель | Цена относительно Opus | Экономия |
|---|---|---|---|
| Простые вопросы и ответы, извлечение данных | Claude Haiku | ~5% | 95% |
| Генерация кода, отладка | Claude Sonnet | ~20% | 80% |
| Сложные рассуждения, длинные тексты | Claude Opus | 100% | 0% |
Оптимизация запросов
Пакетная обработка
Объединяйте несколько независимых запросов в один пакет. Некоторые провайдеры дают скидку на пакетные запросы, а заодно сокращается общее число обращений.
Стриминг
Включите стриминг, чтобы сократить время до первого токена. Напрямую стоимость токенов это не снижает, но чем лучше UX, тем меньше повторов из-за таймаутов.
Сжатие промптов
- Обрезайте историю: оставляйте только последние раунды контекста
- Упрощайте системные промпты: убирайте лишние инструкции
- Структурируйте промпты: шаблоны вместо естественного языка
Мониторинг расходов и оповещения
Уровни бюджетных оповещений
| Уровень | Порог | Действие |
|---|---|---|
| Напоминание | 50% бюджета | Письмо/уведомление |
| Предупреждение | 80% бюджета | Уведомление + ограничение некритичных запросов |
| Потолок | 100% бюджета | Приостановка доступа к API |
Анализ отчётов об использовании
Регулярно проверяйте:
- Дневную и недельную динамику расхода токенов
- Изменения доли попаданий в кэш
- Распределение расходов по самым затратным моделям
- Рейтинг потребления по пользователям и ключам
Реальный кейс: с $1 200 в месяц до $180 в месяц
Исходные данные
ИИ-помощник для написания текстов от инди-разработчика, работающий на Claude API, — ежемесячный счёт $1 200–1 500.
Шаги оптимизации
- Переход на шлюз TeamoRouter (кэширование + маршрутизация)
- Настройка семантического кэша (более 80% повторяющихся запросов попадают в кэш)
- Настройка маршрутизации моделей (простые задачи → Sonnet, сложные → Opus)
- Оптимизация промптов (упрощение системных промптов, сжатие истории)
Результаты
| Метрика | До | После | Улучшение |
|---|---|---|---|
| Ежемесячные расходы на API | $1 200 | $180 | -85% |
| Доля попаданий в кэш | 0% (без кэша) | 85% | - |
| Средняя стоимость запроса | $0.12 | $0.018 | -85% |
| Время ответа пользователю | 1.2s | 0.8s | -33% |
FAQ
Истекает ли срок жизни кэша?
TeamoRouter использует разумные настройки TTL (времени жизни). Срок часто запрашиваемых записей кэша продлевается автоматически; редко запрашиваемые записи удаляются.
Может ли кэш отдавать устаревшие ответы?
Ответы API не меняются стремительно. В кэше TeamoRouter есть инвалидация по версии модели: когда модели обновляются, записи кэша автоматически становятся недействительными.
Нужно ли менять код, чтобы использовать кэширование на шлюзе?
Нет. Кэш TeamoRouter полностью прозрачен для вызывающей стороны. Просто направьте URL своего API на TeamoRouter — кэширование заработает автоматически.