Пороги токенов

В разделе «Политики» настраиваются пороги токенов, используемые для контроля размера отдельных запросов и ответов моделей. Пороги позволяют ограничивать и отслеживать потенциально аномальные или ресурсоемкие взаимодействия с моделью на уровне одного обращения.

Поддерживается настройка порогов для:

• Input — количество токенов во входящем запросе пользователя;
• Output — количество токенов в ответе модели.

Можно задать несколько уровней критичности:

• Low — предупреждающий уровень, сигнализирующий о приближении к лимиту;
• High — указывает на существенное превышение ожидаемого размера сообщения;
• Critical — критический порог, требующий немедленного внимания и, при необходимости, блокирующих действий.

Проверка выполняется для каждого запроса отдельно, что позволяет точно контролировать размер входных и выходных сообщений, снижать риск злоупотреблений и поддерживать предсказуемое поведение AI-приложений.