Сценарій 1
Customer Support Resolution Agent
Агент підтримки на Claude Agent SDK обробляє повернення, спори по платежах і питання акаунтів. Доступ до бекенду через MCP-інструменти get_customer, lookup_order, process_refund, escalate_to_human. Ціль — 80%+ first-contact resolution.
Приклади питань
Домен 11 / 2
Дані продакшену показують: у 12% випадків агент пропускає get_customer і викликає lookup_order лише за іменем клієнта, що інколи призводить до помилкової ідентифікації акаунта й неправильних повернень. Яка зміна найефективніше вирішить цю проблему надійності?
AДодати programmatic prerequisite, що блокує lookup_order і process_refund до верифікованого customer ID
BПідсилити system prompt вимогою обов'язкової верифікації через get_customer перед операціями із замовленнями
CДодати few-shot приклади, де агент завжди першим викликає get_customer навіть за наявності номера замовлення
DВпровадити routing-класифікатор, що вмикає лише підмножину інструментів під конкретний тип запиту
✓ A — Коли критична бізнес-логіка вимагає певної послідовності (верифікація перед поверненням коштів), programmatic enforcement дає детерміновані гарантії: він блокує lookup_order і process_refund, доки get_customer не поверне верифікований customer ID. Prompt-підходи — підсилення system prompt чи few-shot приклади з пріоритетом get_customer — лишаються ймовірнісними й мають ненульову ймовірність недотримання. Routing-класифікатор вирішує доступність інструментів, а не їх обов'язковий порядок виконання.
Домен 22 / 2
Логи показують, що агент часто кличе get_customer на запити про замовлення (напр. «перевір моє замовлення #12345») замість lookup_order. Обидва інструменти мають мінімальні описи («Retrieves customer information» / «Retrieves order details») і приймають схожі формати ідентифікаторів. Який найефективніший перший крок?
AРозширити опис кожного інструмента: очікувані формати входу, приклади запитів, edge cases і чіткі межі застосування
BДодати 5–8 ретельних few-shot прикладів у system prompt, що скеровують order-запити саме на lookup_order
CРеалізувати окремий routing-шар, що парсить ввід і наперед обирає інструмент за ключовими словами
DОб'єднати обидва інструменти в один lookup_entity, що сам визначає потрібний бекенд за вводом
✓ A — Описи інструментів — основний механізм вибору для LLM. За мінімальних описів моделі бракує контексту, щоб розрізнити схожі інструменти; розширення опису форматами входу, прикладами запитів, edge cases і межами застосування б'є прямо в причину. Few-shot приклади додають токени, не усуваючи її. Окремий routing-шар з парсингом ключових слів — over-engineering, що обходить розуміння моделі. Злиття в lookup_entity — валідна, але важча архітектурна зміна, ніж потрібно для «першого кроку».