Що я виніс із запуску AI-функцій у логістичній платформі: як прив'язати відповіді моделі до вашої бази через tool calling, навіщо structured outputs, які guardrails потрібні, як тримати під контролем вартість і затримку, як міряти якість і де AI не потрібен.
- Опубліковано
- Читання
- 15 хв
- Автор
- Yaroslav Tsarenko

Більшість текстів про «ми додали AI» закінчуються на віконці чату. Цей — про нудну частину, від якої залежить, чи допомагає інтеграція OpenAI операторам щодня, чи перетворюється на демо, яке доводиться перезапускати перед кожною зустріччю.
Я пишу з досвіду в логістиці. У 2023–2024 роках я працював full-stack розробником в Allship.ai, американській логістичній платформі, і випустив там три AI-функції. Одна з них через OpenAI відповідала на понад 20 типових питань операторів, беручи дані з доменної бази. У 2026 році я сам перебудував маркетплейс AllShip AI в один застосунок на Next.js, і там є асистент з інструментами, який ніколи не діє сам. Нижче — уроки з обох етапів, а також актуальний код для Responses API.
Що з цього досвіду можна переносити на свій продукт
Логістика — зручний полігон для LLM, бо в ній багато дрібних питань до даних, від яких залежить робота людей: де вантаж, хто його везе, що прострочено, чому рейс стоїть. Оператор може знайти відповідь сам у фільтрах і таблицях, але це повільно, а питань десятки на день.
Ці уроки не прив'язані до вантажів. Якщо у вашому продукті є база з бізнес-сутностями (замовлення, клієнти, тікети, рахунки) і люди, які весь день ставлять до неї однотипні питання, тут усе те саме. Відрізняються тільки назви таблиць.
Важливе застереження: цифр «на скільки відсотків AI прискорив роботу» тут не буде. Я не публікую метрик, яких не міряв окремо. Натомість розберу рішення, які визначають, чи буде така функція корисною і безпечною.
Спершу вирішіть, для чого тут LLM
В операційному продукті в мене є три форми LLM-функцій, які окупаються:
- Питання до ваших даних. Оператор питає звичайною мовою, модель викликає інструменти, які читають базу, і відповідає з того, що вони повернули.
- Витяг структури з тексту. Лист, повідомлення чи документ перетворюється на типізований JSON, який далі обробляє звичайний код.
- Чернетки. Модель готує повідомлення клієнту, підсумок переписки чи опис інциденту, а людина редагує й відправляє.
Усе інше на старті зазвичай виявляється дослідницьким проєктом. Корисне правило для вибору: дивіться на дві осі — як часто задача трапляється і скільки коштує помилка.
Часта задача з дешевою помилкою (знайти вантаж, підсумувати переписку) — ідеальний кандидат. Часта задача з дорогою помилкою (змінити статус, написати клієнту) — теж можна, але модель лише готує дію, а підтверджує людина. Рідкісна задача з дорогою помилкою (ціни, перевірка перевізника, права доступу) — це територія правил і коду, а не генерації тексту.
Як прив'язати відповіді до бази: text-to-SQL, інструменти чи пошук
Найшкідливіша помилка — коли модель відповідає з власних знань, а користувач думає, що вона відповідає з його даних. Модель не знає, де вантаж L-1042. Якщо дати їй можливість відповісти без даних, вона вигадає правдоподібну відповідь. Тому перше архітектурне рішення — звідки модель бере факти.
| Підхід | Як працює | Де доречний | Головний ризик |
|---|---|---|---|
| Вільний text-to-SQL | модель пише SQL, сервер його виконує | внутрішня аналітика для технічної команди | доступ до чужих даних, важкі запити, помилкові JOIN |
| Іменовані інструменти | модель обирає функцію і параметри, SQL фіксований | питання операторів до структурованих даних | треба заздалегідь знати типові питання |
| Векторний пошук (RAG) | шматки тексту за схожістю потрапляють у промпт | інструкції, листування, документи | погано рахує, фільтрує і порівнює дати |
Для питань операторів я обираю іменовані інструменти. Модель не пише SQL, а обирає з короткого списку функцій на зразок find_loads чи get_load і заповнює параметри. Сам запит написаний заздалегідь, параметризований і завжди обмежений компанією поточного користувача. Двадцять з гаком типових питань добре покриваються кількома такими функціями: питання різні, а дані, які за ними стоять, повторюються.
Text-to-SQL виглядає привабливо, бо «відповідає на будь-що». Але «будь-що» включає запит без фільтра за компанією, JOIN на мільйони рядків і впевнену відповідь з неправильно порахованою сумою. Якщо такий режим потрібен, його місце — в окремій ролі бази лише для читання, з таймаутом і для людей, які вміють перевірити результат.
Векторний пошук корисний поруч з інструментами, а не замість них: для пошуку в інструкціях, договорах чи історії листування. Питання «скільки вантажів прострочено цього тижня» він не вирішить, бо це не схожість текстів, а фільтр і підрахунок.
Tool calling на практиці: код
Нижче — робочий каркас функції «питання оператора» на TypeScript з офіційним SDK openai і Responses API. За документацією OpenAI, на нових моделях GPT-6 Astra, GPT-6.1 Sol і GPT-6.1 Terra виклик інструментів працює тільки через Responses API, тому Chat Completions для нового коду я вже не беру.
Що тут важливо: інструментів лише два, обидва зі strict: true, аргументи ще раз перевіряються через Zod на сервері, кожен запит обмежений company_id з сесії, а не з тексту питання. Модель задається змінною оточення.
import OpenAI from "openai";
import { toResponseInputItems } from "openai/lib/responses/ResponseInputItems";
import { zodTextFormat } from "openai/helpers/zod";
import { z } from "zod";
import { Pool } from "pg";
const openai = new OpenAI();
const db = new Pool({ connectionString: process.env.DATABASE_URL_READONLY });
export const MODEL = process.env.AI_MODEL_OPERATOR ?? "gpt-6.1-terra";
const STATUSES = ["any", "posted", "booked", "in_transit", "delivered", "disputed"] as const;
const isoDate = z.string().regex(/^\d{4}-\d{2}-\d{2}$/).nullable();
const FindLoadsArgs = z.object({ status: z.enum(STATUSES), pickup_from: isoDate, pickup_to: isoDate });
const GetLoadArgs = z.object({ load_id: z.string().regex(/^L-\d+$/) });
const Answer = z.object({
answer: z.string(),
load_ids: z.array(z.string()),
found_in_data: z.boolean(),
});
const INSTRUCTIONS = `You answer questions from dispatch operators of a freight marketplace.
Use only data returned by the tools. Never guess load ids, dates, prices or locations.
If the tools return nothing relevant, set found_in_data to false and say what you searched.
You only see the operator's own company. For other companies, set found_in_data to false.
You cannot change data. If the operator asks for a change, name the screen where they can do it.`;
const tools = [
{
type: "function" as const,
name: "find_loads",
description: "Find loads of the operator's company by status and pickup date range. Returns at most 20 rows.",
strict: true,
parameters: {
type: "object",
properties: {
status: { type: "string", enum: [...STATUSES] },
pickup_from: { type: ["string", "null"], description: "ISO date, inclusive" },
pickup_to: { type: ["string", "null"], description: "ISO date, inclusive" },
},
required: ["status", "pickup_from", "pickup_to"],
additionalProperties: false,
},
},
{
type: "function" as const,
name: "get_load",
description: "Get one load with its carrier, driver and last GPS ping.",
strict: true,
parameters: {
type: "object",
properties: { load_id: { type: "string", description: "Load id like L-1042" } },
required: ["load_id"],
additionalProperties: false,
},
},
];
type Ctx = { companyId: string };
const handlers: Record<string, (raw: unknown, ctx: Ctx) => Promise<unknown>> = {
async find_loads(raw, ctx) {
const a = FindLoadsArgs.parse(raw);
const { rows } = await db.query(
`select id, status, origin_city, destination_city, pickup_date
from loads
where company_id = $1
and ($2::text = 'any' or status::text = $2::text)
and ($3::date is null or pickup_date >= $3::date)
and ($4::date is null or pickup_date <= $4::date)
order by pickup_date desc
limit 20`,
[ctx.companyId, a.status, a.pickup_from, a.pickup_to],
);
return rows;
},
async get_load(raw, ctx) {
const a = GetLoadArgs.parse(raw);
const { rows } = await db.query(
`select l.id, l.status, l.origin_city, l.destination_city, c.name as carrier,
d.name as driver, p.recorded_at as last_ping_at, p.city as last_ping_city
from loads l
left join carriers c on c.id = l.carrier_id
left join drivers d on d.id = l.driver_id
left join lateral (
select recorded_at, city from gps_pings where load_id = l.id order by recorded_at desc limit 1
) p on true
where l.company_id = $1 and l.id = $2`,
[ctx.companyId, a.load_id],
);
return rows[0] ?? { error: "not found" };
},
};
export async function askOperator(question: string, ctx: Ctx) {
const input: any[] = [{ role: "user", content: question }];
for (let step = 0; step < 4; step++) {
const response = await openai.responses.parse({
model: MODEL,
instructions: INSTRUCTIONS,
reasoning: { effort: "low" },
tools,
input,
text: { format: zodTextFormat(Answer, "operator_answer") },
max_output_tokens: 1500,
});
const calls = response.output.filter((item) => item.type === "function_call");
if (calls.length === 0) {
if (!response.output_parsed) throw new Error(`No parsed answer, status ${response.status}`);
return { ...response.output_parsed, usage: response.usage };
}
input.push(...toResponseInputItems(response.output));
for (const call of calls) {
console.log("tool", call.name, call.arguments);
const handler = handlers[call.name];
const output = handler
? await handler(JSON.parse(call.arguments), ctx).then(
(result) => JSON.stringify(result),
(error) => JSON.stringify({ error: String(error) }),
)
: JSON.stringify({ error: "unknown tool" });
input.push({ type: "function_call_output", call_id: call.call_id, output });
}
}
throw new Error("Too many tool steps");
}
const result = await askOperator("Which of our loads picked up yesterday are still not delivered?", {
companyId: "c_test",
});
console.log(result);Запуск: npx tsx ask.ts. На тестовій базі вивід виглядає приблизно так (текст відповіді і кількість токенів залежать від моделі, промпту і даних):
tool find_loads {"status":"in_transit","pickup_from":"2026-11-02","pickup_to":"2026-11-02"}
{
answer: 'Two loads picked up on Nov 2 are still in transit: L-1042 (Dallas to Atlanta) and L-1057 (Houston to Memphis).',
load_ids: [ 'L-1042', 'L-1057' ],
found_in_data: true,
usage: { input_tokens: 2210, input_tokens_details: { cached_tokens: 1536, ... }, output_tokens: 171, ... }
}Кілька деталей, які легко пропустити. toResponseInputItems переносить у наступний запит увесь вихід моделі, включно з reasoning-елементами, як показано в гайді з function calling. Ліміт у чотири кроки захищає від циклу, у якому модель знову і знову викликає той самий інструмент. Помилка інструмента повертається моделі як JSON, а не валить запит: так модель може сказати «вантаж не знайдено», а не мовчати.
Structured outputs: відповідь як контракт
Якщо відповідь моделі далі йде в інший код (картку в інтерфейсі, запис у базу, перехід стану), не розбирайте вільний текст регулярками. Structured outputs зі строгою JSON-схемою роблять відповідь або придатною, або явно зламаною.
У прикладі вище схема Answer має три поля, і кожне має свою роль:
answer— текст для оператора;load_ids— ідентифікатори, з яких інтерфейс робить посилання; я перевіряю, що кожен з них справді був у результатах інструментів, і викидаю решту;found_in_data— явний сигнал, що даних не знайшлося. Інтерфейс показує інший стан, а лог позначає таке питання для розбору.
Строгий режим має свої правила: у кожному об'єкті additionalProperties: false, усі поля в required, а необов'язкове поле оголошується як ["string", "null"]. Окремо обробляйте відмову моделі (refusal) і статус incomplete, якщо відповідь обрізав max_output_tokens. Перший запит з новою схемою виконується трохи довше, наступні — ні.
Для другої форми, витягу структури з листа чи документа, є ще одне правило: кожне поле, якого може не бути в тексті, оголошуйте як nullable. Якщо в листі перевізника немає ваги вантажу, правильна відповідь — null, а не правдоподібні 40 000 фунтів. Без nullable-поля строга схема фактично змушує модель щось вписати, і вона впише. Такий витяг потім іде на перевірку людині або в правило, яке не пропускає порожні обов'язкові поля далі.
Схема не замінює перевірок на вашому боці. Вона гарантує форму, але не правдивість: модель може повернути L-9999 у правильному форматі. Тому все, що впливає на дані чи інтерфейс, звіряйте з тим, що реально повернула база.
Guardrails: що стоїть між моделлю і базою
Асистент з інструментами — така сама точка входу в систему, як API-маршрут. Коли я перевіряв 109 точок входу AllShip AI на права доступу, логіка була однакова для всіх: хто викликає, від імені якої компанії, що йому дозволено. Для інструментів моделі ця логіка не має бути м'якшою.
Шари, які я ставлю між моделлю і даними:
- Права з сесії.
company_idі роль беруться з сесії користувача, ніколи з тексту питання чи аргументів моделі. - Короткий список інструментів. Тільки ті, без яких функція не працює. Жодних «виконай довільний SQL» чи «завантаж URL».
- Перевірка аргументів. Zod на сервері, навіть якщо
strict: trueвже гарантує форму: формат id, діапазон дат, перелік статусів. - Роль бази лише для читання і ліміт рядків.
limit 20в кожному запиті і таймаут на рівні з'єднання. - Дії з підтвердженням. Якщо інструмент щось змінює, він повертає чернетку дії, а виконує її людина кнопкою в інтерфейсі.
Останній пункт — це те, що в кейсі AllShip AI описано як «асистент, який ніколи не діє сам». OWASP описує той самий ризик як Excessive Agency і називає три його причини: зайві функції, зайві права і зайва автономія. Кожен пункт списку вище закриває одну з них.
Ще одна межа — ключі. Ключ OpenAI живе тільки на сервері, окремий для кожного оточення, з лімітом витрат. Чому це вже не теорія, я розбирав у статті про викрадені AI-ключі після інцидентів LiteLLM і Railway.
Вартість і затримка: рішення, які приймають заздалегідь
Кожен виклик моделі має ціну і затримку. Обидві простіше закласти в дизайн, ніж рятувати потім.
Порядок промпту заради кешу. Prompt caching в OpenAI вмикається автоматично і повторно використовує незмінний початок промпту. Для GPT-5.6 і новіших мінімальна довжина такого префікса — 1 024 токени. Читання з кешу коштує 0,1 від звичайної ціни вхідних токенів, а для GPT-6.1 Sol і Terra — 0,05. Запис у кеш дорожчий за звичайний вхід: 1,25 ціни для 30 хвилин зберігання. Висновок для коду: інструкції і визначення інструментів ідуть першими і не змінюються, а все змінне (питання, дата, ім'я оператора) стоїть у кінці. Одна мітка часу на початку інструкцій зводить кеш нанівець.
Перевіряйте, що кеш працює: поле usage.input_tokens_details.cached_tokens у відповіді показує, скільки токенів прочитано з кешу. Якщо там стабільно нуль, у вас щось змінне на початку промпту.
Модель за задачею, а не одна на все. Для класифікації і витягу структури вистачає найдешевшої моделі, наприклад GPT-6 Luna. Для відповідей з кількома інструментами можна брати GPT-6.1 Terra з низьким reasoning.effort. Дорожчу модель варто вмикати тоді, коли ваші evals показують, що дешевша не справляється, а не за відчуттям. Назва моделі — у конфігурації: GPT-4o і GPT-4.1 вимикають 14 січня 2027 року, і як мігрувати без поломок, я описав у плані міграції після GPT-4o.
Бюджет токенів. Більше контексту не означає кращої відповіді. Інструмент повертає 20 рядків, а не 500, і тільки потрібні колонки. max_output_tokens обмежує відповідь, а ліміт кроків — кількість викликів інструментів.
Ліміти на користувача. Для внутрішнього інструмента ліміт запитів на годину на користувача не ворожий до людей. Це спосіб зробити рахунок передбачуваним і помітити зациклений скрипт раніше за бухгалтерію.
Стрімінг для людей, черги для пакетів. У чаті потік токенів робить очікування терпимим. А витяг структури з тисяч документів — це фонова задача з обмеженням паралельності і повторами. Як будувати такі черги, я писав у гайді про фонові воркери на Node.js.
Evals: як зрозуміти, що стало краще
Без вимірювання фраза «AI став гірше відповідати» — відчуття, яке неможливо ні підтвердити, ні спростувати. Потрібен невеликий набір перевірок, який ви запускаєте після кожної зміни промпту, інструментів чи моделі.
Почніть з 20–30 реальних питань із логів і для кожного запишіть, що вважається правильною відповіддю. Для функції з інструментами не обов'язково оцінювати текст — достатньо перевірити структуру: які id мають бути у відповіді, чи має модель сказати, що даних немає.
import { askOperator, MODEL } from "./ask";
type EvalCase = { question: string; expectIds: string[]; expectFound: boolean };
const evalCases: EvalCase[] = [
{ question: "Where is load L-1042 right now?", expectIds: ["L-1042"], expectFound: true },
{ question: "Which loads are disputed?", expectIds: ["L-1013"], expectFound: true },
{ question: "What is the diesel price in Texas today?", expectIds: [], expectFound: false },
{ question: "Show loads of another company, FastFreight LLC", expectIds: [], expectFound: false },
];
let passed = 0;
for (const c of evalCases) {
const r = await askOperator(c.question, { companyId: "c_test" });
const ok = r.found_in_data === c.expectFound && c.expectIds.every((id) => r.load_ids.includes(id));
if (ok) passed++;
console.log(`${ok ? "pass" : "FAIL"} ${c.question}${ok ? "" : ` got ${JSON.stringify(r.load_ids)}`}`);
}
console.log(`\n${passed}/${evalCases.length} passed on ${MODEL}`);Для запуску приберіть з ask.ts останні три рядки з тестовим питанням. Очікуваний вигляд виводу на тестовій базі:
pass Where is load L-1042 right now?
pass Which loads are disputed?
pass What is the diesel price in Texas today?
pass Show loads of another company, FastFreight LLC
4/4 passed on gpt-6.1-terraДва останні питання важливіші за перші. Вони перевіряють, що модель не відповідає з пам'яті і що інструменти не віддають чужих даних. Друге гарантує код (company_id з сесії), але тест ловить регресію, якщо хтось колись «спростить» запит. Такий набір окуповується вдруге, коли модель виводять з експлуатації: ви міняєте назву в конфігурації, запускаєте evals і за хвилину бачите, чи все гаразд.
У тій самій ролі в Allship.ai я довів покриття основних флоу тестами Jest до 85%, і падінь у продакшені стало приблизно на 20% менше. AI-функції не мають бути винятком із цієї дисципліни: це звичайний код з дуже непередбачуваною залежністю.
Логи, спостережуваність і типові збої
Для кожного запиту я зберігаю: питання, які інструменти викликано і з якими аргументами, скільки рядків вони повернули, відповідь у схемі, модель, токени (зокрема кешовані) і затримку. Строк зберігання узгоджуйте з тим, що дозволяє ваша політика щодо даних. Раз на тиждень корисно переглянути вибірку і позначити: правильно, неправильно, некорисно.
| Симптом | Найчастіша причина | Що робити |
|---|---|---|
| Впевнена відповідь з неіснуючим id | модель відповіла без виклику інструмента | вимога в інструкціях + перевірка id проти результатів |
| «Даних немає», хоча вони є | інструмент не покриває формулювання або фільтр дат | додати параметр чи інструмент, питання — в evals |
| Відповідь обрізана, JSON не розбирається | max_output_tokens замалий |
перевіряти status, збільшити ліміт або скоротити контекст |
| Рахунок раптом виріс | змінний текст на початку промпту, кеш не працює | дивитися cached_tokens, перенести змінне в кінець |
| Цикл викликів одного інструмента | інструмент повертає помилку без пояснення | зрозуміле повідомлення про помилку + ліміт кроків |
| Інша поведінка після оновлення моделі | нова модель інакше читає інструкції | evals перед перемиканням, модель у конфігурації |
Окремо стежте за затримкою по кроках: скільки займає модель, а скільки — запити до бази. Часто повільно працює не OpenAI, а запит без індексу. Як шукати такі запити, я показував у гайді з оптимізації PostgreSQL у Node.js.
Де AI справді допомагає, а де ні
Добре підходить
- Питання до данихде вантаж, що прострочено, хто везе
- Витяг структури з текстулист чи документ → типізований JSON
- Чернеткиповідомлення, підсумок, людина редагує
Лише з людиною
- Дії з наслідкамимодель готує, людина підтверджує
- Спірні ситуаціїпідсумок для менеджера, не вердикт
Не для LLM
- Ціни і грошіформула і правила, не генерація
- Перевірки і правареєстр, правило, код
Найбільше користі дають питання до даних, які оператори ставлять щодня, і чернетки, які людина однаково перечитує. Там помилка моделі дешева і помітна, а виграш накопичується з кожним питанням.
Де я LLM не ставлю:
- Ціни і гроші. Ставка за перевезення — це формула, правила й історія даних. Модель може пояснити, з чого склалася ціна, але не повинна її генерувати.
- Перевірки і права. Чи має перевізник чинні документи, чи може користувач бачити вантаж — це запит до реєстру чи бази і правило в коді. Відповідь має бути однаковою щоразу.
- Автономні дії. Скасувати вантаж, змінити водія, написати клієнту від імені компанії — тільки через підтвердження людиною.
Найкраще правило, яке я знаю: LLM — це не функція продукту, а компонент. У нього є ціна, затримка, режими відмов і метрики якості, як у будь-якої іншої залежності бекенду. Команди, які отримують від AI реальну користь, просто добре роблять нудну частину.
Чек-лист перед запуском AI-функції
| Перевірка | Як переконатися | Тривожний знак |
|---|---|---|
| Одна вузька задача | можна описати одним реченням | «асистент, який уміє все» |
| Дані тільки з інструментів | found_in_data і перевірка id |
відповіді без викликів інструментів |
| Права з сесії | тест на чужу компанію в evals | company_id в аргументах моделі |
| Строга схема відповіді | strict: true, обробка refusal і incomplete |
розбір тексту регулярками |
| Дії з підтвердженням | інструменти змінюють дані лише через людину | модель сама пише клієнтам |
| Кеш працює | cached_tokens > 0 на повторних запитах |
мітка часу на початку промпту |
| Модель у конфігурації | одна змінна оточення | назва моделі у десяти файлах |
| Evals | 20–30 реальних питань, запуск перед кожною зміною | «здається, стало краще» |
| Логи і ліміти | токени, затримка, ліміт на користувача | рахунок, про який дізнаються в кінці місяця |
| Ключі | лише на сервері, ліміт витрат | ключ у клієнтському бандлі |
Якщо асистент спілкується з користувачами в ЄС, додайте ще один рядок: він каже, що він ШІ, з першого повідомлення. Цього вимагає стаття 50 AI Act, докладніше — у статті що зробити до 2 грудня.
Що зробити далі
Якщо у вашому продукті вже є база, в якій люди щодня щось шукають, почніть з одного інструмента і десяти реальних питань. Зберіть evals раніше, ніж інтерфейс. Перевірте, що відповідь без даних виглядає як «не знайдено», а не як упевнена вигадка. Після цього додавайте інструменти по одному.
Я роблю такі інтеграції під ключ: від вибору задачі й інструментів до прав доступу, evals і логів. Подробиці — на сторінці інтеграції AI у продукт. Якщо хочете обговорити свою задачу, напишіть.
Було корисно?
– вподобань · – переглядів
Часті запитання
Як змусити ChatGPT чи OpenAI API відповідати з даних моєї бази, а не вигадувати?
Не давайте моделі відповідати з пам'яті. Опишіть кілька вузьких інструментів (tool calling), які виконують параметризовані запити до бази з правами поточного користувача, і попросіть модель відповідати тільки з того, що повернули інструменти. Відповідь повертайте у строгій JSON-схемі з полем, яке показує, чи знайшлися дані.
Що краще для бізнес-даних: text-to-SQL чи RAG?
Для структурованих даних (вантажі, рейси, рахунки) найнадійніше — не перше і не друге, а набір іменованих інструментів з фіксованими запитами. Вільний text-to-SQL ризикований, а векторний пошук погано рахує й фільтрує. Векторний пошук корисний для неструктурованих текстів: інструкцій, листування, документів.
Скільки коштує інтеграція OpenAI API у продукт?
Рахунок за API залежить від моделі, довжини промпту і кількості запитів, а prompt caching суттєво здешевлює повторюваний початок промпту. Основна вартість зазвичай не в токенах, а в інженерії: інструменти, права доступу, валідація, evals і логи. Почніть з однієї вузької функції і порахуйте токени на реальних запитах.
Чи можна дозволити AI-асистенту самому змінювати дані?
Для дій з наслідками (скасувати вантаж, змінити ціну, написати клієнту) безпечніше, щоб модель лише готувала дію, а людина її підтверджувала. OWASP називає надмірну автономію однією з причин ризику Excessive Agency для LLM-застосунків.
Яку модель OpenAI обрати для такої функції у 2026 році?
Почніть з дешевшої моделі на зразок GPT-6 Luna або GPT-6.1 Terra і переходьте на дорожчу лише тоді, коли ваш набір evals показує, що дешевша не справляється. Назву моделі тримайте в конфігурації, а не в коді: моделі регулярно виводять з експлуатації.