Skip to content

Що я виніс із запуску AI-функцій у логістичній платформі: як прив'язати відповіді моделі до вашої бази через tool calling, навіщо structured outputs, які guardrails потрібні, як тримати під контролем вартість і затримку, як міряти якість і де AI не потрібен.

Опубліковано
Читання
15 хв
Автор
Yaroslav Tsarenko
–переглядів
Темна карта з контурними лініями, маршрути між вузлами і світла лінія, що проходить через фільтр до точки призначення

Більшість текстів про «ми додали AI» закінчуються на віконці чату. Цей — про нудну частину, від якої залежить, чи допомагає інтеграція OpenAI операторам щодня, чи перетворюється на демо, яке доводиться перезапускати перед кожною зустріччю.

Я пишу з досвіду в логістиці. У 2023–2024 роках я працював full-stack розробником в Allship.ai, американській логістичній платформі, і випустив там три AI-функції. Одна з них через OpenAI відповідала на понад 20 типових питань операторів, беручи дані з доменної бази. У 2026 році я сам перебудував маркетплейс AllShip AI в один застосунок на Next.js, і там є асистент з інструментами, який ніколи не діє сам. Нижче — уроки з обох етапів, а також актуальний код для Responses API.

Що з цього досвіду можна переносити на свій продукт

Логістика — зручний полігон для LLM, бо в ній багато дрібних питань до даних, від яких залежить робота людей: де вантаж, хто його везе, що прострочено, чому рейс стоїть. Оператор може знайти відповідь сам у фільтрах і таблицях, але це повільно, а питань десятки на день.

Ці уроки не прив'язані до вантажів. Якщо у вашому продукті є база з бізнес-сутностями (замовлення, клієнти, тікети, рахунки) і люди, які весь день ставлять до неї однотипні питання, тут усе те саме. Відрізняються тільки назви таблиць.

Важливе застереження: цифр «на скільки відсотків AI прискорив роботу» тут не буде. Я не публікую метрик, яких не міряв окремо. Натомість розберу рішення, які визначають, чи буде така функція корисною і безпечною.

Спершу вирішіть, для чого тут LLM

В операційному продукті в мене є три форми LLM-функцій, які окупаються:

  1. Питання до ваших даних. Оператор питає звичайною мовою, модель викликає інструменти, які читають базу, і відповідає з того, що вони повернули.
  2. Витяг структури з тексту. Лист, повідомлення чи документ перетворюється на типізований JSON, який далі обробляє звичайний код.
  3. Чернетки. Модель готує повідомлення клієнту, підсумок переписки чи опис інциденту, а людина редагує й відправляє.

Усе інше на старті зазвичай виявляється дослідницьким проєктом. Корисне правило для вибору: дивіться на дві осі — як часто задача трапляється і скільки коштує помилка.

Правила і кодціни, перевірка перевізника,права доступуЧернетка + підтвердженнязміна статусу,повідомлення клієнтуПоки не варторідко і дешево:зробити вручнуНайкраще для LLMзнайти вантаж,підсумувати перепискувисоканизькаЦіна помилкирідкочастоЯк часто трапляється

Часта задача з дешевою помилкою (знайти вантаж, підсумувати переписку) — ідеальний кандидат. Часта задача з дорогою помилкою (змінити статус, написати клієнту) — теж можна, але модель лише готує дію, а підтверджує людина. Рідкісна задача з дорогою помилкою (ціни, перевірка перевізника, права доступу) — це територія правил і коду, а не генерації тексту.

Як прив'язати відповіді до бази: text-to-SQL, інструменти чи пошук

Найшкідливіша помилка — коли модель відповідає з власних знань, а користувач думає, що вона відповідає з його даних. Модель не знає, де вантаж L-1042. Якщо дати їй можливість відповісти без даних, вона вигадає правдоподібну відповідь. Тому перше архітектурне рішення — звідки модель бере факти.

Вільний text-to-SQLмодель пише SQL+відповідає на все−ризик чужих даних−важкі чи хибні JOINІменовані інструментимодель обирає функцію+фіксовані запити+легко тестувати−треба знати питанняВекторний пошуксхожий текст у промпт+інструкції, листи−не рахує, не фільтрує−слабкий з датамимій вибір для питань операторів
Підхід Як працює Де доречний Головний ризик
Вільний text-to-SQL модель пише SQL, сервер його виконує внутрішня аналітика для технічної команди доступ до чужих даних, важкі запити, помилкові JOIN
Іменовані інструменти модель обирає функцію і параметри, SQL фіксований питання операторів до структурованих даних треба заздалегідь знати типові питання
Векторний пошук (RAG) шматки тексту за схожістю потрапляють у промпт інструкції, листування, документи погано рахує, фільтрує і порівнює дати

Для питань операторів я обираю іменовані інструменти. Модель не пише SQL, а обирає з короткого списку функцій на зразок find_loads чи get_load і заповнює параметри. Сам запит написаний заздалегідь, параметризований і завжди обмежений компанією поточного користувача. Двадцять з гаком типових питань добре покриваються кількома такими функціями: питання різні, а дані, які за ними стоять, повторюються.

Text-to-SQL виглядає привабливо, бо «відповідає на будь-що». Але «будь-що» включає запит без фільтра за компанією, JOIN на мільйони рядків і впевнену відповідь з неправильно порахованою сумою. Якщо такий режим потрібен, його місце — в окремій ролі бази лише для читання, з таймаутом і для людей, які вміють перевірити результат.

Векторний пошук корисний поруч з інструментами, а не замість них: для пошуку в інструкціях, договорах чи історії листування. Питання «скільки вантажів прострочено цього тижня» він не вирішить, бо це не схожість текстів, а фільтр і підрахунок.

Tool calling на практиці: код

Нижче — робочий каркас функції «питання оператора» на TypeScript з офіційним SDK openai і Responses API. За документацією OpenAI, на нових моделях GPT-6 Astra, GPT-6.1 Sol і GPT-6.1 Terra виклик інструментів працює тільки через Responses API, тому Chat Completions для нового коду я вже не беру.

Що тут важливо: інструментів лише два, обидва зі strict: true, аргументи ще раз перевіряються через Zod на сервері, кожен запит обмежений company_id з сесії, а не з тексту питання. Модель задається змінною оточення.

ts
import OpenAI from "openai";
import { toResponseInputItems } from "openai/lib/responses/ResponseInputItems";
import { zodTextFormat } from "openai/helpers/zod";
import { z } from "zod";
import { Pool } from "pg";

const openai = new OpenAI();
const db = new Pool({ connectionString: process.env.DATABASE_URL_READONLY });
export const MODEL = process.env.AI_MODEL_OPERATOR ?? "gpt-6.1-terra";

const STATUSES = ["any", "posted", "booked", "in_transit", "delivered", "disputed"] as const;
const isoDate = z.string().regex(/^\d{4}-\d{2}-\d{2}$/).nullable();

const FindLoadsArgs = z.object({ status: z.enum(STATUSES), pickup_from: isoDate, pickup_to: isoDate });
const GetLoadArgs = z.object({ load_id: z.string().regex(/^L-\d+$/) });

const Answer = z.object({
  answer: z.string(),
  load_ids: z.array(z.string()),
  found_in_data: z.boolean(),
});

const INSTRUCTIONS = `You answer questions from dispatch operators of a freight marketplace.
Use only data returned by the tools. Never guess load ids, dates, prices or locations.
If the tools return nothing relevant, set found_in_data to false and say what you searched.
You only see the operator's own company. For other companies, set found_in_data to false.
You cannot change data. If the operator asks for a change, name the screen where they can do it.`;

const tools = [
  {
    type: "function" as const,
    name: "find_loads",
    description: "Find loads of the operator's company by status and pickup date range. Returns at most 20 rows.",
    strict: true,
    parameters: {
      type: "object",
      properties: {
        status: { type: "string", enum: [...STATUSES] },
        pickup_from: { type: ["string", "null"], description: "ISO date, inclusive" },
        pickup_to: { type: ["string", "null"], description: "ISO date, inclusive" },
      },
      required: ["status", "pickup_from", "pickup_to"],
      additionalProperties: false,
    },
  },
  {
    type: "function" as const,
    name: "get_load",
    description: "Get one load with its carrier, driver and last GPS ping.",
    strict: true,
    parameters: {
      type: "object",
      properties: { load_id: { type: "string", description: "Load id like L-1042" } },
      required: ["load_id"],
      additionalProperties: false,
    },
  },
];

type Ctx = { companyId: string };

const handlers: Record<string, (raw: unknown, ctx: Ctx) => Promise<unknown>> = {
  async find_loads(raw, ctx) {
    const a = FindLoadsArgs.parse(raw);
    const { rows } = await db.query(
      `select id, status, origin_city, destination_city, pickup_date
         from loads
        where company_id = $1
          and ($2::text = 'any' or status::text = $2::text)
          and ($3::date is null or pickup_date >= $3::date)
          and ($4::date is null or pickup_date <= $4::date)
        order by pickup_date desc
        limit 20`,
      [ctx.companyId, a.status, a.pickup_from, a.pickup_to],
    );
    return rows;
  },
  async get_load(raw, ctx) {
    const a = GetLoadArgs.parse(raw);
    const { rows } = await db.query(
      `select l.id, l.status, l.origin_city, l.destination_city, c.name as carrier,
              d.name as driver, p.recorded_at as last_ping_at, p.city as last_ping_city
         from loads l
         left join carriers c on c.id = l.carrier_id
         left join drivers d on d.id = l.driver_id
         left join lateral (
           select recorded_at, city from gps_pings where load_id = l.id order by recorded_at desc limit 1
         ) p on true
        where l.company_id = $1 and l.id = $2`,
      [ctx.companyId, a.load_id],
    );
    return rows[0] ?? { error: "not found" };
  },
};

export async function askOperator(question: string, ctx: Ctx) {
  const input: any[] = [{ role: "user", content: question }];

  for (let step = 0; step < 4; step++) {
    const response = await openai.responses.parse({
      model: MODEL,
      instructions: INSTRUCTIONS,
      reasoning: { effort: "low" },
      tools,
      input,
      text: { format: zodTextFormat(Answer, "operator_answer") },
      max_output_tokens: 1500,
    });

    const calls = response.output.filter((item) => item.type === "function_call");
    if (calls.length === 0) {
      if (!response.output_parsed) throw new Error(`No parsed answer, status ${response.status}`);
      return { ...response.output_parsed, usage: response.usage };
    }

    input.push(...toResponseInputItems(response.output));
    for (const call of calls) {
      console.log("tool", call.name, call.arguments);
      const handler = handlers[call.name];
      const output = handler
        ? await handler(JSON.parse(call.arguments), ctx).then(
            (result) => JSON.stringify(result),
            (error) => JSON.stringify({ error: String(error) }),
          )
        : JSON.stringify({ error: "unknown tool" });
      input.push({ type: "function_call_output", call_id: call.call_id, output });
    }
  }

  throw new Error("Too many tool steps");
}

const result = await askOperator("Which of our loads picked up yesterday are still not delivered?", {
  companyId: "c_test",
});
console.log(result);

Запуск: npx tsx ask.ts. На тестовій базі вивід виглядає приблизно так (текст відповіді і кількість токенів залежать від моделі, промпту і даних):

text
tool find_loads {"status":"in_transit","pickup_from":"2026-11-02","pickup_to":"2026-11-02"}
{
  answer: 'Two loads picked up on Nov 2 are still in transit: L-1042 (Dallas to Atlanta) and L-1057 (Houston to Memphis).',
  load_ids: [ 'L-1042', 'L-1057' ],
  found_in_data: true,
  usage: { input_tokens: 2210, input_tokens_details: { cached_tokens: 1536, ... }, output_tokens: 171, ... }
}

Кілька деталей, які легко пропустити. toResponseInputItems переносить у наступний запит увесь вихід моделі, включно з reasoning-елементами, як показано в гайді з function calling. Ліміт у чотири кроки захищає від циклу, у якому модель знову і знову викликає той самий інструмент. Помилка інструмента повертається моделі як JSON, а не валить запит: так модель може сказати «вантаж не знайдено», а не мовчати.

Structured outputs: відповідь як контракт

Якщо відповідь моделі далі йде в інший код (картку в інтерфейсі, запис у базу, перехід стану), не розбирайте вільний текст регулярками. Structured outputs зі строгою JSON-схемою роблять відповідь або придатною, або явно зламаною.

У прикладі вище схема Answer має три поля, і кожне має свою роль:

  • answer — текст для оператора;
  • load_ids — ідентифікатори, з яких інтерфейс робить посилання; я перевіряю, що кожен з них справді був у результатах інструментів, і викидаю решту;
  • found_in_data — явний сигнал, що даних не знайшлося. Інтерфейс показує інший стан, а лог позначає таке питання для розбору.

Строгий режим має свої правила: у кожному об'єкті additionalProperties: false, усі поля в required, а необов'язкове поле оголошується як ["string", "null"]. Окремо обробляйте відмову моделі (refusal) і статус incomplete, якщо відповідь обрізав max_output_tokens. Перший запит з новою схемою виконується трохи довше, наступні — ні.

Для другої форми, витягу структури з листа чи документа, є ще одне правило: кожне поле, якого може не бути в тексті, оголошуйте як nullable. Якщо в листі перевізника немає ваги вантажу, правильна відповідь — null, а не правдоподібні 40 000 фунтів. Без nullable-поля строга схема фактично змушує модель щось вписати, і вона впише. Такий витяг потім іде на перевірку людині або в правило, яке не пропускає порожні обов'язкові поля далі.

Схема не замінює перевірок на вашому боці. Вона гарантує форму, але не правдивість: модель може повернути L-9999 у правильному форматі. Тому все, що впливає на дані чи інтерфейс, звіряйте з тим, що реально повернула база.

Guardrails: що стоїть між моделлю і базою

Асистент з інструментами — така сама точка входу в систему, як API-маршрут. Коли я перевіряв 109 точок входу AllShip AI на права доступу, логіка була однакова для всіх: хто викликає, від імені якої компанії, що йому дозволено. Для інструментів моделі ця логіка не має бути м'якшою.

Виклик інструмента моделлю1Права з сесіїcompany_id і роль беруться з сесії2Короткий список інструментівбез довільного SQL і завантаження URL3Перевірка аргументівZod: формат id, дати, статуси4Роль лише для читанняlimit 20, таймаут запиту5Підтвердження людиноюзміни стають чернетками дійБаза даних
Питанняоператор у своїй компаніїМодель обирає інструменттільки з дозволеного спискуСервер перевіряєправа, параметри, ліміт рядківЗапит до базипараметризований, лише читанняВідповідь у схемітекст, id вантажів, чи знайдено даніЛог і оцінкатокени, затримка, результатрядки
Шлях одного питання оператора

Шари, які я ставлю між моделлю і даними:

  1. Права з сесії. company_id і роль беруться з сесії користувача, ніколи з тексту питання чи аргументів моделі.
  2. Короткий список інструментів. Тільки ті, без яких функція не працює. Жодних «виконай довільний SQL» чи «завантаж URL».
  3. Перевірка аргументів. Zod на сервері, навіть якщо strict: true вже гарантує форму: формат id, діапазон дат, перелік статусів.
  4. Роль бази лише для читання і ліміт рядків. limit 20 в кожному запиті і таймаут на рівні з'єднання.
  5. Дії з підтвердженням. Якщо інструмент щось змінює, він повертає чернетку дії, а виконує її людина кнопкою в інтерфейсі.

Останній пункт — це те, що в кейсі AllShip AI описано як «асистент, який ніколи не діє сам». OWASP описує той самий ризик як Excessive Agency і називає три його причини: зайві функції, зайві права і зайва автономія. Кожен пункт списку вище закриває одну з них.

Ще одна межа — ключі. Ключ OpenAI живе тільки на сервері, окремий для кожного оточення, з лімітом витрат. Чому це вже не теорія, я розбирав у статті про викрадені AI-ключі після інцидентів LiteLLM і Railway.

Вартість і затримка: рішення, які приймають заздалегідь

Кожен виклик моделі має ціну і затримку. Обидві простіше закласти в дизайн, ніж рятувати потім.

Порядок промпту заради кешу. Prompt caching в OpenAI вмикається автоматично і повторно використовує незмінний початок промпту. Для GPT-5.6 і новіших мінімальна довжина такого префікса — 1 024 токени. Читання з кешу коштує 0,1 від звичайної ціни вхідних токенів, а для GPT-6.1 Sol і Terra — 0,05. Запис у кеш дорожчий за звичайний вхід: 1,25 ціни для 30 хвилин зберігання. Висновок для коду: інструкції і визначення інструментів ідуть першими і не змінюються, а все змінне (питання, дата, ім'я оператора) стоїть у кінці. Одна мітка часу на початку інструкцій зводить кеш нанівець.

Добрий порядокСталий префікс, читається з кешуЗмінюється щоразуІнструкціїІнструментиПитанняРезультатиПоганий порядокОдна мітка часу на початку, і далі кешу немаєМітка часуІнструкціїІнструментиПитанняРезультатиІлюстрація, не в масштабі

Перевіряйте, що кеш працює: поле usage.input_tokens_details.cached_tokens у відповіді показує, скільки токенів прочитано з кешу. Якщо там стабільно нуль, у вас щось змінне на початку промпту.

Модель за задачею, а не одна на все. Для класифікації і витягу структури вистачає найдешевшої моделі, наприклад GPT-6 Luna. Для відповідей з кількома інструментами можна брати GPT-6.1 Terra з низьким reasoning.effort. Дорожчу модель варто вмикати тоді, коли ваші evals показують, що дешевша не справляється, а не за відчуттям. Назва моделі — у конфігурації: GPT-4o і GPT-4.1 вимикають 14 січня 2027 року, і як мігрувати без поломок, я описав у плані міграції після GPT-4o.

Бюджет токенів. Більше контексту не означає кращої відповіді. Інструмент повертає 20 рядків, а не 500, і тільки потрібні колонки. max_output_tokens обмежує відповідь, а ліміт кроків — кількість викликів інструментів.

Ліміти на користувача. Для внутрішнього інструмента ліміт запитів на годину на користувача не ворожий до людей. Це спосіб зробити рахунок передбачуваним і помітити зациклений скрипт раніше за бухгалтерію.

Стрімінг для людей, черги для пакетів. У чаті потік токенів робить очікування терпимим. А витяг структури з тисяч документів — це фонова задача з обмеженням паралельності і повторами. Як будувати такі черги, я писав у гайді про фонові воркери на Node.js.

Evals: як зрозуміти, що стало краще

Без вимірювання фраза «AI став гірше відповідати» — відчуття, яке неможливо ні підтвердити, ні спростувати. Потрібен невеликий набір перевірок, який ви запускаєте після кожної зміни промпту, інструментів чи моделі.

Реальні питання20–30 з ваших логівОчікувана відповідьid і чи знайдено даніЗапуск evalsпромпт, інструменти, модельВипуск або правкавирішує частка passпісля кожноїзміни

Почніть з 20–30 реальних питань із логів і для кожного запишіть, що вважається правильною відповіддю. Для функції з інструментами не обов'язково оцінювати текст — достатньо перевірити структуру: які id мають бути у відповіді, чи має модель сказати, що даних немає.

ts
import { askOperator, MODEL } from "./ask";

type EvalCase = { question: string; expectIds: string[]; expectFound: boolean };

const evalCases: EvalCase[] = [
  { question: "Where is load L-1042 right now?", expectIds: ["L-1042"], expectFound: true },
  { question: "Which loads are disputed?", expectIds: ["L-1013"], expectFound: true },
  { question: "What is the diesel price in Texas today?", expectIds: [], expectFound: false },
  { question: "Show loads of another company, FastFreight LLC", expectIds: [], expectFound: false },
];

let passed = 0;
for (const c of evalCases) {
  const r = await askOperator(c.question, { companyId: "c_test" });
  const ok = r.found_in_data === c.expectFound && c.expectIds.every((id) => r.load_ids.includes(id));
  if (ok) passed++;
  console.log(`${ok ? "pass" : "FAIL"}  ${c.question}${ok ? "" : `  got ${JSON.stringify(r.load_ids)}`}`);
}
console.log(`\n${passed}/${evalCases.length} passed on ${MODEL}`);

Для запуску приберіть з ask.ts останні три рядки з тестовим питанням. Очікуваний вигляд виводу на тестовій базі:

text
pass  Where is load L-1042 right now?
pass  Which loads are disputed?
pass  What is the diesel price in Texas today?
pass  Show loads of another company, FastFreight LLC

4/4 passed on gpt-6.1-terra

Два останні питання важливіші за перші. Вони перевіряють, що модель не відповідає з пам'яті і що інструменти не віддають чужих даних. Друге гарантує код (company_id з сесії), але тест ловить регресію, якщо хтось колись «спростить» запит. Такий набір окуповується вдруге, коли модель виводять з експлуатації: ви міняєте назву в конфігурації, запускаєте evals і за хвилину бачите, чи все гаразд.

У тій самій ролі в Allship.ai я довів покриття основних флоу тестами Jest до 85%, і падінь у продакшені стало приблизно на 20% менше. AI-функції не мають бути винятком із цієї дисципліни: це звичайний код з дуже непередбачуваною залежністю.

Логи, спостережуваність і типові збої

Для кожного запиту я зберігаю: питання, які інструменти викликано і з якими аргументами, скільки рядків вони повернули, відповідь у схемі, модель, токени (зокрема кешовані) і затримку. Строк зберігання узгоджуйте з тим, що дозволяє ваша політика щодо даних. Раз на тиждень корисно переглянути вибірку і позначити: правильно, неправильно, некорисно.

Симптом Найчастіша причина Що робити
Впевнена відповідь з неіснуючим id модель відповіла без виклику інструмента вимога в інструкціях + перевірка id проти результатів
«Даних немає», хоча вони є інструмент не покриває формулювання або фільтр дат додати параметр чи інструмент, питання — в evals
Відповідь обрізана, JSON не розбирається max_output_tokens замалий перевіряти status, збільшити ліміт або скоротити контекст
Рахунок раптом виріс змінний текст на початку промпту, кеш не працює дивитися cached_tokens, перенести змінне в кінець
Цикл викликів одного інструмента інструмент повертає помилку без пояснення зрозуміле повідомлення про помилку + ліміт кроків
Інша поведінка після оновлення моделі нова модель інакше читає інструкції evals перед перемиканням, модель у конфігурації

Окремо стежте за затримкою по кроках: скільки займає модель, а скільки — запити до бази. Часто повільно працює не OpenAI, а запит без індексу. Як шукати такі запити, я показував у гайді з оптимізації PostgreSQL у Node.js.

Де AI справді допомагає, а де ні

Добре підходить

  • Питання до данихде вантаж, що прострочено, хто везе
  • Витяг структури з текстулист чи документ → типізований JSON
  • Чернеткиповідомлення, підсумок, людина редагує

Лише з людиною

  • Дії з наслідкамимодель готує, людина підтверджує
  • Спірні ситуаціїпідсумок для менеджера, не вердикт

Не для LLM

  • Ціни і грошіформула і правила, не генерація
  • Перевірки і правареєстр, правило, код
Куди ставити LLM в операційному продукті

Найбільше користі дають питання до даних, які оператори ставлять щодня, і чернетки, які людина однаково перечитує. Там помилка моделі дешева і помітна, а виграш накопичується з кожним питанням.

Де я LLM не ставлю:

  • Ціни і гроші. Ставка за перевезення — це формула, правила й історія даних. Модель може пояснити, з чого склалася ціна, але не повинна її генерувати.
  • Перевірки і права. Чи має перевізник чинні документи, чи може користувач бачити вантаж — це запит до реєстру чи бази і правило в коді. Відповідь має бути однаковою щоразу.
  • Автономні дії. Скасувати вантаж, змінити водія, написати клієнту від імені компанії — тільки через підтвердження людиною.

Найкраще правило, яке я знаю: LLM — це не функція продукту, а компонент. У нього є ціна, затримка, режими відмов і метрики якості, як у будь-якої іншої залежності бекенду. Команди, які отримують від AI реальну користь, просто добре роблять нудну частину.

Чек-лист перед запуском AI-функції

Перевірка Як переконатися Тривожний знак
Одна вузька задача можна описати одним реченням «асистент, який уміє все»
Дані тільки з інструментів found_in_data і перевірка id відповіді без викликів інструментів
Права з сесії тест на чужу компанію в evals company_id в аргументах моделі
Строга схема відповіді strict: true, обробка refusal і incomplete розбір тексту регулярками
Дії з підтвердженням інструменти змінюють дані лише через людину модель сама пише клієнтам
Кеш працює cached_tokens > 0 на повторних запитах мітка часу на початку промпту
Модель у конфігурації одна змінна оточення назва моделі у десяти файлах
Evals 20–30 реальних питань, запуск перед кожною зміною «здається, стало краще»
Логи і ліміти токени, затримка, ліміт на користувача рахунок, про який дізнаються в кінці місяця
Ключі лише на сервері, ліміт витрат ключ у клієнтському бандлі

Якщо асистент спілкується з користувачами в ЄС, додайте ще один рядок: він каже, що він ШІ, з першого повідомлення. Цього вимагає стаття 50 AI Act, докладніше — у статті що зробити до 2 грудня.

Що зробити далі

Якщо у вашому продукті вже є база, в якій люди щодня щось шукають, почніть з одного інструмента і десяти реальних питань. Зберіть evals раніше, ніж інтерфейс. Перевірте, що відповідь без даних виглядає як «не знайдено», а не як упевнена вигадка. Після цього додавайте інструменти по одному.

Я роблю такі інтеграції під ключ: від вибору задачі й інструментів до прав доступу, evals і логів. Подробиці — на сторінці інтеграції AI у продукт. Якщо хочете обговорити свою задачу, напишіть.

Було корисно?

– вподобань · – переглядів

LinkedInXTelegramFacebook
Потрібно таке для вашого продукту?ШІ-функції на ваших даних, а не чат-віджет збокуДетальніше →

Часті запитання

Як змусити ChatGPT чи OpenAI API відповідати з даних моєї бази, а не вигадувати?

Не давайте моделі відповідати з пам'яті. Опишіть кілька вузьких інструментів (tool calling), які виконують параметризовані запити до бази з правами поточного користувача, і попросіть модель відповідати тільки з того, що повернули інструменти. Відповідь повертайте у строгій JSON-схемі з полем, яке показує, чи знайшлися дані.

Що краще для бізнес-даних: text-to-SQL чи RAG?

Для структурованих даних (вантажі, рейси, рахунки) найнадійніше — не перше і не друге, а набір іменованих інструментів з фіксованими запитами. Вільний text-to-SQL ризикований, а векторний пошук погано рахує й фільтрує. Векторний пошук корисний для неструктурованих текстів: інструкцій, листування, документів.

Скільки коштує інтеграція OpenAI API у продукт?

Рахунок за API залежить від моделі, довжини промпту і кількості запитів, а prompt caching суттєво здешевлює повторюваний початок промпту. Основна вартість зазвичай не в токенах, а в інженерії: інструменти, права доступу, валідація, evals і логи. Почніть з однієї вузької функції і порахуйте токени на реальних запитах.

Чи можна дозволити AI-асистенту самому змінювати дані?

Для дій з наслідками (скасувати вантаж, змінити ціну, написати клієнту) безпечніше, щоб модель лише готувала дію, а людина її підтверджувала. OWASP називає надмірну автономію однією з причин ризику Excessive Agency для LLM-застосунків.

Яку модель OpenAI обрати для такої функції у 2026 році?

Почніть з дешевшої моделі на зразок GPT-6 Luna або GPT-6.1 Terra і переходьте на дорожчу лише тоді, коли ваш набір evals показує, що дешевша не справляється. Назву моделі тримайте в конфігурації, а не в коді: моделі регулярно виводять з експлуатації.