Skip to content

Нове дослідження Alibaba перевірило 10 AI-агентів на 273 реальних запитах користувачів: найкращий повністю виконав лише 26,4% задач. Розбираю, звідки ця цифра, чому бенчмарки обіцяли 99% і як працювати з агентами, щоб не платити за продукт двічі.

Опубліковано
Читання
10 хв
Автор
Yaroslav Tsarenko
–переглядів
Міст зі світних сегментів, який майже дотягнувся до іншого берега, але обривається перед ним

Агент закрив 70% вимог. Звучить як майже готово, правда? А тепер друга цифра з того самого дослідження: повністю виконаних задач — лише 26,4%. Решта, тобто майже три з чотирьох, мають хоча б одну деталь, яка не працює.

Ці цифри з Co-Design Bench, бенчмарку, який дослідники Alibaba та кількох університетів опублікували 26 жовтня 2026 року. На початку листопада про нього написала профільна преса, і він добре пояснює, чому ваш продукт «майже працює» вже третій тиждень.

Ця стаття для засновників і продуктових команд, які будують з Cursor, Claude Code, Codex, Lovable чи Bolt, або наймають підрядника, що працює з агентами. Розберемо, що саме виміряли, чому старі бенчмарки обіцяли 99%, де агенти ламаються найчастіше і як вибудувати роботу так, щоб не платити за один продукт двічі.

Що виміряли в Co-Design Bench

Більшість бенчмарків для коду влаштовані просто: є задача, є автотести, агент або проходить їх, або ні. Co-Design Bench зроблений інакше, і саме тому його варто читати.

  • Задачі взяті з реального життя. Автори зібрали 37 463 унікальні запити з 26 314 справжніх сесій, у яких люди просили агента змінити застосунок, і відібрали з них 273 задачі.
  • Дві доріжки. 100 задач на точкові правки (Multimodal Editing, часто з картинкою чи документом у запиті) і 173 задачі на зміни в кількох файлах репозиторію (Repository Editing).
  • 2 331 прихований критерій приймання, написаний експертами. Агент їх не бачить, як і ваш підрядник не бачить того, що ви «мали на увазі».
  • Перевіряють запущений застосунок. Його збирають у пісочниці, відкривають у браузері через Playwright, і AI-суддя проходить кожен критерій. Другий суддя перевіряє кожне «пройдено» й шукає заглушки та захардкоджені відповіді.
  • 10 моделей в однаковому середовищі: однаковий набір інструментів (bash, читання, пошук, редагування файлів), однакові умови.

Головна метрика — не середній відсоток виконаних вимог, а full-pass: частка задач, де працює все. Як у справжньому продукті: клієнт не платить за «майже оформлене замовлення».

70% вимог і 26% задач: чому «майже» — це ще не готово

Найкращою стала gpt-6-astra. Вона в середньому закрила 69,9% критеріїв у задачі, але повністю виконала лише 26,4% задач. На точкових правках — 41%, на змінах у кількох файлах — 17,9%. Тобто якщо задача зачіпає кілька частин застосунку, найкраща модель на ринку доводить її до кінця приблизно в одному випадку з п'яти-шести.

Найкращий агент (gpt-6-astra): вимоги проти задачВимог виконано, в середньому69,9%Задач виконано повністю26,4%точкові правки41,0%зміни в кількох файлах17,9%Co-Design Bench, 273 задачі з реальних сесій, жовтень 2026

Знайомо? Агент зробив форму, валідацію, стилі й навіть анімацію. А потім виявляється, що кнопка «Зберегти» на мобільному ховається під клавіатурою, помилка сервера не показується, а старі записи без нового поля ламають список. Кожна така дрібниця — це не 1% роботи. Іноді це половина часу, бо спочатку треба зрозуміти, що саме не так, у коді, якого ніхто не писав руками.

Ось повна таблиця з дослідження:

Модель Вимог виконано, в середньому Задач повністю Точкові правки Зміни в кількох файлах
gpt-6-astra 69,9% 26,4% 41,0% 17,9%
opus-5 66,1% 18,3% 30,0% 11,6%
qwen3.8-max 65,3% 16,5% 31,0% 8,1%
kimi-k3 62,9% 15,8% 26,0% 9,8%
qwen3.8-27b 64,4% 15,0% 23,0% 10,4%
gpt-5.6-sol 61,1% 14,3% 20,0% 11,0%
glm-5.3-flash 57,3% 10,6% 18,0% 6,4%
opus-4-8 58,1% 10,3% 16,0% 6,9%
glm-5.2 56,7% 9,5% 16,0% 5,8%
grok-4.6 51,1% 6,6% 6,0% 6,9%

Помітили закономірність? Різниця між моделями в «середньому відсотку вимог» — до 19 пунктів, а в повністю виконаних задачах — у чотири рази. Саме на останніх деталях моделі й розходяться.

Задач виконано повністю, 10 моделейповністювимог у середньомуgpt-6-astra26,4%opus-518,3%qwen3.8-max16,5%kimi-k315,8%qwen3.8-27b15,0%gpt-5.6-sol14,3%glm-5.3-flash10,6%opus-4-810,3%glm-5.29,5%grok-4.66,6%Джерело: Co-Design Bench (arXiv 2610.35138)

Важливе застереження: задачі тут свідомо складні

Чесність понад заголовки. Автори брали не випадкові запити, а ті, де користувачі кілька разів переформульовували прохання або відкочували зміни. Тобто в бенчмарк потрапили задачі, з якими агенти вже мали проблеми. Ще два обмеження назвали самі автори: агент не міг поставити уточнювальне питання посеред роботи, а судді — теж моделі, які можуть помилятися.

Тож «агенти виконують лише чверть усіх задач» — неправильний висновок. Правильний: на складних змінах реального продукту навіть найкращий агент майже завжди щось недоробляє. А складні зміни — це саме те, за що ви платите розробникам. Кнопку перефарбувати агент зможе і без бенчмарку.

Чому бенчмарки обіцяли 99%

Якщо ви читали анонси нових моделей, то бачили цифри на кшталт 80% на SWE-bench чи майже 100% на бенчмарках редагування. Автори Co-Design Bench прямо пишуть, що старі бенчмарки редагування насичені: моделі показують понад 99%, і рейтинг майже не розрізняє їх. На їхньому новому тесті розрив сягає понад 35 пунктів.

І це не лише їхня думка.

  • OpenAI 23 лютого 2026 року перестала звітувати SWE-bench Verified. Компанія перевірила 138 задач, які її модель стабільно не розв'язувала, і знайшла серйозні вади в тестах або умовах у 59,4% з них. Плюс ознаки того, що моделі бачили правильні відповіді під час навчання.
  • METR у березні 2026 року попросила 4 мейнтейнерів scikit-learn, Sphinx і pytest оцінити 296 pull request'ів від AI-агентів, які проходили автотести SWE-bench. Приблизно половину вони не злили б у main. Після поправки на те, що навіть людські еталонні патчі мейнтейнери приймали лише в 68% випадків, розрив з автоматичною оцінкою — 24 пункти. Головні причини відмов: якість коду, поломка іншого коду, неробоча основна функція.
Що каже тест і що виходить насправдітестреальністьБенчмарки редагування → Co-Design Bench>99%26,4%SWE-bench пройдено → злили б мейнтейнери100%≈50%Код від агента → дожив до коміту100%59%Джерела: Co-Design Bench, METR (березень 2026), SWE-chat

Справедливості заради: METR окремо наголошує, що це не стеля можливостей — агенти мали одну спробу, без зворотного зв'язку, як отримав би розробник на ревʼю. Але саме так часто й працюють з агентами на практиці, чи не так? Одна спроба, «виглядає нормально», злили.

Де агенти ламаються найчастіше

Co-Design Bench дає кілька практичних підказок, які прямо стосуються того, як ви ставите задачі.

Кілька типів змін в одному запиті

Автори поділили зміни на чотири типи: макет, дизайн, взаємодія і контент. Усі 10 моделей гірше справлялися зі змінами в репозиторії, де змішано три-чотири типи, ніж з тими, де їх один-два. Запит «перероби сторінку тарифів: нова сітка, інші кольори, перемикач місяць/рік і нові тексти» — якраз такий.

Зміни в кількох файлах

Точкову правку найкраща модель доводить до кінця в 41% випадків, зміну в репозиторії — у 17,9%. Чим більше місць треба зачепити узгоджено, тим вища ймовірність, що одне з них забудуть. У звичайному продукті майже будь-яка нова функція зачіпає базу, API, інтерфейс і права доступу одночасно.

Більше токенів — не означає краще

Це мій улюблений результат. На точкових правках GLM-5.2 витратила в середньому 69 кроків і близько 7,29 млн токенів на задачу і вийшла на 57,2% вимог. gpt-6-astra — 32 кроки, 1,24 млн токенів і 75,4%. Агент, який довго «думає» і багато переписує, не обов'язково робить краще. Іноді він просто ходить по колу, і рахунок за API росте разом з ним.

Середовище важить не менше за модель

Одна й та сама qwen3.8-27b на змінах у репозиторії отримала 74,9% вимог в одному агентному середовищі (opencode) і 56,0% в іншому (qwen-code). Майже 19 пунктів різниці, модель та сама. Автори радять завжди публікувати модель разом із середовищем. Для вас висновок простіший: рейтинг моделей нічого не гарантує у вашому проєкті. Важить, як налаштоване все навколо: інструменти, інструкції, тести.

Зазвичай

  • Усе в одному запитідизайн, логіка, тексти й макет разом
  • «Зроби як треба»критерії живуть лише в голові
  • Перевірка очима«виглядає готовим» — злили

Варто

  • Один тип зміниокремо макет, окремо логіка
  • Критерії письмово5–10 перевірних пунктів до старту
  • Тести і ревʼюCI, типи, людина дивиться диф
Задача для агента: як ставлять зазвичай і як варто

Що показують дослідження реального використання

Бенчмарк — це лабораторія. А що відбувається, коли агентами користуються справжні розробники?

Дослідження SWE-chat (прийняте на COLM 2026) проаналізувало майже 18 000 реальних сесій розробників з агентами. Кілька цифр:

  • у 41% сесій агент написав практично весь код, який потрапив у коміт, — тобто це вайбкодинг у чистому вигляді;
  • лише 59% коду, який пише агент, доживає до коміту — решту люди викидають або переписують;
  • приблизно в половині ходів користувачі виправляли агента, повідомляли про помилку або переривали його;
  • код, написаний агентом, приносить більше вразливостей, ніж код, написаний людьми.

А препринт (Im)Paired Programming додає неприємну деталь про людей. У дослідженні з 54 студентами ті, хто працював з агентом, швидше закінчували задачу, але гірше розуміли власний код і не могли самостійно його розширити. При цьому агентів усе одно вважали зручнішими.

Спойлер: це найдорожча частина. Коли ніхто в команді не розуміє, як працює код, кожна наступна зміна коштує більше. Я детально писав про це у статті про 10 сигналів, що вайбкод-MVP потрібен розробник: сигнал «ШІ ходить по колу» — якраз про це.

Що це означає для вашого продукту

Якщо коротко: агенти — це сильний інструмент для чернетки, а не для фінішу. І це не песимізм, а бухгалтерія.

Де агенти економлять гроші вже зараз:

  • прототип для перевірки ідеї чи демо інвестору;
  • типові екрани: списки, картки, форми, фільтри;
  • рутинні зміни з чіткими критеріями: перейменувати поле, додати колонку, перенести компонент;
  • тести, міграції й скрипти, які людина потім переглядає.

Де «майже готово» коштує найдорожче:

  • права доступу — кожен незакритий кут означає чужі дані в чужих руках;
  • гроші — оплати, повернення, повторні вебхуки;
  • дані — міграції, які неможливо відкотити;
  • функції, що зачіпають кілька частин системи одночасно.

Ціна помилки тут не «переробити кнопку», а витік даних, подвійні списання або втрачені замовлення. Чому, наприклад, на ключі API від ШІ-сервісів зараз полюють особливо активно і що робити, якщо ключ потрапив у код, я розбирав у статті про витоки ключів через LiteLLM і Railway.

Кому віддати задачу: агенту чи людиніЗачіпає права доступу,гроші чи дані?такніВеде людина,агент допомагаєОдин тип зміни і єписьмові критерії?такніАгент + тести+ швидке ревʼюСпершу розбийтезадачу на частини

Як працювати з агентами, щоб не платити двічі

Все нижче випливає безпосередньо з даних вище. Жодної магії, лише дисципліна.

  1. Одна задача — один тип зміни. Розбивайте «перероби сторінку» на окремі задачі: макет, логіка, тексти. Дані Co-Design Bench прямо кажуть, що змішані зміни провалюються частіше.
  2. Критерії приймання — до старту, письмово. 5–10 пунктів, кожен можна перевірити: «після оплати замовлення має статус paid», «користувач B отримує 404 на замовлення користувача A». Агенти в бенчмарку провалювалися саме на прихованих критеріях. Не ховайте їх.
  3. Автоперевірки в CI. Тести на критичні сценарії, перевірка типів, лінтер. Агент пропускає деталі — машина ловить їх раніше за клієнта. Як швидко зараз працює перевірка типів у TypeScript 7 і як її налаштувати в CI, я показав у гайді з міграції.
  4. Кожна зміна — як pull request. Людина дивиться диф, а не лише результат у браузері. Особливо: права доступу, гроші, запити до бази, обробка помилок.
  5. Зафіксуйте середовище. Один агент, одні інструкції для проєкту, однакові правила. Майже 19 пунктів різниці лише через середовище — це не дрібниця.
  6. Стежте за витратами. Якщо агент третю годину переписує одне й те саме, він не «старається», він застряг. Зупиніть, розбийте задачу або віддайте людині.
  7. Хтось у команді має розуміти код. Не обов'язково весь, але критичні частини — точно. Інакше кожна наступна зміна дорожчає.
Критерії прийманнящо має працювати і як це перевіритиАгент робить змінуодна задача, одна гілкаАвтоперевіркитести, типи, лінтер у CIРевʼю людиноюправа, гроші, дані, крайні випадкиЗлиття і релізз можливістю відкатузелено
Цикл роботи з агентом, у якому помилки ловляться до клієнта

Чекліст на 10 хвилин для вашого проєкту

Питання Так Ні — що робити
Є автотести на реєстрацію, оплату і доступ до даних? почніть із 5–10 тестів на ці сценарії
Тести й типи запускаються на кожну зміну? налаштуйте CI, це пів дня роботи
Задачі для агента мають письмові критерії? шаблон: що має працювати + як перевірити
Хтось переглядає кожну зміну перед злиттям? ревʼю хоча б для прав, грошей і даних
Можна відкотити реліз за 5 хвилин? налаштуйте відкат до попередньої версії
Хтось у команді може пояснити, як працюють оплати й права? час для аудиту або розробника

Якщо у вас три і більше «ні», продукт уже переріс режим «агент робить, ми дивимося».

Що спитати в підрядника, який працює з агентами

У 2026 році майже кожен розробник використовує агентів, і це нормально. Питання не «чи використовуєте ви ШІ», а «як ви перевіряєте те, що він написав». Ось п'ять питань, відповіді на які багато скажуть ще до старту.

  1. «Як ви вирішуєте, що задача готова?» Хороша відповідь: є критерії приймання, автотести, ревʼю. Погана: «я перевіряю, що все працює».
  2. «Які частини продукту ви не віддаєте агентові без ревʼю?» Хороший підрядник одразу назве права доступу, оплати, міграції бази.
  3. «Що буде, якщо агент зламає щось, що вже працювало?» Шукайте слова «тести в CI» і «відкат релізу», а не «помічу і виправлю».
  4. «Хто пояснить мені, як працює код, через пів року?» Документація, зрозуміла структура, критичні місця, які людина може пояснити без агента.
  5. «Скільки коштують запити до ШІ під час розробки і хто за них платить?» Дрібниця, поки агент не застрягне на кілька годин на одній задачі.

Якщо на більшість питань відповідь звучить як «ну, ШІ зараз усе вміє» — у вас буде продукт, який виглядає готовим. На 70%, як ми вже знаємо.

Коли агентові потрібна людина поруч

Агент не замінює інженера, але добре підсилює того, хто знає, куди дивитися. Типова картина, з якою до мене приходять: продукт зібраний швидко, він працює на демо, але з першими реальними користувачами з'являються дубльовані записи, дивні статуси й страх щось змінювати.

Робота тоді майже завжди однакова: письмовий аудит ризиків, закрити найнебезпечніше (доступ до даних, ключі, гроші), поставити тести й CI, а потім спокійно продовжувати розробку, зокрема з агентами, але вже на рейках. Як це виглядає на практиці, найкраще показує кейс AllShip: три крихкі кодові бази, у яких не було єдиного шару авторизації, стали одним застосунком із перевіркою прав на кожній зі 109 точок входу.

Скільки це коштує і від чого залежить ціна, я розбирав окремо в статті про вартість MVP у 2026 році. А якщо продукт уже працює і треба зрозуміти, що в ньому рятувати, є окрема послуга — доробка застосунків, зібраних із ШІ.

Коротко

  • Найкращий AI-агент у новому бенчмарку закриває близько 70% вимог, але повністю виконує лише 26,4% реальних задач, а на змінах у кількох файлах — 17,9%.
  • Старі бенчмарки насичені: OpenAI відмовилася від SWE-bench Verified, METR показала, що половину «успішних» патчів мейнтейнери не прийняли б.
  • Агенти гірше справляються зі змішаними змінами, а результат залежить від середовища не менше, ніж від моделі.
  • Агент — чудовий інструмент для чернетки. Фініш, тобто права, гроші, дані й крайні випадки, досі потребує критеріїв, тестів і людини, яка розуміє код.

Агенти стануть кращими, і швидко. Але різниця між «майже» і «готово» нікуди не зникне: просто тепер її легше не помітити. Якщо хочете, щоб хтось подивився на ваш продукт свіжим оком і сказав, що в ньому справді готово, напишіть мені.

Було корисно?

– вподобань · – переглядів

LinkedInXTelegramFacebook
Потрібно таке для вашого продукту?Доопрацювання застосунків, зібраних через Lovable, Bolt, Cursor чи ReplitДетальніше →

Часті запитання

Чи може AI-агент сам написати робочий застосунок?

Прототип або окрему функцію — часто так. Але в дослідженні Co-Design Bench найкращий із 10 агентів повністю виконав лише 26,4% реальних запитів на зміну застосунку, хоча в середньому закрив близько 70% вимог. Тобто агент зазвичай робить більшу частину роботи, а останні деталі лишаються на людину.

Чому бенчмарки показують 80–99%, а в реальності менше?

Старі бенчмарки насичені й частково «злиті» в навчальні дані: OpenAI у лютому 2026 року перестала звітувати SWE-bench Verified, бо знайшла вади в 59,4% перевірених задач. METR показала, що приблизно половину рішень, які проходять автотести SWE-bench, мейнтейнери не злили б у main.

Яка модель найкраща для програмування у листопаді 2026?

У Co-Design Bench першою стала gpt-6-astra (26,4% задач повністю, 69,9% вимог), далі opus-5 і qwen3.8-max. Але автори показали, що результат однієї й тієї ж моделі змінюється майже на 19 пунктів залежно від середовища (harness), тому обирати варто за власними задачами, а не за рейтингом.

Як перевірити код, написаний AI-агентом?

Записати критерії приймання до того, як агент почне, запускати автотести й перевірку типів у CI, переглядати кожну зміну як pull request і окремо перевіряти права доступу, оплати та роботу з даними. Для вже зібраного продукту найшвидше — короткий аудит із письмовим списком ризиків.