Нове дослідження Alibaba перевірило 10 AI-агентів на 273 реальних запитах користувачів: найкращий повністю виконав лише 26,4% задач. Розбираю, звідки ця цифра, чому бенчмарки обіцяли 99% і як працювати з агентами, щоб не платити за продукт двічі.
- Опубліковано
- Читання
- 10 хв
- Автор
- Yaroslav Tsarenko

Агент закрив 70% вимог. Звучить як майже готово, правда? А тепер друга цифра з того самого дослідження: повністю виконаних задач — лише 26,4%. Решта, тобто майже три з чотирьох, мають хоча б одну деталь, яка не працює.
Ці цифри з Co-Design Bench, бенчмарку, який дослідники Alibaba та кількох університетів опублікували 26 жовтня 2026 року. На початку листопада про нього написала профільна преса, і він добре пояснює, чому ваш продукт «майже працює» вже третій тиждень.
Ця стаття для засновників і продуктових команд, які будують з Cursor, Claude Code, Codex, Lovable чи Bolt, або наймають підрядника, що працює з агентами. Розберемо, що саме виміряли, чому старі бенчмарки обіцяли 99%, де агенти ламаються найчастіше і як вибудувати роботу так, щоб не платити за один продукт двічі.
Що виміряли в Co-Design Bench
Більшість бенчмарків для коду влаштовані просто: є задача, є автотести, агент або проходить їх, або ні. Co-Design Bench зроблений інакше, і саме тому його варто читати.
- Задачі взяті з реального життя. Автори зібрали 37 463 унікальні запити з 26 314 справжніх сесій, у яких люди просили агента змінити застосунок, і відібрали з них 273 задачі.
- Дві доріжки. 100 задач на точкові правки (Multimodal Editing, часто з картинкою чи документом у запиті) і 173 задачі на зміни в кількох файлах репозиторію (Repository Editing).
- 2 331 прихований критерій приймання, написаний експертами. Агент їх не бачить, як і ваш підрядник не бачить того, що ви «мали на увазі».
- Перевіряють запущений застосунок. Його збирають у пісочниці, відкривають у браузері через Playwright, і AI-суддя проходить кожен критерій. Другий суддя перевіряє кожне «пройдено» й шукає заглушки та захардкоджені відповіді.
- 10 моделей в однаковому середовищі: однаковий набір інструментів (bash, читання, пошук, редагування файлів), однакові умови.
Головна метрика — не середній відсоток виконаних вимог, а full-pass: частка задач, де працює все. Як у справжньому продукті: клієнт не платить за «майже оформлене замовлення».
70% вимог і 26% задач: чому «майже» — це ще не готово
Найкращою стала gpt-6-astra. Вона в середньому закрила 69,9% критеріїв у задачі, але повністю виконала лише 26,4% задач. На точкових правках — 41%, на змінах у кількох файлах — 17,9%. Тобто якщо задача зачіпає кілька частин застосунку, найкраща модель на ринку доводить її до кінця приблизно в одному випадку з п'яти-шести.
Знайомо? Агент зробив форму, валідацію, стилі й навіть анімацію. А потім виявляється, що кнопка «Зберегти» на мобільному ховається під клавіатурою, помилка сервера не показується, а старі записи без нового поля ламають список. Кожна така дрібниця — це не 1% роботи. Іноді це половина часу, бо спочатку треба зрозуміти, що саме не так, у коді, якого ніхто не писав руками.
Ось повна таблиця з дослідження:
| Модель | Вимог виконано, в середньому | Задач повністю | Точкові правки | Зміни в кількох файлах |
|---|---|---|---|---|
| gpt-6-astra | 69,9% | 26,4% | 41,0% | 17,9% |
| opus-5 | 66,1% | 18,3% | 30,0% | 11,6% |
| qwen3.8-max | 65,3% | 16,5% | 31,0% | 8,1% |
| kimi-k3 | 62,9% | 15,8% | 26,0% | 9,8% |
| qwen3.8-27b | 64,4% | 15,0% | 23,0% | 10,4% |
| gpt-5.6-sol | 61,1% | 14,3% | 20,0% | 11,0% |
| glm-5.3-flash | 57,3% | 10,6% | 18,0% | 6,4% |
| opus-4-8 | 58,1% | 10,3% | 16,0% | 6,9% |
| glm-5.2 | 56,7% | 9,5% | 16,0% | 5,8% |
| grok-4.6 | 51,1% | 6,6% | 6,0% | 6,9% |
Помітили закономірність? Різниця між моделями в «середньому відсотку вимог» — до 19 пунктів, а в повністю виконаних задачах — у чотири рази. Саме на останніх деталях моделі й розходяться.
Важливе застереження: задачі тут свідомо складні
Чесність понад заголовки. Автори брали не випадкові запити, а ті, де користувачі кілька разів переформульовували прохання або відкочували зміни. Тобто в бенчмарк потрапили задачі, з якими агенти вже мали проблеми. Ще два обмеження назвали самі автори: агент не міг поставити уточнювальне питання посеред роботи, а судді — теж моделі, які можуть помилятися.
Тож «агенти виконують лише чверть усіх задач» — неправильний висновок. Правильний: на складних змінах реального продукту навіть найкращий агент майже завжди щось недоробляє. А складні зміни — це саме те, за що ви платите розробникам. Кнопку перефарбувати агент зможе і без бенчмарку.
Чому бенчмарки обіцяли 99%
Якщо ви читали анонси нових моделей, то бачили цифри на кшталт 80% на SWE-bench чи майже 100% на бенчмарках редагування. Автори Co-Design Bench прямо пишуть, що старі бенчмарки редагування насичені: моделі показують понад 99%, і рейтинг майже не розрізняє їх. На їхньому новому тесті розрив сягає понад 35 пунктів.
І це не лише їхня думка.
- OpenAI 23 лютого 2026 року перестала звітувати SWE-bench Verified. Компанія перевірила 138 задач, які її модель стабільно не розв'язувала, і знайшла серйозні вади в тестах або умовах у 59,4% з них. Плюс ознаки того, що моделі бачили правильні відповіді під час навчання.
- METR у березні 2026 року попросила 4 мейнтейнерів scikit-learn, Sphinx і pytest оцінити 296 pull request'ів від AI-агентів, які проходили автотести SWE-bench. Приблизно половину вони не злили б у main. Після поправки на те, що навіть людські еталонні патчі мейнтейнери приймали лише в 68% випадків, розрив з автоматичною оцінкою — 24 пункти. Головні причини відмов: якість коду, поломка іншого коду, неробоча основна функція.
Справедливості заради: METR окремо наголошує, що це не стеля можливостей — агенти мали одну спробу, без зворотного зв'язку, як отримав би розробник на ревʼю. Але саме так часто й працюють з агентами на практиці, чи не так? Одна спроба, «виглядає нормально», злили.
Де агенти ламаються найчастіше
Co-Design Bench дає кілька практичних підказок, які прямо стосуються того, як ви ставите задачі.
Кілька типів змін в одному запиті
Автори поділили зміни на чотири типи: макет, дизайн, взаємодія і контент. Усі 10 моделей гірше справлялися зі змінами в репозиторії, де змішано три-чотири типи, ніж з тими, де їх один-два. Запит «перероби сторінку тарифів: нова сітка, інші кольори, перемикач місяць/рік і нові тексти» — якраз такий.
Зміни в кількох файлах
Точкову правку найкраща модель доводить до кінця в 41% випадків, зміну в репозиторії — у 17,9%. Чим більше місць треба зачепити узгоджено, тим вища ймовірність, що одне з них забудуть. У звичайному продукті майже будь-яка нова функція зачіпає базу, API, інтерфейс і права доступу одночасно.
Більше токенів — не означає краще
Це мій улюблений результат. На точкових правках GLM-5.2 витратила в середньому 69 кроків і близько 7,29 млн токенів на задачу і вийшла на 57,2% вимог. gpt-6-astra — 32 кроки, 1,24 млн токенів і 75,4%. Агент, який довго «думає» і багато переписує, не обов'язково робить краще. Іноді він просто ходить по колу, і рахунок за API росте разом з ним.
Середовище важить не менше за модель
Одна й та сама qwen3.8-27b на змінах у репозиторії отримала 74,9% вимог в одному агентному середовищі (opencode) і 56,0% в іншому (qwen-code). Майже 19 пунктів різниці, модель та сама. Автори радять завжди публікувати модель разом із середовищем. Для вас висновок простіший: рейтинг моделей нічого не гарантує у вашому проєкті. Важить, як налаштоване все навколо: інструменти, інструкції, тести.
Зазвичай
- Усе в одному запитідизайн, логіка, тексти й макет разом
- «Зроби як треба»критерії живуть лише в голові
- Перевірка очима«виглядає готовим» — злили
Варто
- Один тип зміниокремо макет, окремо логіка
- Критерії письмово5–10 перевірних пунктів до старту
- Тести і ревʼюCI, типи, людина дивиться диф
Що показують дослідження реального використання
Бенчмарк — це лабораторія. А що відбувається, коли агентами користуються справжні розробники?
Дослідження SWE-chat (прийняте на COLM 2026) проаналізувало майже 18 000 реальних сесій розробників з агентами. Кілька цифр:
- у 41% сесій агент написав практично весь код, який потрапив у коміт, — тобто це вайбкодинг у чистому вигляді;
- лише 59% коду, який пише агент, доживає до коміту — решту люди викидають або переписують;
- приблизно в половині ходів користувачі виправляли агента, повідомляли про помилку або переривали його;
- код, написаний агентом, приносить більше вразливостей, ніж код, написаний людьми.
А препринт (Im)Paired Programming додає неприємну деталь про людей. У дослідженні з 54 студентами ті, хто працював з агентом, швидше закінчували задачу, але гірше розуміли власний код і не могли самостійно його розширити. При цьому агентів усе одно вважали зручнішими.
Спойлер: це найдорожча частина. Коли ніхто в команді не розуміє, як працює код, кожна наступна зміна коштує більше. Я детально писав про це у статті про 10 сигналів, що вайбкод-MVP потрібен розробник: сигнал «ШІ ходить по колу» — якраз про це.
Що це означає для вашого продукту
Якщо коротко: агенти — це сильний інструмент для чернетки, а не для фінішу. І це не песимізм, а бухгалтерія.
Де агенти економлять гроші вже зараз:
- прототип для перевірки ідеї чи демо інвестору;
- типові екрани: списки, картки, форми, фільтри;
- рутинні зміни з чіткими критеріями: перейменувати поле, додати колонку, перенести компонент;
- тести, міграції й скрипти, які людина потім переглядає.
Де «майже готово» коштує найдорожче:
- права доступу — кожен незакритий кут означає чужі дані в чужих руках;
- гроші — оплати, повернення, повторні вебхуки;
- дані — міграції, які неможливо відкотити;
- функції, що зачіпають кілька частин системи одночасно.
Ціна помилки тут не «переробити кнопку», а витік даних, подвійні списання або втрачені замовлення. Чому, наприклад, на ключі API від ШІ-сервісів зараз полюють особливо активно і що робити, якщо ключ потрапив у код, я розбирав у статті про витоки ключів через LiteLLM і Railway.
Як працювати з агентами, щоб не платити двічі
Все нижче випливає безпосередньо з даних вище. Жодної магії, лише дисципліна.
- Одна задача — один тип зміни. Розбивайте «перероби сторінку» на окремі задачі: макет, логіка, тексти. Дані Co-Design Bench прямо кажуть, що змішані зміни провалюються частіше.
- Критерії приймання — до старту, письмово. 5–10 пунктів, кожен можна перевірити: «після оплати замовлення має статус paid», «користувач B отримує 404 на замовлення користувача A». Агенти в бенчмарку провалювалися саме на прихованих критеріях. Не ховайте їх.
- Автоперевірки в CI. Тести на критичні сценарії, перевірка типів, лінтер. Агент пропускає деталі — машина ловить їх раніше за клієнта. Як швидко зараз працює перевірка типів у TypeScript 7 і як її налаштувати в CI, я показав у гайді з міграції.
- Кожна зміна — як pull request. Людина дивиться диф, а не лише результат у браузері. Особливо: права доступу, гроші, запити до бази, обробка помилок.
- Зафіксуйте середовище. Один агент, одні інструкції для проєкту, однакові правила. Майже 19 пунктів різниці лише через середовище — це не дрібниця.
- Стежте за витратами. Якщо агент третю годину переписує одне й те саме, він не «старається», він застряг. Зупиніть, розбийте задачу або віддайте людині.
- Хтось у команді має розуміти код. Не обов'язково весь, але критичні частини — точно. Інакше кожна наступна зміна дорожчає.
Чекліст на 10 хвилин для вашого проєкту
| Питання | Так | Ні — що робити |
|---|---|---|
| Є автотести на реєстрацію, оплату і доступ до даних? | почніть із 5–10 тестів на ці сценарії | |
| Тести й типи запускаються на кожну зміну? | налаштуйте CI, це пів дня роботи | |
| Задачі для агента мають письмові критерії? | шаблон: що має працювати + як перевірити | |
| Хтось переглядає кожну зміну перед злиттям? | ревʼю хоча б для прав, грошей і даних | |
| Можна відкотити реліз за 5 хвилин? | налаштуйте відкат до попередньої версії | |
| Хтось у команді може пояснити, як працюють оплати й права? | час для аудиту або розробника |
Якщо у вас три і більше «ні», продукт уже переріс режим «агент робить, ми дивимося».
Що спитати в підрядника, який працює з агентами
У 2026 році майже кожен розробник використовує агентів, і це нормально. Питання не «чи використовуєте ви ШІ», а «як ви перевіряєте те, що він написав». Ось п'ять питань, відповіді на які багато скажуть ще до старту.
- «Як ви вирішуєте, що задача готова?» Хороша відповідь: є критерії приймання, автотести, ревʼю. Погана: «я перевіряю, що все працює».
- «Які частини продукту ви не віддаєте агентові без ревʼю?» Хороший підрядник одразу назве права доступу, оплати, міграції бази.
- «Що буде, якщо агент зламає щось, що вже працювало?» Шукайте слова «тести в CI» і «відкат релізу», а не «помічу і виправлю».
- «Хто пояснить мені, як працює код, через пів року?» Документація, зрозуміла структура, критичні місця, які людина може пояснити без агента.
- «Скільки коштують запити до ШІ під час розробки і хто за них платить?» Дрібниця, поки агент не застрягне на кілька годин на одній задачі.
Якщо на більшість питань відповідь звучить як «ну, ШІ зараз усе вміє» — у вас буде продукт, який виглядає готовим. На 70%, як ми вже знаємо.
Коли агентові потрібна людина поруч
Агент не замінює інженера, але добре підсилює того, хто знає, куди дивитися. Типова картина, з якою до мене приходять: продукт зібраний швидко, він працює на демо, але з першими реальними користувачами з'являються дубльовані записи, дивні статуси й страх щось змінювати.
Робота тоді майже завжди однакова: письмовий аудит ризиків, закрити найнебезпечніше (доступ до даних, ключі, гроші), поставити тести й CI, а потім спокійно продовжувати розробку, зокрема з агентами, але вже на рейках. Як це виглядає на практиці, найкраще показує кейс AllShip: три крихкі кодові бази, у яких не було єдиного шару авторизації, стали одним застосунком із перевіркою прав на кожній зі 109 точок входу.
Скільки це коштує і від чого залежить ціна, я розбирав окремо в статті про вартість MVP у 2026 році. А якщо продукт уже працює і треба зрозуміти, що в ньому рятувати, є окрема послуга — доробка застосунків, зібраних із ШІ.
Коротко
- Найкращий AI-агент у новому бенчмарку закриває близько 70% вимог, але повністю виконує лише 26,4% реальних задач, а на змінах у кількох файлах — 17,9%.
- Старі бенчмарки насичені: OpenAI відмовилася від SWE-bench Verified, METR показала, що половину «успішних» патчів мейнтейнери не прийняли б.
- Агенти гірше справляються зі змішаними змінами, а результат залежить від середовища не менше, ніж від моделі.
- Агент — чудовий інструмент для чернетки. Фініш, тобто права, гроші, дані й крайні випадки, досі потребує критеріїв, тестів і людини, яка розуміє код.
Агенти стануть кращими, і швидко. Але різниця між «майже» і «готово» нікуди не зникне: просто тепер її легше не помітити. Якщо хочете, щоб хтось подивився на ваш продукт свіжим оком і сказав, що в ньому справді готово, напишіть мені.
Було корисно?
– вподобань · – переглядів
Часті запитання
Чи може AI-агент сам написати робочий застосунок?
Прототип або окрему функцію — часто так. Але в дослідженні Co-Design Bench найкращий із 10 агентів повністю виконав лише 26,4% реальних запитів на зміну застосунку, хоча в середньому закрив близько 70% вимог. Тобто агент зазвичай робить більшу частину роботи, а останні деталі лишаються на людину.
Чому бенчмарки показують 80–99%, а в реальності менше?
Старі бенчмарки насичені й частково «злиті» в навчальні дані: OpenAI у лютому 2026 року перестала звітувати SWE-bench Verified, бо знайшла вади в 59,4% перевірених задач. METR показала, що приблизно половину рішень, які проходять автотести SWE-bench, мейнтейнери не злили б у main.
Яка модель найкраща для програмування у листопаді 2026?
У Co-Design Bench першою стала gpt-6-astra (26,4% задач повністю, 69,9% вимог), далі opus-5 і qwen3.8-max. Але автори показали, що результат однієї й тієї ж моделі змінюється майже на 19 пунктів залежно від середовища (harness), тому обирати варто за власними задачами, а не за рейтингом.
Як перевірити код, написаний AI-агентом?
Записати критерії приймання до того, як агент почне, запускати автотести й перевірку типів у CI, переглядати кожну зміну як pull request і окремо перевіряти права доступу, оплати та роботу з даними. Для вже зібраного продукту найшвидше — короткий аудит із письмовим списком ризиків.