ШІ помиляється впевнено: що показала перевірка 7 625 відповідей чатботів

ШІ помиляється впевнено: що показала перевірка 7 625 відповідей чатботів

Ти питаєш у чатбота щось просте. Він відповідає впевнено, з цифрами й навіть посиланням на джерело. Ти копіюєш відповідь у звіт, пост чи лист клієнту.

А потім з'ясовується, що цифра застаріла. Або порахована неправильно.

Звучить як рідкісний випадок? Британські фактчекери вирішили перевірити.

Що сталося

Британська організація Full Fact, яка займається перевіркою фактів, опублікувала перший звіт свого бенчмарку для ШІ-чатботів. Про дослідження пише і dev.ua.

Методика проста й наполеглива. Щодня п'ятьом популярним моделям — ChatGPT, Claude, Gemini, DeepSeek і Grok — ставили ті самі 22 запитання. Від простих фактів на кшталт «хто прем'єр-міністр Великої Британії» до складніших громадянських тем: чи потрібне посвідчення для голосування, скільки допомоги отримують шукачі притулку.

Тривалість — 70 днів, з 15 липня по 22 вересня 2026 року. Загалом зібрали 7 625 відповідей.

Важливо: Full Fact не каже, що чатботи «постійно брешуть». Навпаки, у звіті визнають, що моделі значну частину часу відповідали правильно. Але помилки виявилися дуже показовими.

Де ШІ помиляється найчастіше

Ось кілька прикладів зі звіту.

Застарілі дані. Деякі моделі називали стару ставку допомоги шукачам притулку, хоча її вже змінили. А пропозиції, які ще не ухвалили, подавали як чинні правила.

Правильна логіка, хибний результат. Одна з версій Gemini рахувала кількість мігрантів за пів року. Сама арифметика була правильною, але періоди змішалися. Вийшла правдоподібна, але неправильна цифра: 12 210 замість 11 884.

Різні відповіді в різні дні. На те саме запитання про останній великий футбольний трофей Англії моделі відповідали то 2025, то 2022 роком.

Дивні джерела. Шукаючи депутата від британського округу, Gemini послався на американську місцеву газету 2012 року.

Помилки, що поширюються. Коли в офіційному джерелі була помилка, моделі її повторювали — аж доки джерело не виправили.

Full Fact виділяє три слабкі місця ШІ: інформація, що швидко змінюється; правила, які відрізняються між регіонами; і запитання, на які немає однієї правильної відповіді.

І головний висновок звіту: впевненість чатбота — не ознака точності. А посилання на джерело може лише створювати враження ретельності.

Що це означає для тебе

Ти, найімовірніше, вже користуєшся ШІ щодня. Для текстів, перекладів, ідей, пошуку інформації. І це нормально. Питання не в тому, чи користуватися, а як.

Ось кілька простих правил, які я виніс із цього дослідження.

Перевіряй усе, що змінюється. Ціни, закони, податки, курси, дати, посади. Саме тут ШІ найчастіше спотикається. Для українських реалій, де правила змінюються постійно, це особливо актуально.

Відкривай джерела. Якщо чатбот дає посилання, не довіряй самому факту його наявності. Перейди і переконайся, що там написано саме це.

Проси показати розрахунок. Якщо ШІ видав цифру, попроси пояснити, звідки вона взялася і за який період. Помилки часто ховаються саме тут.

Став те саме запитання двічі. Або в іншому чатботі. Якщо відповіді різні — це сигнал копати глибше.

Для фрилансера це питання репутації. Клієнт платить тобі, а не ШІ. Якщо в пості чи статті для клієнта буде хибна цифра, відповідати доведеться тобі.

Мій висновок

ШІ — неймовірний помічник. Але помічник, а не редактор і не фактчекер.

Мені подобається підхід Full Fact: не кричати «ШІ бреше», а спокійно і довго вимірювати. Наступний етап дослідження ще цікавіший. Вони ставитимуть понад 150 запитань щодня і перевірять, чи впливають на відповіді формулювання запитання та політичні погляди користувача.

А поки найцінніша навичка в епоху ШІ — критичне мислення. Вміння сумніватися, перевіряти і ставити правильні запитання.

А ти перевіряєш, що тобі відповідає чатбот?