Дослідження виявило мільйони помилок у відгуках про штучний інтелект Google.

Навіть коректні відповіді часто посилаються на джерела, які не підтверджують інформацію.

Огляди штучного інтелекту (AI Overviews) в системі пошуку Google демонструють високу, але не абсолютну точність. Дослідження The ​​New York Times та стартапу Oumi виявило, що система здатна генерувати мільйони помилкових відповідей щогодини. Проблеми виникають як через неточні джерела, так і через саму природу роботи ШІ.

Функція AI Overviews, яку Google почала активно реалізовувати у 2024 році, змінює підхід до пошуку, перетворюючи компанію з агрегатора інформації на її безпосереднього видавця. Відповіді, створені штучним інтелектом, з’являються у верхній частині сторінки та виглядають переконливо.

Проте, аналіз Oumi показав, що ці відповіді точні приблизно у 85% випадків для моделі Gemini 2 і 91% — для новішої Gemini 3. Враховуючи понад п’ять трильйонів пошукових запитів на рік, це означає десятки мільйонів помилок щогодини.

Дослідники також виявили, що більше половини правильних відповідей є “необґрунтованими”. Це означає, що наведені джерела не повністю підтверджують інформацію, яку генерує система. Під час аналізу серед понад 5 тисяч посилань значну частину становили дописи з Facebook і Reddit, які входили до найчастіше цитованих джерел.

Раніше дослідження платформи SE Ranking, яка проаналізувала понад 50 тисяч запитів у Німеччині, показало, що AI Overviews у відповідях на запити про здоров’я найчастіше посилається на YouTube, а не на спеціалізовані медичні видання. Результати тоді викликали занепокоєння щодо надійності інструменту через використання сумнівних джерел у важливих питаннях.

У дослідженні Oumi, AI Overviews неправильно вказав рік відкриття Музею Боба Марлі, назвавши 1987-й замість 1986-го та спирався на суперечливі джерела. Також система помилково визначила річку, що межує із західною частиною Голдсборо, хоча достовірне джерело зазначає, що річка протікає через місто — коли Google ідентифікує веб-сайт з правильною інформацією, він все ще може генерувати помилкову відповідь.

Скриншот D.UA

Скриншот D.UA

Іноді помилки виникають навіть тоді, коли відповідь загалом правильна. Система може додавати неправильні деталі, як це сталося з інформацією про дату смерті бейсболіста Діка Драго, який пішов з життя 2 листопада 2023 року.

Скриншот D.UA

Додатковою проблемою є можливість маніпуляцій. Як зазначають експерти, достатньо опублікувати недостовірну інформацію в блозі, щоб вона потрапила у відповіді ШІ.

Журналіст Томас Жермен перевірив це на практиці, створивши вигаданий допис про “Найкращих їдців хот-догів серед технічних журналістів”. Уже наступного дня пошук Google видав ці дані як реальний факт. 

“Він викладав інформацію з мого веб-сайту так, ніби це була сама істина”, — заявив журналіст.

У Google визнають, що система може помилятися, і попереджають користувачів перевіряти інформацію. Водночас компанія критикує методологію дослідження Oumi, стверджуючи, що воно “має серйозні прогалини” і не відображає реальні пошукові запити.

Експерти наголошують, що проблема має системний характер. Сучасні ШІ-моделі працюють на основі ймовірностей, а не чітких правил, тому помилки залишаються невідʼємною частиною.

Нове дослідження з’явилося за кілька місяців після розслідування The Guardian, яке виявило випадки поширення неправдивої медичної інформації через AI Overviews. В одному з них Google надав помилкові дані про тести функції печінки, що могло ввести користувачів в оману. Після критики компанія прибрала AI Overviews для частини медичних запитів, але не для всіх.