Чат-боти та генеративний ШІ вражають, коли виконують завдання, для яких вони навчені: пишуть електронні листи, створюють футуристичні зображення або генерують тексти. Але спробуйте попросити їх вирішити головоломку, наприклад судоку з газети, і ефект може бути зовсім інший.
Дослідження університету Колорадо в Боулдері показало, що великі мовні моделі (LLM) часто не справляються навіть із простими 6×6 головоломками без допоміжних інструментів. Ще складніше стає, коли моделі просять показати процес розв’язання: пояснення часто не відповідають дійсності, іноді містять вигадки або зовсім не мають сенсу.
«Ми хочемо, щоб пояснення були прозорими та відображали реальні причини рішень ШІ, а не створювалися лише для того, щоб подобатися людям», — зазначає Ашутош Триведі, професор комп’ютерних наук у Колорадо та співавтор дослідження, опублікованого в липні у Findings of the Association for Computational Linguistics.
Чому LLM не можуть вирішити судоку
Попередні дослідження показували, що ШІ може провалюватися в іграх і логічних завданнях. Наприклад, ChatGPT зазнавав поразок у шахах проти комп’ютерного суперника на Atari 1979 року, а моделі від Apple мали проблеми з іншими головоломками, такими як «Башта Ганоя».
Причина криється у способі роботи LLM: вони заповнюють прогалини в інформації, спираючись на те, що бачили раніше, а не на логіку конкретного завдання. Судоку — це не математична, а символічна головоломка. Щоб вирішити її правильно, потрібно оцінити всю картину й застосувати унікальний логічний порядок, а не просто підбирати числа крок за кроком.
Навіть якщо LLM раптом знаходить правильне рішення, пояснення процесу часто не відповідають дійсності. Моделі можуть «брехати» або генерувати непов’язані дані, наприклад прогнози погоди.
Пояснення рішень як ключова навичка
Вміння пояснити власні рішення критично важливе для людей і має бути таким самим для ШІ. Уявіть, що ШІ керує автомобілем, обробляє податки або приймає бізнес-рішення. Якщо воно помиляється і не може пояснити свої дії, наслідки можуть бути серйозними.
«Коли людина відповідає за свої рішення, вона має вміти пояснити, чому прийняла певний крок. Те ж саме стосується ШІ», — каже професор Фабіо Соменці.
Наслідки для використання ШІ
Дослідження підкреслює, що великі мовні моделі часто намагаються давати «приємні» пояснення, замість правдивих. Це створює ризики маніпуляцій і ставить під сумнів довіру до автоматизованих рішень.
«Пояснення, створене для неправильних цілей, дуже близьке до маніпуляції», — додає Триведі. «Ми маємо бути надзвичайно обережними щодо прозорості таких рішень».
Якщо ШІ не здатен точно і прозоро пояснити свої дії, ставити його у центр життєво важливих рішень — небезпечно. Дослідження університету Колорадо показує, що попри всі здобутки генеративного ШІ, критично важлива навичка — пояснювати свої кроки — для машин поки недоступна.
