Автор: Анастасія Печенюк
Чат-боти зі штучним інтелектом рекламуються як інструменти, що можуть допомогти програмістам ефективніше виконувати свою роботу. Однак аналіз показав, що 52% відповідей ChatGPT щодо програмування є хибними, і люди цього не помічають.
Упродовж останніх років програмісти дедалі частіше звертаються до чат-ботів зі штучним інтелектом, як ChatGPT від OpenAI, у пошуках допомоги з роботою. Однак дослідження Університету Пердью (США) показало, що цей помічник щонайменше є не дуже надійним.
Відео дня
Дослідники розглянули 517 запитань щодо програмування на вебсайті для програмістів із запитаннями та відповідями Stack Overflow. Відповісти на ці запитання запропонували й ChatGPT. Більшість відповідей чат-бота були хибними.
Читайте також:
Логіка присутня. Штучний інтелект запропонував приклеювати сир на піцу, аби він не стікав
«Наш аналіз показує, що 52% відповідей ChatGPT містять невірну інформацію, а 77% — багатослівні. З усім тим, учасники нашого дослідження користувачів усе ще віддавали перевагу відповідям ChatGPT у 35% випадків через їх вичерпність і добре сформульований стиль мови. Однак вони також не помітили дезінформацію у відповідях ChatGPT у 39% випадків. Це пояснює необхідність протидіяти дезінформації у відповідях ChatGPT на запитання щодо програмування та підвищувати обізнаність про ризики, пов’язані з, здавалося б, правильними відповідями», — кажуть дослідники.
Результати лінгвістичного аналізу, проведеного дослідниками, показали, що відповіді ChatGPT є дуже формальними та рідко описують негативні настрої. Це, на переконання дослідників, також сприяє тому, що користувачі схильні довіряти цим відповідям.
«Очікуємо, що ця робота сприятиме більшій кількості досліджень щодо прозорості та повідомлень про некоректність у відповідях, згенерованих машиною, особливо в контексті програмування», — наголошують дослідники.
Читати далі
