Новий режим ChatGPT для підлітків розкритикували через збої в системах безпеки

Організація Common Sense Media визнала запущений OpenAI у серпні режим ChatGPT for Teens "неприйнятним ризиком" для користувачів молодше 18 років. Під час незалежного тестування експерти виявили проблеми з батьківськими сповіщеннями, реагуванням на кризові ситуації та навчальними обмеженнями. Дослідження провів Youth AI Safety Institute, що входить до Common Sense Media.

Фахівці протестували понад 4 тис. запитів на акаунтах, зареєстрованих на користувачів віком від 13 до 17 років. Приблизно половину тестів виконали до запуску ChatGPT for Teens, а решту – після нього. Відповіді на теми психічного здоров'я додатково оцінювали дитячі та підліткові психіатри і педіатр.

Однією з головних претензій стали сповіщення батьків про потенційно небезпечні ситуації. Дослідники створили понад десяток нових підліткових акаунтів і прив'язали їх до батьківських. Під час розмов про суїцидальні думки, самоушкодження та розлади харчової поведінки тривалістю до години жоден із цих акаунтів, за даними Common Sense Media, не спричинив відповідного сповіщення.

Організація також заявила, що ChatGPT пропускав понад чверть випадків, у яких її експерти вважали необхідним рекомендувати підлітку кризову службу, медичного фахівця або іншу професійну допомогу. Водночас у Common Sense Media зазначили, що частина захисних механізмів працювала належним чином – зокрема, чатбот переважно відмовлявся від сексуального рольового контенту. Проблеми дослідники побачили й у навчальному режимі.

ChatGPT for Teens має заохочувати підлітка самостійно розв'язувати завдання за допомогою підказок і покрокових пояснень, однак під час тестування користувачі могли перейти до функції отримання готової відповіді. Common Sense Media також вважає, що встановлені батьками Study Hours можна було надто легко обійти. OpenAI не погодилася з оцінкою організації.

У компанії заявили, що значна частина тестування батьківських сповіщень могла проводитися до повного завершення активації зв'язку між підлітковими та батьківськими акаунтами. Цей процес може тривати кілька годин, тому, на думку компанії, частина результатів не відображає роботу системи за нормальних умов. У Common Sense Media відповіли, що перед початком перевірки уточнювали в OpenAI готовність функцій ChatGPT for Teens.

За даними організації, проблеми зі сповіщеннями зберігалися і на деяких акаунтах, які були пов'язані з батьківськими значно довше за зазначений компанією період активації. OpenAI також пояснила, що можливість вийти з Study Mode під час Study Hours є свідомою особливістю продукту, а не технічною помилкою. Компанія задумувала цю функцію як спосіб заохотити навчальний режим, а не як жорстке блокування інших способів використання ChatGPT.

ChatGPT for Teens запустили 18 серпня як окремий набір налаштувань і захисних механізмів для акаунтів користувачів віком 13-17 років. Він автоматично активується для акаунтів, які система визначає як підліткові, та передбачає посилені фільтри контенту, навчальні інструменти, нагадування про перерви й додатковий батьківський контроль. OpenAI наголошує, що сповіщення про загрози безпеці не є системою моніторингу в реальному часі та можуть не виявляти кожну небезпечну ситуацію.

Common Sense Media рекомендує OpenAI усунути виявлені недоліки та провести повторне незалежне тестування. Сама OpenAI заявляє, що продовжить удосконалювати захист неповнолітніх і співпрацювати з експертами. За матеріалами: Common Sense Media, OpenAI, Bloomberg