У OpenAI заговорили про небезпеку ШІ: головний науковець закликав пригальмувати
Головний науковець OpenAI Якуб Пачоцький заявив, що лабораторії ШІ поки не мають достатньо надійних механізмів контролю, щоб ще довго нарощувати можливості моделей на максимальній швидкості. Він очікує, що добровільні паузи та уповільнення стануть звичайною практикою, доки індустрія не домовиться про спільні стандарти безпеки.
Його заява прозвучала лише через кілька днів після презентації GPT-6 Astra — найпотужнішої моделі OpenAI на цей момент. Компанія сама віднесла Astra до критичного рівня за можливостями у сфері кібербезпеки, що ще гостріше поставило питання про контроль над наступними поколіннями ШІ.
Пачоцький пояснює, що розвиток штучного інтелекту вже вступає у період, коли машини починають виконувати дедалі складніші завдання, працювати з комп’ютерами, проводити дослідження та допомагати людям у науковій роботі.
За його словами, проблема полягає в тому, що людство не до кінця розуміє, як виглядатиме перехід до світу з системами, інтелект яких у багатьох сферах може перевершувати людський.
Він згадує, що ще у 2023 році під час досліджень масштабування моделей у OpenAI з’явилося відчуття, що машини, здатні бути значно розумнішими за людей, можуть з’явитися вже за життя нинішнього покоління.
Відтоді прогрес різко прискорився. Сучасні моделі вже можуть користуватися програмами, взаємодіяти з людьми та іншими агентами, виконувати багатокрокові завдання й брати участь у дослідницьких проєктах.
Однак разом із можливостями зростають і ризики. Особливе занепокоєння викликають кібербезпека, концентрація технологічної влади в руках невеликої кількості людей і можливість появи систем, здатних допомагати створювати ще потужніші версії ШІ.
Пачоцький прямо пише, що жодна лабораторія, на його думку, поки не вирішила проблему узгодження поведінки моделей із людськими цілями та їхнього надійного моніторингу настільки добре, щоб безперервно масштабувати системи на максимальній швидкості.
Саме тому він очікує добровільних уповільнень. Йдеться не про повну зупинку розробок, а про ситуації, коли компанії тимчасово не форсують наступний стрибок можливостей, поки не з’являться достатні гарантії безпеки.
Окремо Пачоцький наголошує, що одних рішень компаній буде недостатньо. На його думку, міжнародна координація розвитку передового ШІ має стати одним із пріоритетів для урядів.
Причина проста: якщо одна лабораторія пригальмує, а конкуренти продовжать рухатися вперед, у неї виникне сильний стимул знову прискоритися. Тому правила мають охоплювати щонайменше найбільших учасників глобальної гонки.
Особливо показовим цей заклик став після запуску GPT-6 Astra 3 вересня. OpenAI називає її своєю найпотужнішою моделлю і першою широко розгорнутою системою компанії, яка досягла «критичного» рівня кіберможливостей.
За оцінкою OpenAI, за наявності необхідних інструментів і доступу Astra здатна знаходити раніше невідомі вразливості та створювати способи їх використання в добре захищених системах без участі людини на кожному окремому кроці.
Через це компанія навіть затримувала частину розробки та випуску Astra, поки посилювала захисні механізми. Тобто питання про те, чи варто іноді сповільнювати прогрес заради безпеки, для OpenAI вже не є суто теоретичним.
Пачоцький вважає, що головне завдання на найближчі роки — зберегти контроль людей над дедалі потужнішими системами. І якщо для цього знадобиться тимчасово зменшити швидкість гонки, такий сценарій він вважає виправданим.
🌟 Читайте «Експерт» у своєму смартфоні — додайте нас в Google Discover
