З OpenAI пішов ще один топменеджер. Причина — нехтування безпекою – ForkLog UA
Минулого тижня OpenAI залишили два ключові співробітники — співзасновник і провідний дослідник Ілля Суцкевер і Ян Лейке. Останній очолював команду, що відповідає за безпеку і створення орієнтованих на людину моделей ШІ.
Після цього компанія розпустила їхній відділ, що займався довгостроковими ризиками штучного інтелекту (Superalignment), про створення якого оголосила в липні 2023 року, пише CNBC з посиланням на джерело.
Із чого почався вихід
У квітні The Information повідомило, що OpenAI звільнила двох дослідників — Леопольда Ашенбреннера, якого вважали соратником Суцкевера, і Павла Ізмайлова. Згідно з виданням, причиною став можливий витік корпоративної інформації.
Вони працювали у відділі Superalignment, звідки також звільнилися Деніел Кокотайло і Вільям Сондерс. За словами першого, він ухвалив таке рішення «через втрату впевненості в тому, що [OpenAI] поводитиметься відповідально за часів AGI».
15 травня про відставку оголосив Суцкевер. Він висловив упевненість, що команда створить безпечний і корисний загальний штучний інтелект.
«Для мене було честю і привілеєм працювати разом, і я буду дуже сумувати за всіма. Бувай і спасибі за все», — ідеться в повідомленні.
Місце Суцкевера зайняв Якуб Пачоцький. Раніше він керував дослідженнями фірми і розробкою GPT-4.
Суцкевер вважався одним з ініціаторів звільнення Альтмана в листопаді 2023 року. Саме від нього CEO отримав запрошення на онлайн-дзвінок із радою директорів, на якому озвучили рішення.
Після повернення генерального директора Суцкевер позбувся крісла в правлінні, але продовжив працювати в компанії. Тоді Альтман заявив, що не має до нього «жодної неприязні».
У коментарях під постом тепер уже колишнього топменеджера з’явилося припущення, що нинішнє керівництво OpenAI «не зацікавлене у створенні безпечного AGI».
After almost a decade, I have made the decision to leave OpenAI. The company’s trajectory has been nothing short of miraculous, and I’m confident that OpenAI will build AGI that is both safe and beneficial under the leadership of @sama, @gdb, @miramurati and now, under the…
— Ilya Sutskever (@ilyasut) May 14, 2024
«Чому 8 млрд звичайних людей, таких як ми, мають бути впевнені в тому, що OpenAI поставить безпеку людства вище за їхнє власне багатство, владу і зарозумілість?», — написав користувач.
Суцкевер вважав за краще не порушувати це питання на відміну від Лейке.
Звинувачення від колишнього
Лейке оголосив про свій відхід 15 травня, а через два дні пояснив у X причини такого рішення.
Stepping away from this job has been one of the hardest things I have ever done, because we urgently need to figure out how to steer and control AI systems much smarter than us.
— Jan Leike (@janleike) May 17, 2024
«Я приєднався [до компанії], тому що вважав, що OpenAI буде найкращим місцем у світі для проведення цих [управління та контроль ШІ-систем] досліджень. Однак я досить довго не погоджувався з керівництвом OpenAI з приводу основних пріоритетів компанії, поки, нарешті, не настав переломний момент. Останні кілька місяців моя команда йшла проти вітру», — написав колишній топменеджер.
За його словами, в останні роки культура і процеси безпеки відійшли на другий план, «поступившись місцем блискучим продуктам».
«Нам уже давно пора серйозно поставитися до наслідків AGI. Ми повинні приділяти пріоритетну увагу підготовці до них, наскільки це можливо. Тільки тоді ми зможемо гарантувати, що AGI принесе користь усьому людству», — наголосив Лейке.
Він зазначив, що OpenAI має стати орієнтованою на безпеку загального штучного інтелекту компанією. Звертаючись до колишніх колег, дослідник нагадав, що «світ розраховує на вас».
OpenAI must become a safety-first AGI company.
— Jan Leike (@janleike) May 17, 2024
Реакція OpenAI
На заяви Лейке відреагували CEO OpenAI Сем Альтман і президент компанії Грег Брокман.
We’re really grateful to Jan for everything he's done for OpenAI, and we know he'll continue to contribute to the mission from outside. In light of the questions his departure has raised, we wanted to explain a bit about how we think about our overall strategy.
First, we have… https://t.co/djlcqEiLLN
— Greg Brockman (@gdb) May 18, 2024
«Ми дуже вдячні Яну за все, що він зробив для OpenAI […]. У світлі питань, які підняв його відхід, ми хотіли розповісти про те, що думаємо про нашу загальну стратегію», — ідеться в повідомленні.
За словами топменеджерів, компанія підвищила обізнаність про ризики і можливості AGI, «щоб світ міг краще підготуватися до нього».
«По-друге, ми закладаємо основи, необхідні для безпечного розгортання все більш ефективних систем. […] По-третє, майбутнє буде важчим за минуле. Нам необхідно продовжувати вдосконалювати нашу роботу із забезпечення безпеки, щоб відповідати вимогам кожної нової моделі», — підкреслили Альтман і Брокман.
Вони наголосили на необхідності ретельного тестування та безпеки, проведення досліджень і співпраці з владою або зацікавленими сторонами в питаннях протидії ризикам.
«[…] ми дуже серйозно ставимося до своєї ролі і ретельно зважуємо відгуки про наші дії», — підкреслило керівництво OpenAI.
Нагадаємо, у листопаді 2023 року Альтман заявив про намір залучити додаткове фінансування від Microsoft для створення AGI і розповів про наступне покоління моделі штучного інтелекту — GPT-5.
У травні 2024 року очільник OpenAI зазначив, що майбутнє ШІ ознаменується появою і зростанням популярності персональних помічників. Вони стануть невід’ємною частиною повсякденного життя і навіть замінять смартфони.
Того ж місяця компанія представила «більш людяну» версію свого чат-бота — GPT-4o.
