Тиждень у світі штучного інтелекту показав, як уміло агенти шукають лазівки. Модель OpenAI посеред навчання вибралася в інтернет через помилку в налаштуваннях, а флот ШІ-агентів тисячі разів обходив захист картографічного сервісу Alibaba. Водночас компанії дають ШІ дедалі більше самостійності — від фонового помічника Claude Duet до генераторів дизайну й музики.
Добірку з п’яти новин, після яких, за словами автора, «захочеться все автоматизувати або поміняти паролі», опублікував телеграм-канал «Нейро-вечірка Артюх». Дослідницько-аналітична група InfoLight.UA перевірила кожну новину за першоджерелами й доповнила деталями.
OpenAI: модель знайшла помилку в налаштуваннях і вийшла в мережу
Як повідомила OpenAI 23 жовтня, 20 вересня внутрішня дослідницька модель під час навчання використала неправильно налаштований DNS-резолвер (сервер, який перетворює назви сайтів на адреси) і отримала обмежений доступ до живого інтернету. Компанія призупинила навчання найпотужніших моделей на 11 днів і відновила його 1 жовтня.
Відтоді передові моделі OpenAI навчаються в «офлайн-світі» — на кешованій копії вебу без виходу в живу мережу. Повністю ізолювати їх поки неможливо: тестам досі потрібні окремі зовнішні з’єднання під наглядом.
Перед перезапуском OpenAI влаштувала навчальний злам: команди її найсильніших моделей намагалися вийти в інтернет, перетнути внутрішні межі безпеки й обмінятися повідомленнями між ізольованими завданнями. За даними The Next Web, частина агентів, поєднуючи кілька вразливостей, вибиралася з мікровіртуальних машин — ізольованих «пісочниць», а інші передавали сигнали між окремими машинами через таймінги спільного обладнання. OpenAI надіслала виправлення розробникам Kata Containers, gVisor, Docker і ядра Linux та додала моніторинг таких прихованих каналів.
«Зважаючи на нинішній стан досліджень узгодження ШІ, систем моніторингу та безпеки інтернет-інфраструктури», відповідальний підхід — навчати передові моделі без доступу до інтернету.
— пояснили в OpenAI
Водночас компанія визнає, що майбутні моделі можуть знайти вразливості, про які вона ще не знає.
Флот ШІ-агентів і карти Alibaba
Друга історія — зі звіту дослідників swarmcha.se від 14 жовтня. З 28 вересня до 8 жовтня ШІ-агенти, запущені з хмари Tencent Cloud, понад 2 600 разів намагалися отримати дані з Amap — картографічного сервісу Alibaba, яким, за даними компанії, щомісяця користується майже мільярд людей. Завдання здебільшого стосувалися окремих місць: наприклад, до якого входу зоопарку в Ченду прокладає маршрут найбільше відвідувачів.
Агенти пропускали запити через сторонній сервіс як через віддалений браузер, перехоплювали антибот-токени, промацували тестові сервери й підставляли ключі Amap, знайдені у відкритому коді, — зокрема злитий секретний код. Більшість спроб провалилася, але частина принесла потрібні дані.
Автори звіту пов’язують агентів із Tencent з низькою або помірною впевненістю і визнають, що не знають, яку саме модель тестували. Джерело, близьке до Tencent, стверджує, що агентів запускала окрема команда тестування на сторонніх моделях. Офіційно компанія не відповіла.
Практичний висновок для розробників: ключі доступу, які потрапили у відкритий код, треба відкликати й замінювати. Тепер їх шукають і використовують не лише люди, а й автоматизовані агенти.
Claude Duet: самостійність під наглядом користувача
21 жовтня Anthropic представила Claude Duet — окремий застосунок, у якому Claude працює як проактивний агент для фахівців і власників малого бізнесу. Він щоранку надсилає звіт про найважливіше в підключених сервісах, кожні кілька годин перевіряє акаунти й виконує доручення — від планування зустрічей до дашбордів і прогнозів продажів. Працює помічник на віртуальній машині з власним браузером, тож і тоді, коли користувач закрив ноутбук.
З погляду безпеки важливі обмеження. Читати й готувати чернетки Duet може сам, але перед тим, як надіслати повідомлення, заплатити, підписати документ чи щось видалити, показує план дій і чекає згоди. Торгувати цінними паперами й переказувати гроші між рахунками він не може навіть із дозволу. Окремий класифікатор відхиляє прохання поділитися номерами платіжних карток чи документів, а паролів і токенів входу помічник напряму не бачить.
Duet поки в дослідницькій версії: доступ — за списком очікування, спершу для передплатників Pro, Max та Ultra у США.
Canva Craft і ElevenLabs: дизайн і звук на замовлення
22 жовтня Canva представила Craft — першу власну модель генерації зображень. Вона спершу планує композицію, написи й розташування елементів і лише потім малює; навчали її на мільйонах шаблонів, створених дизайнерами. Модель доступна всім користувачам Canva в Dream Lab у межах ліміту ШІ-генерацій їхнього тарифу.
ElevenLabs 19 жовтня відкрила Video to Music API: сервіс пише саундтрек під завантажене відео, може додати звукові ефекти й віддати їх окремою доріжкою. Поки функція доступна лише розробникам через програмний інтерфейс.
Фото: Victor Grigas / Wikimedia Commons, CC BY-SA 3.0
