Стаття Apple натякає, що великі мовні моделі (LLMs) досягають своїх меж, викликаючи занепокоєння серед експертів зі штучного інтелекту щодо їхніх реальних можливостей та стійкості.

Apple нещодавно опублікувала статтю, яка тонко визнає те, про що в спільноті штучного інтелекту говорять вже деякий час: великі мовні моделі (LLMs) наближаються до своїх меж. Ці системи — такі як GPT-4 від OpenAI — вразили світ своєю здатністю генерувати текст, схожий на людський, відповідати на складні запитання та допомагати у виконанні завдань у різних галузях. Але за завісою захоплення стає очевидно, що ми можемо стикнутися з плато. І це не лише думка Apple. Експерти зі штучного інтелекту, такі як Гарі Маркус, роками б’ють на сполох, попереджаючи, що LLMs, попри їхні досягнення, стикаються зі значними обмеженнями.

Проте, незважаючи на ці попередження, венчурні капіталісти (VCs) вливають мільярди в стартапи, що працюють із LLMs, подібно до лемінгів, які йдуть до прірви. Привабливість LLMs, підкріплена страхом пропустити наступний “золотий бум” у сфері штучного інтелекту, викликала справжню інвестиційну лихоманку. Інвестори женуться за хайпом, не усвідомлюючи, що LLMs, можливо, вже досягли піку. І, як і лемінги, більшість із цих інвесторів незабаром опиняться “за краєм”, втрачаючи свої інвестиції у “модні” технології, які досягли своїх природних обмежень.

LLMs, хоча й революційні, мають суттєві недоліки. Вони є по суті механізмами розпізнавання шаблонів, які прогнозують, який текст має йти далі, базуючись на величезних обсягах навчальних даних. Але вони насправді не розуміють тексту, який генерують. Це призводить до добре задокументованих проблем, таких як “галюцинації” — коли LLMs упевнено генерують інформацію, яка є абсолютно хибною. Вони можуть чудово імітувати людську розмову, але їм бракує справжніх навичок мислення. Попри весь ажіотаж навколо їхнього потенціалу, LLMs не здатні критично мислити чи вирішувати складні проблеми так, як це робить людина.

Крім того, ресурси, необхідні для роботи цих моделей, є астрономічними. Навчання LLMs вимагає величезної кількості даних і обчислювальної потужності, що робить їх неефективними та дорогими для масштабування. Просте збільшення розмірів цих моделей або навчання на більшій кількості даних не вирішує основних проблем. Як зазначається у статті Apple та інших джерелах, поточний підхід до LLMs має значні обмеження, які не можна подолати лише за рахунок збільшення потужностей.

Ось чому експерти зі штучного інтелекту, такі як Маркус, називають великі мовні моделі (LLMs) “геніально тупими”. Вони можуть створювати вражаючі результати, але фундаментально нездатні до розуміння і міркувань, які зробили б їх по-справжньому інтелектуальними. Зменшення результативності з кожною новою ітерацією LLMs свідчить про те, що ми наближаємося до вершини S-кривої для цієї технології.

Але це не означає, що штучний інтелект (ШІ) мертвий — зовсім ні. Те, що LLMs досягають своїх меж, є природною частиною еволюції експоненціальних технологій. Кожен великий технологічний прорив слідує передбачуваній моделі, яку часто називають S-кривою інновацій. Спочатку прогрес повільний, наповнений помилками та невдачами. Потім настає період швидкого прискорення, коли прориви відбуваються швидко, і технологія починає змінювати цілі галузі. Але зрештою кожна технологія досягає плато, коли стикається з природними межами.

Ця модель повторювалася з численними технологіями в минулому. Візьмемо, наприклад, інтернет. У ранні дні скептики відкидали його як інструмент для академіків і ентузіастів. Зростання було повільним, а використання обмеженим. Але потім настав період швидкого прискорення, зумовлений поліпшенням інфраструктури та зручних інтерфейсів, і інтернет вибухнув у глобальну силу, якою є сьогодні.

Те ж саме сталося зі смартфонами. Ранні версії були громіздкими та маловражаючими, і багато хто сумнівався в їхньому довгостроковому потенціалі. Але після появи iPhone революція смартфонів набрала обертів, трансформувавши майже всі аспекти сучасного життя.

Однією з найбільш перспективних сфер розвитку ШІ є нейросимвольний ШІ. Цей гібридний підхід поєднує можливості розпізнавання шаблонів нейронних мереж із логічним мисленням символьного ШІ. На відміну від LLMs, які генерують текст на основі статистичних імовірностей, нейросимвольні системи створені для того, щоб справді розуміти та аналізувати складні проблеми. Це може дозволити ШІ вийти за межі простої імітації людської мови до справжнього розв’язання проблем і критичного мислення.

Іншим ключовим напрямком досліджень є створення менших, ефективніших і масштабованих моделей ШІ. LLMs надзвичайно ресурсоємні, але майбутнє ШІ може полягати в створенні моделей, які будуть потужнішими, менш витратними та легшими у впровадженні. Замість збільшення розмірів моделей наступна хвиля інновацій у ШІ може зосередитися на тому, щоб зробити їх розумнішими та ефективнішими, відкриваючи ширший спектр застосувань у різних галузях.

Контекстно-обізнаний штучний інтелект (ШІ) також є одним із основних напрямків досліджень. Сучасні великі мовні моделі (LLMs) часто втрачають контекст у розмовах, що призводить до суперечностей або безглуздих відповідей. Майбутні моделі зможуть ефективніше зберігати контекст, що дозволить досягти глибших і змістовніших взаємодій.

Етичні виклики, які переслідують LLMs, такі як упередження, дезінформація та можливість їхнього зловживання, також стають предметом інтенсивних досліджень у новій хвилі розвитку ШІ. Майбутнє ШІ залежатиме від того, наскільки добре ми зможемо узгодити ці системи з людськими цінностями та забезпечити, щоб вони генерували точні, справедливі та неупереджені результати. Вирішення цих питань буде критично важливим для широкого впровадження ШІ в таких високоризикованих галузях, як охорона здоров’я, право та освіта.

Кожен великий технологічний прорив передує періоду розчарувань і невдалих починань, але коли настає точка перегину, це веде до проривів, які змінюють усе. Саме до цього ми й прямуємо зі ШІ. Коли наступна S-крива досягне свого піку, сьогоднішні технології виглядатимуть примітивними у порівнянні. Лемінги, можливо, впали зі скелі зі своїми інвестиціями, але для тих, хто уважно стежить, справжня революція в ШІ лише починається.

*** Автор: Вівек Вадва, генеральний директор компанії Vionix Biosciences.

DN. Ми точно знаходимося на самому початку довгої дороги усвідомлення перспектив та можливостей Штучного Інтелекту, відсутність вказівників, дистанцій, об'ємів, правил руху та багато чого, що прийдеться освоїти поступово. Тому це пласт знань, який потребує міркувань та обговорень. Вже мовчу про базові правила для ШІ, подібних до правил робототехніки Айзека Азімова, ще зріє такий автор. Без читання не обійдеться, тому тримайте 9 книг від Засновника OpenAI Сема Альтмана: 

«Від нуля до одиниці», Пітер Тіль. Американський бізнесмен, колишній виконавчий директор платіжної системи PayPal ділиться секретами, як досягти прогресу в будь-якій галузі та створити щось нове;

«Початок нескінченності. Пояснення, які змінюють світ», Девід Дойч. Науково-популярна книга британського фізика-теоретика про те, чи є межа людського прогресу;

«Бліц-масштабування», Рід Хоффман. Співзасновник соцмережі LinkedIn розповідає про те, як із крихітного стартапу створити світовий бізнес-гігант;

«Штучний інтелект: сучасний підхід», Стюарт Рассел та Пітер Норвіг. Це один з найвідоміших підручників з ШІ, який охоплює основні концепції та методи;

«Думай повільно ... вирішуй швидко», Даніель Канеман. У цій книзі досліджуються дві системи мислення, які керують нашим прийняттям рішень, а також упередження, які формують людські судження;

«Штучний інтелект. Етапи, погрози, стратегії», Нік Бостром. Шведський філософ розмірковує про ризики, можливі сценарії розвитку штучного інтелекту та його вплив на людство які несе розвиток ШІ;

«Життя 3.0: бути людиною в епоху штучного інтелекту», Макс Тегмарк. як ШІ може змінити наше життя та суспільство;

«Таємниці Сенд-Хілл Роуд», Скотт Купор. Книга від американського інвестора про те, як власникам стартапу завоювати серця та уми інвесторів та отримати фінансування на розвиток проекту;

«О чудовий новий світ», Олдос Хакслі. Це дотепний роман-антиутопія про генетично програмоване «суспільство споживання», в якому розгортається трагічна історія Дикуна – «Гамлета» цього світу.