ИИ официально зашел в тупик и последствия будут катастрофическими
Для того чтобы генеративные модели ИИ продолжали совершенствоваться с прежней скоростью, многочисленные исследования и эксперты в области ИИ указывают на то, что объем обучающих данных, вычислительная мощность и потребление энергии должны расти в геометрической прогрессии. Но это просто невозможно, и еще в апреле OpenAI и другие компании, занимающиеся разработкой генеративного ИИ, казалось, уже столкнулись с жесткими ограничениями в этих областях. Последние репортажи, интервью и исследования это подтвердили.
Эти отчеты поступили от изданий The Information и Reuters. The Information опубликовала статью, в которой подробно рассказывается о том, что следующий текстовый ИИ под кодовым названием Orion лишь незначительно превосходит текущую модель Chat GPT-4o, несмотря на использование гораздо большего набора обучающих данных. В публикации говорится, что «некоторые исследователи из компании считают, что Orion не может быть достоверно лучше своего предшественника в решении определенных задач» и что «Orion лучше справляется с языковыми задачами, но не может превзойти предыдущие модели в таких задачах, как кодирование».
По данным The Information, Orion достиг уровня возможностей GPT-4 после обучения всего на 20 % учебных данных, но после этого практически не улучшился. Поскольку в последние годы методы обучения ИИ, как известно, зашли в тупик, мы можем сделать обоснованное предположение, что это означает, что Orion имеет набор обучающих данных в пять раз больше, чем GPT-4, но при этом он не стал заметно лучше. Это прекрасно демонстрирует и доказывает проблему убывающей отдачи.
Чтобы еще больше подчеркнуть эту проблему, агентство Reuters взяло интервью у недавно отстраненного от должности соучредителя OpenAI Ильи Суцкевера. В интервью Суцкевер заявил, что недавние тесты компании, направленные на расширение масштабов ее моделей, свидетельствуют о том, что эти усилия зашли в тупик. По его мнению, ИИ не может стать лучше, если просто скармливать ему больше данных.
Недавние исследования также подтверждают слова Суцкевера и объясняют, почему Orion в конечном счете оказался в проигрыше. Одно из этих исследований показало, что по мере того, как модели ИИ получают больше данных и становятся крупнее, они не становятся лучше в целом, а становятся лучше в конкретных задачах за счет более широкого применения. Это видно на примере модели o1 от OpenAI, которая больше, чем GPT-4o, и лучше решает математические задачи, но не так хороша в эффективном письме. Это также видно на примере FSD компании Tesla. По мере того как программное обеспечение все лучше справлялось с более сложными дорожными проблемами, оно, как сообщается, начало терять базовые навыки вождения и стало заносить на поворотах.
Еще одна компания обнаружила, что при нынешних темпах развития генеративного ИИ у таких компаний, как OpenAI, к 2026 году закончатся высококачественные свежие данные для разработки своих ИИ! Таким образом, улучшение ИИ за счет простого увеличения объема моделей в ближайшем будущем не представляется возможным. Некоторые предполагают, что причина неудач Orion в том, что OpenAI не может собрать достаточно данных, чтобы сделать его лучше, чем GPT-4o.
Но, так или иначе, это показывает, что предсказания о внезапном застое генеративного ИИ сбылись.
Существуют возможные решения этой проблемы, например, оптимизация процесса создания ИИ для уменьшения количества необходимых обучающих данных, совместная работа нескольких ИИ или внедрение новой вычислительной архитектуры, позволяющей сделать инфраструктуру ИИ гораздо более эффективной. Однако все эти решения находятся в зачаточном состоянии, и до их внедрения еще много лет. Более того, эти решения лишь откладывают решение проблемы на потом, поскольку все, что они делают, - это повышают эффективность использования энергии и данных для ИИ, а также не решают вопрос о том, где эти компании будут получать больше свежих высококачественных данных в будущем.
Итак, почему это важно?
Большие технологические компании вложили миллиарды долларов в ИИ, обещая, что в будущем он станет экспоненциально лучше и принесет огромную прибыль. К сожалению, теперь мы знаем, что этого просто не произойдет.
Возьмем, к примеру, OpenAI. Еще несколько месяцев назад прогнозировалось, что ее годовой убыток составит 5 миллиардов долларов и ей грозит банкротство. Еще хуже то, что выпущенные ею ИИ не приносят прибыли, несмотря на сотни миллионов пользователей. Так что даже если бы OpenAI не потратила ни копейки на разработку новых моделей, она бы все равно утонула. Но даже несмотря на это, компании удалось привлечь несколько миллиардов долларов в виде кредита и еще 6,6 миллиарда долларов в виде нового финансирования, что позволило оценить компанию искусственного интеллекта в 157 миллиардов долларов и спасти ее от краха. Однако при нынешних темпах убытков и расходов на разработку этого хватит лишь на то, чтобы удержать компанию от опустошения еще на год.
В сочетании с официально подтвержденной резко снижающейся доходностью это означает, что некоторые из самых крупных и значимых отраслей и крупнейших инвестиционных компаний в мире поддерживают принципиально неработающий продукт.
