Почему ваш чат-бот лжет – и в чем был прав R2-D2
Галлюцинации искусственного интеллекта становятся все более серьезной проблемой. Вы задаете чат-боту простой вопрос, а он отвечает как стажер, который бегло просмотрел инструкцию и теперь импровизирует с уверенностью и бравадой. Чат-бот не знает ответа, но все равно что-нибудь скажет.
Это не сбой. Именно так эти системы и созданы. Современный ИИ не заботится об истине — его задача звучать так, будто он знает, о чем говорит.
Но давайте вернемся в более простую галактику. В «Атаке клонов» Оби-Ван Кеноби говорит: «Нам всем грозили бы неприятности, если бы дроиды могли думать». И, честно говоря, он прав.
Очевидно, что Джордж Лукас не представлял R2-D2 и C-3PO как мыслящие машины, он видел их как специализированные механизмы, способные выполнять конкретные задачи. Первый, будучи астромехаником с широким спектром возможностей, включая талант решения сложных ситуационных задач, а второй — протокольный дроид, специализирующийся на отношениях между людьми и киборгами. Один ремонтирует корабли и творчески решает проблемы, другой переводит и паникует. И каким-то образом, несмотря на то, что они роботы, они более надежны, чем половина приложений на вашем телефоне.
Эти двое — друзья и союзники, все это в рамках их определенных функций.
Проблема с притворным знанием всего
Проблема ИИ не в том, что он не знает всего. Проблема в том, что он думает, будто знает — и подобно тому парню на вечеринке, который настаивает, что учился за границей в месте, название которого не может правильно произнести, он заполняет пробелы абсолютной, уверенной бессмыслицей.
Спросите большую языковую модель о правилах предоставления отпусков в вашей компании, и если она не была специально обучена этой информации, она может просто изобрести ее. Возможно, даже щедрую, потому что ИИ хочет нравиться. В кругах специалистов по ИИ это называется галлюцинацией. Но давайте будем честны: это больше похоже на цифровую конфабуляцию, когда мозг придумывает историю, потому что молчание было бы неловким.
Это не просто случайная ошибка. Это встроено в саму систему. Языковые модели — это машины вероятностей. Они не знают истины. Они знают, какое слово, вероятно, идет следом. А это значит, что если вы просите их дать вам неоспоримые факты, вы по сути надеетесь, что калькулятор, собранный из картофельного пюре и батареек, процитирует налоговый кодекс.
Наш мозг не лучше (но мы делаем вид, что это не так)
Между тем, в человеческом мозге — нашем реальном мозге — происходит то же самое, только с немного большей скромностью (в хорошие дни). Мы помним вещи, которых не было. Мы придумываем причины для своих действий постфактум. Мы верим в мифы и создаем культы. Наш разум конструирует внутренние повествования, потому что связность ощущается безопаснее хаоса. И эта конструкция не случайна — она предсказуема. Как говорит нейробиолог Анил Сет, само сознание может быть своего рода контролируемой галлюцинацией. Мозг не просто пассивно воспринимает мир; он постоянно догадывается о том, что происходит вокруг, и корректирует свои действия на основе обратной связи. Это вероятностный рассказчик, как и языковая модель, только с несколькими миллионами лет эволюционной коррекции ошибок в придачу.
И мы все еще не совершенны.
Мы все еще спорим с людьми в интернете на основе полусформированных впечатлений и ощущений.
Но у нас есть то, чего нет у ИИ, – значимый цикл обратной связи. Чувство воплощенной реальности. Голод. Боль. Социальный стыд. Тяжесть последствий. Это те вещи, которые помогают нам, ну, большинству из нас, корректировать курс. Это наши защитные ограждения. Без них мы бы ошибались так же уверенно, как любой чат-бот.
Так что да, ИИ галлюцинирует. Но мы тоже. Разница в том, что мы, время от времени, это осознаем.
ИИ не знает, когда выдумывает. У него нет того внутреннего голоса, который говорит: «Хм. Это звучит немного надуманно, приятель». И поскольку мы не дали ему этого голоса — потому что мы обучили его всегда иметь ответ — он никогда не замолкает.
Доводы в пользу ИИ, похожего на дроида
Вот почему будущее полезного, надежного ИИ — это не какой-то цифровой полубог, который знает все на свете. Это дроид.
Точнее, веселый, пищащий дроид, у которого есть работа и цель.
R2-D2 не претендует на роль философа. Он не цитирует Канта и не размышляет о вашей личной жизни. Он чинит корабли. Он передает секретные сообщения. Он бьет током вещи, которые подходят слишком близко. И вы ему доверяете. Он — космический швейцарский нож, но в очень четко определенной области: он астромеханик. Он не решает внезапно стать шеф-поваром или заполнять ваши налоговые декларации.
C-3PO так же ограничен, в своей восхитительно тревожной манере. Он протокольный дроид. Он переводит. Он беспокоится. Он волнуется о шансах. Но он не пытается навредить Джаббе или, фактически, помешать Джаббе причинить вред принцессе Лее (показывая, что Лукас не считал благоразумным следовать первому из Трех законов робототехники Айзека Азимова). Он может сказать вам, что гипердвигатель отключен, но не может пойти и починить его. Это задача его маленького друга.
Магия этих вымышленных дроидов не в том, что они ограничены, а в том, что они последовательны. У них есть границы. Они знают, для чего созданы. И это делает их более заслуживающими доверия, чем нынешние модели ИИ.
И вот тут-то все и становится интересным. Потому что это не просто научно-фантастическая метафора — это чертеж.
Лучший ИИ, возможно, уже в вашем офисе
Давайте поговорим об интранетах.
Если вы когда-либо работали в крупной компании, вы знаете, что интранет — это, по сути, цифровой лабиринт, населенный призраками неработающих ссылок и забытых PDF. Где-то в его лабиринте находится документ, необходимый для возмещения расходов на офисное кресло, но его охраняет призрак прошлых SharePoint'ов и пять противоречивых правил кадровой политики.
Теперь представьте ИИ, который не пытается решить проблему изменения климата или рассказать вам, кто выиграл холодную войну. Он просто знает этот интранет. И все. Он обучен исключительно на внутренних правилах вашей компании, информации о льготах, организационных схемах команд и, возможно, нескольких пограничных случаях типа «как мне оформить расходы на эту странную вещь». Он не галлюцинирует, потому что не может. Он никогда не видел ничего, кроме правды — правды вашей компании, которая, по крайней мере на работе, является вашей правдой.
Этот ИИ становится вашим внутренним R2-D2. Тихий, эффективный, безошибочно помогающий и ни разу не притворившийся, что знает что-то, чего не знает. Это не общий интеллект. Это локальный интеллект. И он более мощный именно поэтому.
От внутренней сети к вашему порогу
Теперь представьте версию для экстранета. Общедоступный ИИ, который не угадывает, не экстраполирует, не разглагольствует поэтично о джазе, если только джаз не входит в ваш каталог товаров. Представьте, что вы покупаете в интернете что-то специфическое – скажем, туристические ботинки, которые ощущаются как тапочки и подходят для широкой ноги. Ограниченный ИИ, созданный для этой платформы электронной коммерции, точно знает, что рекомендовать, потому что живет в базе данных товаров. Он не начинает предлагать валенки или спрашивать, не хотите ли вы повысить класс автомобиля, взятого напрокат.
То же самое с развлечениями. Допустим, вы хотите посмотреть что-то такое же напряженное, как «Дитя человеческое», но чтобы оно имело тот потусторонний, зловещий оттенок «Прибытия», с чем-то, что заставило вас смеяться, как абсурдистский юмор «Гольф-клуба». Если ваш ИИ обучен только на ваших подписках и глубокой системе тегов, он не будет пытаться продать вам DVD или предлагать конспирологический документальный фильм на YouTube. Он дает вам варианты, которые вы действительно можете посмотреть, и сопоставляет их с тем, как вы себя чувствуете. Это не общее. Это личное. И это работает.
Кстати... мой выбор в вышеприведенном примере — что-то вроде «Бразилии» или, возможно, «12 обезьян».
Это ограниченные ИИ. С ограниченной областью применения, строго очерченным кругом задач, изолированные для надежности. Им не нужно быть сознательными, умными или харизматичными. Им нужно не лгать вам. Только это делает их более полезными, чем большинство чат-ботов, с которыми вы когда-либо встречались.
Так почему же мы не делаем больше?
Отчасти потому, что общий ИИ привлекательнее. Большое обещание — это помощник, который может делать все: планировать ваши встречи, писать ваши электронные письма, планировать ваш отпуск и анализировать ваше давление, предлагая при этом смузи. Но правда в том, что общий ИИ становится хуже по мере расширения. Чем больше он знает обо всем, тем увереннее становится в вещах, которых на самом деле не понимает. Широкий охват без обоснования - это просто рецепт правдоподобно звучащего мусора.
Ограничение, с другой стороны, — это ясность.
Вы не ожидаете, что ваш тостер будет воспроизводить Spotify. Вы не хотите, чтобы ваш умный холодильник давал вам налоговые советы. Так почему мы ведем себя так, будто ИИ, обученный завершать текст, также должен знать, какие статьи в медицинских журналах настоящие?
Дайте ИИ коробку. Позвольте ему процветать внутри нее. Как дерево бонсай: ограниченное, сформированное, культивируемое — и прекрасное именно из-за этих ограничений.
Почему скучный, ограниченный ИИ может спасти нас всех
Путь вперед — это не один сверхинтеллект. Это федерация.
Это сеть небольших, ограниченных по области применения ИИ, каждый из которых хорошо выполняет одну задачу. Вы задаете вопрос, и подходящий ИИ принимает его — как эстафета, а не соло-марафон. Ваш финансовый ИИ не комментирует ваш холестерин. Ваш медицинский ИИ не управляет вашей электронной почтой. Ваш бот-планировщик не будет пытаться устранить неполадки с вашим маршрутизатором. Они знают, для чего предназначены. Они надежны, поддаются аудиту и тестированию. Как хорошо организованная команда специалистов, у каждого есть своя полоса движения, и они не выезжают на полосы, для навигации по которым не были созданы. Красота здесь не только в их фокусе, но и в доверии, которое этот фокус заслуживает. Вам не нужно задаваться вопросом, не выдумывает ли ИИ что-то на ходу — вы уже знаете, что он говорит исходя из своего обучения, своей области знаний, своей истины.
Это те дроиды, которых мы ищем.
И, возможно, только возможно, с правильной архитектурой, правильными ограничениями и правильной, ну, скромностью, они научатся делать нечто еще более редкое в эпоху цифрового всезнания: замолкать, когда не знают ответа.
Потому что будущее принадлежит не самой громкой машине в комнате. Оно принадлежит той, которая знает, для чего предназначена, — и делает это с точностью, изяществом и небольшим обаянием.
