Исследователи Apple рассказали о новом способе запуска нейросетей на iPhone
Исследователи искусственного интеллекта из Apple утверждают, что им удалось совершить огромный прорыв в стремлении развернуть большие языковые модели (LLM) на устройствах Apple, таких как iPhone, без использования большого количества памяти. Как сообщает MacRumors, вместо этого исследователи переносят LLM на устройство с помощью новой технологии флеш-памяти.
В научной статье под названием "LLM in a Flash: Efficient Large Language Model Inference with Limited Memory" исследователи отмечают, что в мире мобильных телефонов флеш-память более распространена, чем оперативная память, которая традиционно используется для запуска LLM. Их метод работает за счет использования "окон" (windowing), то есть повторного использования части уже обработанных данных для уменьшения необходимости постоянного обращения к памяти, и объединения строк и столбцов (row-column bundling), то есть группировки данных для их более быстрого считывания из флэш-памяти.
Согласно статье, этот метод позволяет моделям искусственного интеллекта работать в два раза быстрее, чем объем доступной памяти в iPhone, что, как утверждают исследователи, в 4-5 раз быстрее, чем на стандартных процессорах (CPU), и в 20-25 раз - на графических процессорах (GPU).
Исследователи отмечают: "Этот прорыв особенно важен для развертывания передовых LLM в средах с ограниченными ресурсами, тем самым расширяя их применимость и доступность. Мы считаем, что, поскольку LLM продолжают расти в размерах и сложности, подходы, подобные этой работе, будут важны для использования их полного потенциала в широком спектре устройств и приложений".
Прорыв открывает возможности для нейросетей на iPhone. По слухам, Apple намерена включить нейросеть в iPhone в той или иной форме в конце 2024 года. В последние годы компания приобрела несколько компаний, занимающихся нейросетями, чтобы создать свой собственный продукт на основе искусственного интеллекта.
Во время майского отчета о прибылях и убытках генеральный директор Apple Тим Кук заявил, что компания планирует медленно, "вдумчиво" подходить к созданию продуктов на основе искусственного интеллекта.
