Перспективные большие языковые модели (LLM) с открытым исходным кодом
![Перспективные большие языковые модели (LLM) с открытым исходным кодом](/_next/image?url=https%3A%2F%2Fapi.aifind.ru%2Fstorage%2Fimages%2Farticles%2Fperspektivnye-bolshie-yazykovye-modelillm-s-otkrytym-iskhodnym-kodom.webp&w=1920&q=100)
Изучая последние достижения в области ИИ, мы рассмотрим несколько перспективных проектов. От Web LLM, который позволяет использовать возможности NLP непосредственно в веб-окружении, до Secret Llama, чат-бота с открытым исходным кодом, работающего полностью в браузере, - эти проекты демонстрируют разнообразные приложения и достижения в данной области.
Мы рассмотрим Outlines, библиотеку для создания структурированного текста, DeepSeek-V2, эффективную языковую модель Mixture-of-Experts, и проект Consistency Large Language Models (CLLMs), направленный на уменьшение задержек вывода.
Каждый из проектов демонстрирует существенные достижения в области обеспечения более свободного доступа к искусственному интеллекту, его эффективности и интеграции с различными платформами.
Web LLM
Web LLM могут использоваться в различных приложениях, таких как чат-боты, языковой перевод, анализ настроения и т. д., непосредственно на веб-страницах. Как правило, они используют такие технологии, как WebAssembly (Wasm) и фреймворки JavaScript, чтобы обеспечить эффективное использование моделей машинного обучения в браузере. Такой подход также упрощает развертывание и масштабирование NLP-функций на различных платформах и устройствах, не требуя специализированной инфраструктуры.
Secret llama
Secret Llama — это полностью приватный чат-бот с открытым исходным кодом, который работает полностью в браузере, используя большие языковые модели, такие как Llama 3 и Mistral. Он не требует сервера и работает в автономном режиме, предоставляя удобный интерфейс, похожий на ChatGPT, но для LLM с открытым исходным кодом. Проект размещен на GitHub и ищет разработчиков для улучшения интерфейса, поддержки большего количества моделей и исправления ошибок.
Он поддерживает различные современные языковые модели с открытым исходным кодом, включая:
- Llama 3 (8B параметров)
- Mistral-7B
- TinyLlama-1.1B
- Phi-1.5
Одним словом, Secret Llama делает языковые модели с открытым исходным кодом доступными через приватный интерфейс на основе браузера, сочетая в себе возможности ChatGPT и безопасность данных при локальной обработке. Его цель - облегчить доступ к LLM, при этом отдавая приоритет конфиденциальности.
Outlines
Outlines — это библиотека с открытым исходным кодом на языке Python, предназначенная для генерации структурированного текста с использованием больших языковых моделей (LLM). Она предоставляет методы управления генерацией языковых моделей, делая выходные данные более предсказуемыми и структурированными с помощью вспомогательных подсказок, ограничений типов, динамической остановки и многого другого.
Outlines поддерживает интеграцию нескольких моделей, включая OpenAI, transformers, llama.cpp, exllama2 и mamba. Она использует шаблонизатор Jinja для создания подсказок и предлагает быструю генерацию с использованием regex-структур, генерацию JSON в соответствии со схемой JSON или моделью Pydantic, а также генерацию с использованием грамматической структуры.
Outlines разработана для ускорения вывода и повышения производительности базовых и тонко настроенных моделей и делает модели более эффективными. Она интегрируется с механизмом вывода vLLM для быстрого обслуживания и доступна в официальном образе Docker.
Библиотека обеспечивает соответствие результатов LLM ожидаемым форматам, таким как корректный JSON, и предоставляет широкий, оптимальный по времени выполнения подход к генерации с помощью regex, поддерживая также детерминированную генерацию с помощью CFG.
Deep seekv2
DeepSeek-V2 — это языковая модель Mixture-of-Experts (MoE) с открытым исходным кодом, известная своей производительностью, экономичностью и эффективностью. Она включает в себя 236 миллиардов параметров, из которых 21 миллиард активируется для каждой лексемы.
Модель и ее код доступны для загрузки на сайте Hugging Face по лицензии с открытым исходным кодом, причем предлагаются две версии: DeepSeek-V2 с длиной контекста 128k и DeepSeek-V2-Chat (RL) с длиной контекста 128k.
В настоящее время открытый код работает медленнее на графических процессорах с Hugging Face по сравнению с внутренней кодовой базой DeepSeek из-за ограничений Hugging Face. Чтобы решить эту проблему, DeepSeek предлагает специальное решение vLLM для оптимизации производительности.
Для локального запуска DeepSeek-V2 для выводов требуется 80 ГБ*8 GPU и модель в формате BF16, а инструкции по запуску с помощью Hugging Face Transformers или vLLM приведены в README на GitHub.
DeepSeek также предлагает лицензию с открытым исходным кодом для серии кодовых моделей DeepSeek-Coder, которая позволяет проводить исследования и неограниченна для коммерческого использования. Такая открытость контрастирует со многими моделями с закрытым исходным кодом.
Создание таких моделей, как DeepSeek-V2 и DeepSeek-Coder, с открытым исходным кодом позволяет проводить более широкие исследования и разработки, но также создает риски, поскольку LLM с открытым исходным кодом потенциально могут быть использованы в злонамеренных целях, например, для извлечения частной информации.
Consistency large language models
В репозитории GitHub проекта Consistency Large Language Models (CLLMs) из Hao AI Lab представлены эффективные параллельные декодеры, созданные на основе предварительно обученных больших языковых моделей (LLM).
Цель CLLM - сократить время ожидания вывода за счет параллельного декодирования, не требующего черновых моделей или архитектурных модификаций, обеспечивая простоту и гибкость по сравнению с другими методами быстрого декодирования.
Репозиторий включает веса моделей как для целевых предварительно обученных LLM, так и для соответствующих версий CLLM, охватывающих такие наборы данных и задачи, как ShareGPT (разговорный ИИ), GSM8K (математические задачи), Spider (преобразование текста в SQL) и Code-Search-Net Python (генерация кода).
Для вывода информации скрипт run_chat_cllm.sh
запускает чатбота с заданной CLLM-моделью, а аргумент cllm_type
выбирает подходящую модель для задачи (например, sharegpt
, gsm8k
, spider
, python
). Репозиторий также содержит код для обучения CLLM путем сбора траекторий Якоби и выполнения имитационного обучения, с подробными командами и гиперпараметрами.
Проект интегрирован в фреймворк FastChat для эффективного развертывания, а статья с более подробной информацией доступна на arXiv. Репозиторий Consistency_LLM GitHub предлагает открытую реализацию консистентных больших языковых моделей, позволяющую быстро выполнять параллельное декодирование для различных задач естественного языка без изменения базовой архитектуры LLM, чтобы сделать вывод LLM более эффективным и доступным.