Новые методы для ускорения вычислений в искусственном интеллекте

30 октября 2023
Новые методы для ускорения вычислений в искусственном интеллекте

Исследователи из Массачусетского технологического института (MIT) и компании NVIDIA разработали две техники, которые ускоряют обработку разреженных тензоров — структур данных, используемых для высокопроизводительных вычислительных задач. Эти техники могут значительно улучшить производительность и энергоэффективность систем, таких как массивные машинно-обучающие модели, лежащие в основе генеративного искусственного интеллекта.

Тензоры — это структуры данных, используемые машинно-обучающими моделями. Обе новые методики направлены на эффективное использование так называемой разреженности — нулевых значений в тензорах. При обработке этих тензоров можно пропускать нули, экономя тем самым вычислительные ресурсы и память. Однако существуют сложности в использовании разреженности, такие как поиск ненулевых значений в больших тензорах и определение необходимого объема памяти для хранения различных областей тензора.

Исследователи MIT и NVIDIA разработали два решения для этих проблем. Одно из них — техника, позволяющая аппаратному обеспечению эффективно находить ненулевые значения для широкого спектра моделей разреженности. Другое — метод, который может обрабатывать случаи, когда данные не умещаются в памяти, что увеличивает использование буфера хранения и снижает трафик вне чипа.

Оба метода повышают производительность и снижают энергопотребление аппаратных ускорителей, специально разработанных для ускорения обработки разреженных тензоров.

"HighLight" — это аппаратный ускоритель, разработанный исследователями MIT, который может обрабатывать широкий спектр моделей разреженности и эффективно работать с моделями, не содержащими нулевых значений. Используя технику, названную "иерархическая структурированная разреженность", исследователи могут эффективно представлять различные модели разреженности, состоящие из нескольких простых моделей. Этот подход делит значения в тензоре на меньшие блоки с собственными простыми моделями разреженности.

"Tailors" и "Swiftiles" — это методы, которые позволяют "перебронировать" память для увеличения размера блоков данных, а также терпимо относиться к случаям, когда блок не умещается в буфере. Эти методы удваивают скорость и требуют только половины энергии по сравнению с существующими аппаратными ускорителями.

В будущем исследователи хотят применить идею перебронирования к другим аспектам компьютерной архитектуры и улучшить процесс оценки оптимального уровня перебронирования.

Новости и обзоры

Читать все

Нейросети

смотреть все
Нейросеть Perplexity AI - Образование,Наука и исследования,Поисковые системы

Perplexity AI

Поисковая система, которая дает точные ответы на сложные вопросы

Нейросеть Kinetix - 3D и анимация

Kinetix

Нейросеть для создания 3D-анимации даже без каких-либо знаний

3D и анимация
Бесплатно
Платно — $0.10/emote generated
18 тыс
Нейросеть FLUX.1 - Генерация изображений

FLUX.1

Генерируйте фотореалистичные изображения из текста с помощью модели с открытым исходным кодом, доступной в 3 версиях: Pro (API), Dev (некоммерческая) и Schnell (для личного использования).

Генерация изображений
Бесплатно
191 тыс