Внедрение нейросетей стало значительно доступнее
Яндекс презентовал разработку, позволяющую бизнесу значительно сэкономить на вычислительных ресурсах, при внедрении технологий искусственного интеллекта. Благодаря ей запустить большую языковую модель, которая использует 8 млрд параметров, можно на обычном персональном компьютере, ноутбуке и даже на планшете или смартфоне. Потребуется при этом лишь любой установленный на устройстве браузер.
Проект имеет открытый исходный код, и уже доступен на облачной платформе GitHub. А его разработчиком является Владимир Малиновский – один из членов команды Yandex Research. В основе сервиса лежит технология сжатия AQLM. Она была разработана специалистами Yandex Research совместно с командами из университета KAUST (Саудовская Аравия) и австрийского университета ISTA. Данная технология позволяет перенести все вычисления на устройство пользователя, отказавшись при этом от мощных, но дорогостоящих графических процессоров.
Для написания исходного кода проекта использовался язык программирования Rust. А благодаря технологи WebAssembly запускается сервис на любом языке непосредственно внутри установленного на устройстве браузера.
«Фишка» нового проекта в том, что нейросеть сжимается сразу двумя методами. На первом этапе технология AQLM значительно уменьшает объём сжимаемой модели (от 6 до 8 раз), а также ускоряет её работу. На втором этапе инструменты PV-tuning исправляют ошибки, возникшие в процессе сжатия. Это позволяет в значительной степени сохранить качество работы нейросети.
Эффективность работы сервиса проверялась на таких моделях, как Mistral, Llama и пр. Проверка проводилась при помощи специальных англоязычных тестов (бенчмарков). А результаты оказались значительно лучше тех, которые были достигнуты ранее разработанными методиками сжатия нейросетей. Так уменьшенная в 6 раз до 2,5 ГБ модель Llama3.1-8B показала 80 % от уровня качества полноценной версии.
Для справки: Yandex Research – научный отдел компании Яндекс. Его сотрудники занимаются исследованиями в областях, связанных с искусственным интеллектом. Специалисты Yandex Research создают решения, которые активно внедряются в продукты компании. Благодаря этому Яндекс уже сейчас занимает лидирующие позиции в области машинного обучения больших языковых моделей, а научные работы сотрудников отдела Yandex Research входят в число наиболее часто публикуемых на конференциях NeurIPS и ICML.
