Исследователи выяснили, что большие языковые модели способны не только писать тексты, но и уменьшать размер данных. Так, большая языковая модель Chinchilla 70B от DeepMind, обученная для работы с текстом, также справляется со сжатием фото и аудио — часто лучше, чем предназначенные для этого алгоритмы.
Вот что показал эксперимент.
- Chinchilla 70B может сжимать изображения до 43,4% от исходного размера, тогда как алгоритм PNG — до 58,5%.
- Нейросети также удалось уменьшить аудио до 16,4% от исходного размера, а предназначенному для этого методу FLAC — до 30,3%.
Сжатие без потерь предполагает, что в процессе данные не теряются. Чем меньше объем сжатых данных по сравнению с исходным, тем сильнее сжат файл.
Некоторые ученые считают, что сжатие данных является формой общего ИИ, так как этот процесс в той или иной форме предполагает выявление закономерностей и понимание сложности.
В DeepMind утверждают, что это не односторонняя взаимосвязь, и хороший алгоритм сжатия можно использовать для создания новых данных. Тем не менее в ходе эксперимента gzip, в отличие от Chinchilla, сгенерировал бессмысленный результат.
Статья об исследовании DeepMind еще не прошла рецензирование, но предлагает новые способы применения для больших языковых моделей. Взаимосвязь между сжатием и интеллектом остается предметом дискуссий и исследований, и в ближайшее время может появится больше информации по этой теме.
Фото на обложке: Pavel Ignatov /
Подписывайтесь на наш Telegram-канал, чтобы быть в курсе последних новостей и событий!
Нашли опечатку? Выделите текст и нажмите Ctrl + Enter
Материалы по теме
- 1 В Казахстане создали комитет по искусственному интеллекту
- 2 Tesla планирует запустить собственного голосового помощника для электромобилей
- 3 Сам себе Моцарт и Дрейк: подборка музыкальных нейросетей
- 4 На TechRec 2024 расскажут, как грамотно внедрить ИИ в HR
- 5 Копирайтер VS нейросеть: пишем текст и теряем заказчиков
ВОЗМОЖНОСТИ
05 мая 2024
10 мая 2024