Международная группа учёных определила границы сжатия информации для языковых моделей
Учёные из AIRI, МФТИ и Лондонского математического института провели исследование. Исследователи выяснили, сколько информации может эффективно хранить и обрабатывать языковая модель. В работе использовался метод сжатия текста. Это позволило измерить пределы ёмкости модели. Исследователи доказали: текст длиной 1,5 тысяч слов можно представить одним вектором. Вектор — это набор чисел, понятный модели. Он позволяет восстановить исходный текст. Об этом информационной службе Хабра рассказали…
