Большая языковая модель — это не база данных, не склад готовых ответов и не мыслящий разум, а колоссальный математический калькулятор. На жестком диске вашего компьютера модель Llama 3 весом в несколько гигабайт представляет собой один гигантский файл, внутри которого записаны миллиарды дробных чисел.
Эти числа инженеры называют весами. Вся суть работы искусственного интеллекта сводится к одной задаче — угадыванию каждого следующего слова в предложении на основе сложнейшего расчета вероятностей.
Как обучают эту математическую матрицу
Разработчики американской компании Meta берут терабайты текстовых данных из интернета: книги, статьи из Википедии, архивы научных журналов и миллиарды страниц веб-сайтов. Модель прогоняют через эти тексты миллионы раз, заставляя ее постоянно угадывать закрытые маской слова.
Если нейросеть ошибается, специальный алгоритм корректирует те самые внутренние числа-веса. В результате многомесячной работы суперкомпьютеров модель начинает идеально улавливать скрытые закономерности человеческой речи. Она запоминает, какие буквы, слоги и слова чаще всего сочетаются друг с другом в разных контекстах.
Почему модель «знает» факты
Когда вы спрашиваете модель о дате полета Юрия Гагарина в космос, она не заглядывает в условную встроенную энциклопедию. Математическая матрица просто рассчитывает, что после текстовой строки «Юрий Гагарин совершил первый полет в космос в...» с вероятностью девяносто девять процентов должно следовать число «1961».
Модель оперирует не словами, а токенами — кусочками слов и символов, переведенными в цифровой код. Вся генерация ответа представляет собой непрерывный цикл:
Вы даете модели текст-промпт.
Она переводит его в цифры и прогоняет через миллиарды своих весов.
Калькулятор выдает самое вероятное следующее слово.
Это слово добавляется к вашему вопросу, и процесс запускается заново для поиска очередного слова.
Главная уязвимость чистой модели
Поскольку модель просто вычисляет вероятности совпадения символов, она легко соединяет логически несвязанные факты, если они звучат грамматически убедительно. Так рождаются галлюцинации. Нейросеть не знает, что такое истина, она знает только, как выглядит красивый человеческий текст.
Именно поэтому чистой языковой модели нельзя доверять анализ критически важных внутренних документов компании. Чтобы избавить калькулятор от необходимости фантазировать, инженеры используют технологию RAG, которая принудительно подсовывает модели точные факты прямо в момент расчета вероятностей.