Эмбеддинг — это способ записать смысл слова, фразы или целого документа набором чисел. Нейросеть подбирает эти числа так, чтобы тексты с похожим смыслом получили похожие наборы. Тогда «близость по смыслу» можно посчитать как расстояние между числами — и компьютер начинает понимать, что «купить ноутбук» и «где взять лэптоп» — почти одно и то же.
Коротко:
- эмбеддинг — вектор, то есть список из сотен или тысяч чисел;
- похожие по смыслу тексты дают близкие векторы, даже без общих слов;
- это не перевод, не сжатие и не набор ключевых слов, а числовое представление смысла;
- на эмбеддингах работают смысловой поиск, рекомендации и подключение нейросети к базе знаний.
Аналогия с картой
Представьте карту, на которой каждое слово — точка. «Кошка» и «котёнок» стоят рядом, «собака» — недалеко, а «налоговая декларация» — в другом конце. Эмбеддинг — это координаты такой точки. Только у настоящей карты две оси, а у эмбеддинга их сотни или тысячи: каждая ось отражает какой-то оттенок смысла, который модель выучила сама.
С такими координатами можно делать арифметику. Классический пример из учебников: если от вектора «король» отнять «мужчину» и прибавить «женщину», получится точка рядом с «королевой». Современные модели устроены сложнее, но идея та же: смысловые связи записаны в расположении точек.
Пример: как эмбеддинги находят похожее
Допустим, в базе школы три документа:
- «Положение о проведении олимпиады по математике»;
- «График родительских собраний на четверть»;
- «Правила участия в школьных конкурсах по точным наукам».
Пользователь спрашивает: «Как записаться на олимпиаду по алгебре?» Поиск по словам найдёт только первый документ, и то не точно. Поиск по эмбеддингам переведёт вопрос в вектор, сравнит его с векторами документов и поднимет наверх первый и третий: по смыслу они ближе всего, хотя слово «алгебра» не встречается ни там, ни там.
Где применяются эмбеддинги
- Смысловой поиск по сайту, документам, почте — находит ответ по смыслу, а не по точному совпадению слов.
- Нейросеть с базой знаний. Система находит фрагменты, близкие к вопросу, и передаёт их языковой модели. Так чат-бот отвечает по внутренним документам компании, а не «из головы».
- Рекомендации — похожие статьи, товары, фильмы.
- Группировка и классификация — разложить тысячи отзывов по темам, найти дубли.
- Картинки и звук — у изображений тоже бывают эмбеддинги, поэтому можно искать фото по текстовому описанию.
Эмбеддинг и токен — в чём разница
Сначала текст режется на токены — кусочки слов. Потом каждый токен, а при необходимости и весь текст целиком, превращается в эмбеддинг. Токен — это «что написано», эмбеддинг — «что это значит» в виде чисел. Подробнее о первом шаге — в статье что такое токен в нейросети.
В тестах по ИИ-грамотности верный ответ про эмбеддинг почти всегда звучит как «числовое (векторное) представление текста, отражающее его смысл». Остальные вопросы теста — токены, видео по тексту, режим исследования — разобраны в статье с объяснениями.
Попробовать самому
Понятие проще усвоить на живом примере. Агент LeanTech работает из России без VPN и может сам написать и выполнить код: попросите его показать близость фраз по смыслу — он подберёт модель и объяснит результат.