EmbeddingGemma 2: локальный прототип поиска по тексту и медиа

Google выпустила EmbeddingGemma 2 6 октября 2026 года и предоставила веса для скачивания по лицензии Apache 2.0. Модель преобразует текст, код, изображения, видео и аудио в векторы, которые можно сравнивать в общем пространстве размерностью 768. Разработчику с локальной коллекцией нужно решить, какие энкодеры загружать, как представлять запросы и файлы и полезны ли результаты для этой коллекции. Руководство следует опубликованным инструкциям Google и карточке модели; BIG CHANGE не запускала модель и не измеряла качество поиска.

Главное изменение

• Что изменилось:Предыдущая EmbeddingGemma обрабатывала текст. Во второй версии появились энкодеры зрения и аудио, поэтому текстовый запрос можно сопоставлять с поддерживаемыми медиа в общем векторном пространстве без предварительного создания подписей или расшифровок. Google уже опубликовала веса; сервис ML Kit для Android должен появиться в ближайшие недели.
• Почему это важно:Разработчик может загрузить энкодеры, необходимые локальной коллекции, и создать единый поисковый индекс для поддерживаемых типов файлов. Google AI Edge Galleryпоказывает локальные векторы медиа в SQLite с ранжированием по косинусному сходству. Приложению всё равно нужны загрузка файлов, хранение векторов, отображение результатов и проверка на вводящие в заблуждение совпадения.
• За чем следить:Сейчас важно понять, хорошо ли ранжируются репрезентативные файлы в пределах бюджета устройства по памяти и задержке. Будущий сервис Android может изменить способ интеграции; объявленный срок не означает, что сервис уже доступен.

Выберите входные данные до загрузки модели

В руководстве для разработчиков указана версия Sentence Transformers 6.1.0 или новее и эта команда установки для всех поддерживаемых медиа:

pip install -U sentence-transformers[image,audio,video] transformers

Точный checkpoint — google/embeddinggemma-2. Стандартная загрузка Sentence Transformers включает все энкодеры. Для коллекции только с текстом и кодом руководство советует при загрузке исключить зрение и аудио:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"vision_config": None, "audio_config": None},
)

Чтобы оставить зрение и исключить аудио, требуется config_kwargs={"audio_config": None}; чтобы оставить аудио и исключить зрение, — config_kwargs={"vision_config": None}. Эти параметры меняют набор загружаемых весов, но итоговые векторы остаются в общем пространстве модели. Поэтому, согласно руководству, текстовый запрос можно сравнивать с изображением, закодированным конфигурацией с энкодером зрения. Google называет модель подходящей для потребительских устройств, однако опубликованный пример Python — это краткое руководство по библиотеке, а не измеренная гарантия памяти или задержки на устройстве читателя.

Кодируйте запросы и элементы коллекции по-разному

Для поиска по тексту карточка модели задаёт отдельные инструкции задачи для запросов и элементов корпуса. Sentence Transformers передаёт их через prompt_name:

query_vector = model.encode("northern lights", prompt_name="SearchQuery")
document_vector = model.encode(
    "Charged particles from the sun cause the northern lights.",
    prompt_name="Document",
)
score = model.similarity(query_vector, document_vector)

Этот документированный фрагмент создаёт векторы и оценку сходства; это не результат, полученный в нашей среде. Document вставляет title: none. Если у элемента есть реальный заголовок, Google рекомендует явно форматировать его как title: {title} | text: {content}. Для поиска кода используется инструкция запроса CodeRetrieval вместе с заголовком или именем файла индексируемого кода. Для классификации, кластеризации и сходства предложений предусмотрены собственные симметричные инструкции. В карточке сказано, что без текстовых инструкций модель работает, но точность снижается.

У предыдущей модели model нет энкодеров зрения и аудио. Перед кодированием изображения загрузите из того же checkpoint-а конфигурацию текста и зрения из руководства и используйте эту модель для медиа и запроса. Эта последовательность соответствует документации; мы её не запускали:

media_model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"audio_config": None},
)
image_vector = media_model.encode({"image": "photo.jpg"})
query_vector = media_model.encode("a photo query", prompt_name="SearchQuery")
score = media_model.similarity(query_vector, image_vector)

Для аудио загрузите модель заново, исключив audio_config: None, чтобы включить аудиоэнкодер; полная загрузка по умолчанию содержит энкодеры зрения и аудио. В руководстве Google передаётся словарь вида {"audio": "recording.wav"} без текстового префикса задачи. Текст и медиа также можно объединить: поместить в текст маркеры <|image|>, <|video|> или <|audio|> и передать соответствующие файлы в словаре. Вызов создаёт один вектор для объединённого ввода. В карточке модели указано моноаудио 16 кГц и выборка видео по умолчанию с частотой один кадр в секунду. Изображения, кадры видео, аудио и текст делят контекстный бюджет в 8 192 токена, поэтому длинный ролик или смешанный элемент нужно планировать, а не считать, что поместится любой файл.

Выберите размер вектора и оцените компромисс

Исходный результат имеет размерность 768. Карточка модели Google поддерживает 512, 256 и 128 измерений путём усечения вектора. В руководстве описано использование truncate_dim=256 с normalize_embeddings=True в model.encode(). Векторы запроса и индексируемых элементов должны иметь одинаковую размерность; усечённые векторы нужно нормализовать перед сравнением по косинусу. Согласно карточке, при 128 измерениях мультимодальное качество снижается значительно сильнее, чем при 256; вариант 128 рекомендуется главным образом для текстовых задач. Это результаты тестов Google при полной точности, а не прогноз полноты поиска для конкретной коллекции.

Численная точность — ещё один параметр настройки. Карточка рекомендует bfloat16 на совместимом оборудовании или float32 в остальных случаях, в том числе на большинстве CPU. Она предупреждает, что float16 может привести к NaN или незаметному ухудшению эмбеддингов. Число параметров выборочной загрузки описывает компоненты модели; фактические расход памяти и скорость поиска зависят от пути выполнения, точности, индекса и размера ввода.

Что оценить перед использованием результатов

Прототип может проиндексировать небольшую разрешённую выборку, отложить репрезентативные запросы и проверить, появляются ли нужные элементы вверху списка. Добавляйте сценарии «текст—текст», «текст—изображение» или «текст—аудио», только если такие медиа действительно есть в коллекции. Сравните размерности 768 и 256 на одинаковых запросах, проверьте ошибки для нужных языков и типов документов, измерьте память, время индексации и задержку запросов на целевом устройстве. Это шаги оценки для читателя; BIG CHANGE их не выполняла.

Опубликованные в карточке модели результаты дают EmbeddingGemma 2 оценку 78,68 против 68,76 у предыдущей модели в MTEB code v1; результаты multilingual MTEB v2 — 61,36 против 61,15. В карточке также приведены результаты для изображений, видео и аудио, но без сравнения с версией 1 для этих модальностей. Во всех приведённых тестах использовался checkpoint с полной точностью. Результаты описывают условия оценки Google, а не точность на локальном архиве. Карточка предупреждает, что качество зависит от языка и задачи, а поисковым приложениям нужны собственные фильтры и проверки справедливости.

Веса выпущены по лицензии Apache 2.0, а руководство ссылается на репозиторий Hugging Face. Материалы Google описывают локальный способ запуска, но не дают универсальной стоимости внедрения: устройство, вычисления, хранение и разработка — расходы приложения. Следующий шаг для читателя — проверить, правильно ли модель ранжирует репрезентативные файлы в пределах бюджета устройства.

Источники и дополнительная литература

• Объявление Google AI Edge, 6 октября 2026 года: этап выпуска, локальный поиск по медиа в AI Edge Gallery и объявленные сроки ML Kit. Приведённые в статье измерения устройств выполнены Google.
• Руководство разработчика EmbeddingGemma 2, 6 октября 2026 года: версия библиотеки, варианты загрузки, примеры кодирования и инструкции по усечению векторов.
• Карточка модели EmbeddingGemma 2: архитектура модели, ограничения ввода, инструкции задач, предупреждение о точности, таблицы тестов и ограничения. Результаты предоставлены Google.
• Репозиторий моделей Google: указанный checkpoint и опубликованные файлы модели. Доступность репозитория не подтверждает производительность в приложении.