Версия Markdown

AI-translated from English; not yet reviewed by a fluent editor.

# EmbeddingGemma 2: локальный прототип поиска по тексту и медиа

> EmbeddingGemma 2 от Google объединяет эмбеддинги текста, изображений, видео и аудио в одной локальной модели поиска. Это руководство на основе документации систематизирует решения по настройке и оценке.

By BIG CHANGE Editorial

Published: 2026-10-06T20:48:02.995Z
Updated: 2026-10-06T20:48:02.995Z
Canonical: https://bigchange.ai/blog/embeddinggemma-2-local-multimodal-search-guide

![Conceptual illustration of one person seated on a rug, holding a phone and a landscape photo beside a box of personal prints and paper records.](https://bigchange.ai/api/media/file/embeddinggemma-personal-collection-hero-v1.png)
A person considers a small personal collection of photos and records beside a phone. Conceptual AI-generated illustration by BIG CHANGE; it does not show an EmbeddingGemma 2 interface or tested search result.

Google выпустила EmbeddingGemma 2 6 октября 2026 года и предоставила веса для скачивания по лицензии Apache 2.0. Модель преобразует текст, код, изображения, видео и аудио в векторы, которые можно сравнивать в общем пространстве размерностью 768. Разработчику с локальной коллекцией нужно решить, какие энкодеры загружать, как представлять запросы и файлы и полезны ли результаты для этой коллекции. Руководство следует опубликованным инструкциям Google и карточке модели; BIG CHANGE не запускала модель и не измеряла качество поиска.

## Главное изменение

- **Что изменилось:**Предыдущая EmbeddingGemma обрабатывала текст. Во второй версии появились энкодеры зрения и аудио, поэтому текстовый запрос можно сопоставлять с поддерживаемыми медиа в общем векторном пространстве без предварительного создания подписей или расшифровок. Google уже опубликовала веса; [сервис ML Kit для Android должен появиться в ближайшие недели](https://developers.googleblog.com/google-ai-edge-with-embeddinggemma-2/).
- **Почему это важно:**Разработчик может загрузить энкодеры, необходимые локальной коллекции, и создать единый поисковый индекс для поддерживаемых типов файлов. [Google AI Edge Gallery](https://developers.googleblog.com/google-ai-edge-with-embeddinggemma-2/)показывает локальные векторы медиа в SQLite с ранжированием по косинусному сходству. Приложению всё равно нужны загрузка файлов, хранение векторов, отображение результатов и проверка на вводящие в заблуждение совпадения.
- **За чем следить:**Сейчас важно понять, хорошо ли ранжируются репрезентативные файлы в пределах бюджета устройства по памяти и задержке. Будущий сервис Android может изменить способ интеграции; объявленный срок не означает, что сервис уже доступен.

## Выберите входные данные до загрузки модели

В [руководстве для разработчиков](https://developers.googleblog.com/en/embeddinggemma-2-the-developer-guide/) указана версия Sentence Transformers 6.1.0 или новее и эта команда установки для всех поддерживаемых медиа:

```bash
pip install -U sentence-transformers[image,audio,video] transformers
```

Точный checkpoint — `google/embeddinggemma-2`. Стандартная загрузка Sentence Transformers включает все энкодеры. Для коллекции только с текстом и кодом руководство советует при загрузке исключить зрение и аудио:

```python
from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"vision_config": None, "audio_config": None},
)
```

Чтобы оставить зрение и исключить аудио, требуется `config_kwargs={"audio_config": None}`; чтобы оставить аудио и исключить зрение, — `config_kwargs={"vision_config": None}`. Эти параметры меняют набор загружаемых весов, но итоговые векторы остаются в общем пространстве модели. Поэтому, согласно руководству, текстовый запрос можно сравнивать с изображением, закодированным конфигурацией с энкодером зрения. Google называет модель подходящей для потребительских устройств, однако опубликованный пример Python — это краткое руководство по библиотеке, а не измеренная гарантия памяти или задержки на устройстве читателя.

## Кодируйте запросы и элементы коллекции по-разному

Для поиска по тексту [карточка модели](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2) задаёт отдельные инструкции задачи для запросов и элементов корпуса. Sentence Transformers передаёт их через `prompt_name`:

```python
query_vector = model.encode("northern lights", prompt_name="SearchQuery")
document_vector = model.encode(
    "Charged particles from the sun cause the northern lights.",
    prompt_name="Document",
)
score = model.similarity(query_vector, document_vector)
```

Этот документированный фрагмент создаёт векторы и оценку сходства; это не результат, полученный в нашей среде. `Document` вставляет `title: none`. Если у элемента есть реальный заголовок, Google рекомендует явно форматировать его как `title: {title} | text: {content}`. Для поиска кода используется инструкция запроса `CodeRetrieval` вместе с заголовком или именем файла индексируемого кода. Для классификации, кластеризации и сходства предложений предусмотрены собственные симметричные инструкции. В карточке сказано, что без текстовых инструкций модель работает, но точность снижается.

У предыдущей модели `model` нет энкодеров зрения и аудио. Перед кодированием изображения загрузите из того же checkpoint-а [конфигурацию текста и зрения из руководства](https://developers.googleblog.com/en/embeddinggemma-2-the-developer-guide/) и используйте эту модель для медиа и запроса. Эта последовательность соответствует документации; мы её не запускали:

```python
media_model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"audio_config": None},
)
image_vector = media_model.encode({"image": "photo.jpg"})
query_vector = media_model.encode("a photo query", prompt_name="SearchQuery")
score = media_model.similarity(query_vector, image_vector)
```

Для аудио загрузите модель заново, исключив `audio_config: None`, чтобы включить аудиоэнкодер; полная загрузка по умолчанию содержит энкодеры зрения и аудио. В руководстве Google передаётся словарь вида `{"audio": "recording.wav"}` без текстового префикса задачи. Текст и медиа также можно объединить: поместить в текст маркеры `<|image|>`, `<|video|>` или `<|audio|>` и передать соответствующие файлы в словаре. Вызов создаёт один вектор для объединённого ввода. В карточке модели указано моноаудио 16 кГц и выборка видео по умолчанию с частотой один кадр в секунду. Изображения, кадры видео, аудио и текст делят контекстный бюджет в 8 192 токена, поэтому длинный ролик или смешанный элемент нужно планировать, а не считать, что поместится любой файл.

## Выберите размер вектора и оцените компромисс

Исходный результат имеет размерность 768. Карточка модели Google поддерживает 512, 256 и 128 измерений путём усечения вектора. В руководстве описано использование `truncate_dim=256` с `normalize_embeddings=True` в `model.encode()`. Векторы запроса и индексируемых элементов должны иметь одинаковую размерность; усечённые векторы нужно нормализовать перед сравнением по косинусу. Согласно карточке, при 128 измерениях мультимодальное качество снижается значительно сильнее, чем при 256; вариант 128 рекомендуется главным образом для текстовых задач. Это результаты тестов Google при полной точности, а не прогноз полноты поиска для конкретной коллекции.

Численная точность — ещё один параметр настройки. Карточка рекомендует `bfloat16` на совместимом оборудовании или `float32` в остальных случаях, в том числе на большинстве CPU. Она предупреждает, что `float16` может привести к NaN или незаметному ухудшению эмбеддингов. Число параметров выборочной загрузки описывает компоненты модели; фактические расход памяти и скорость поиска зависят от пути выполнения, точности, индекса и размера ввода.

## Что оценить перед использованием результатов

Прототип может проиндексировать небольшую разрешённую выборку, отложить репрезентативные запросы и проверить, появляются ли нужные элементы вверху списка. Добавляйте сценарии «текст—текст», «текст—изображение» или «текст—аудио», только если такие медиа действительно есть в коллекции. Сравните размерности 768 и 256 на одинаковых запросах, проверьте ошибки для нужных языков и типов документов, измерьте память, время индексации и задержку запросов на целевом устройстве. Это шаги оценки для читателя; BIG CHANGE их не выполняла.

Опубликованные в карточке модели [результаты](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2) дают EmbeddingGemma 2 оценку 78,68 против 68,76 у предыдущей модели в MTEB code v1; результаты multilingual MTEB v2 — 61,36 против 61,15. В карточке также приведены результаты для изображений, видео и аудио, но без сравнения с версией 1 для этих модальностей. Во всех приведённых тестах использовался checkpoint с полной точностью. Результаты описывают условия оценки Google, а не точность на локальном архиве. Карточка предупреждает, что качество зависит от языка и задачи, а поисковым приложениям нужны собственные фильтры и проверки справедливости.

Веса выпущены по лицензии Apache 2.0, а руководство ссылается на [репозиторий Hugging Face](https://huggingface.co/google/embeddinggemma-2). Материалы Google описывают локальный способ запуска, но не дают универсальной стоимости внедрения: устройство, вычисления, хранение и разработка — расходы приложения. Следующий шаг для читателя — проверить, правильно ли модель ранжирует репрезентативные файлы в пределах бюджета устройства.

## Источники и дополнительная литература

- [Объявление Google AI Edge](https://developers.googleblog.com/google-ai-edge-with-embeddinggemma-2/), 6 октября 2026 года: этап выпуска, локальный поиск по медиа в AI Edge Gallery и объявленные сроки ML Kit. Приведённые в статье измерения устройств выполнены Google.
- [Руководство разработчика EmbeddingGemma 2](https://developers.googleblog.com/en/embeddinggemma-2-the-developer-guide/), 6 октября 2026 года: версия библиотеки, варианты загрузки, примеры кодирования и инструкции по усечению векторов.
- [Карточка модели EmbeddingGemma 2](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2): архитектура модели, ограничения ввода, инструкции задач, предупреждение о точности, таблицы тестов и ограничения. Результаты предоставлены Google.
- [Репозиторий моделей Google](https://huggingface.co/google/embeddinggemma-2): указанный checkpoint и опубликованные файлы модели. Доступность репозитория не подтверждает производительность в приложении.

## Sources

- [Мультимодальный семантический поиск на периферии с EmbeddingGemma 2](https://developers.googleblog.com/google-ai-edge-with-embeddinggemma-2/) — Этап выпуска, реализация в Google AI Edge Gallery и скорый доступ к ML Kit; значения для устройств измерены поставщиком.
- [EmbeddingGemma 2: руководство разработчика](https://developers.googleblog.com/en/embeddinggemma-2-the-developer-guide/) — Sentence Transformers 6.1.0+, конфигурации загрузки, примеры кодирования задач и медиа, усечение векторов.
- [Карточка модели EmbeddingGemma 2](https://ai.google.dev/gemma/docs/embeddinggemma/model_card_2) — Архитектура, ограничения ввода, подсказки, точность, опубликованные Google результаты тестов, риски и ограничения.
- [Checkpoint google/embeddinggemma-2](https://huggingface.co/google/embeddinggemma-2) — Указанный репозиторий модели, опубликованные файлы и лицензия.