EmbeddingGemma 2: локални прототип за претрагу текста и медија

Google је објавио EmbeddingGemma 2 6. октобра 2026. и понудио тежине за преузимање под лиценцом Apache 2.0. Модел претвара текст, код, слике, видео и звук у векторе који се пореде у заједничком простору од 768 димензија. За програмера са локалном колекцијом практична питања су које енкодере учитати, како представити упите и датотеке и да ли су резултати корисни за ту колекцију. Овај водич прати Google-ова објављена упутства и картицу модела; BIG CHANGE није покренуо модел нити мерио квалитет проналажења.

Велика промена

• Шта се променило:Претходни EmbeddingGemma обрађивао је текст. Верзија 2 додаје енкодере за слику и звук, па текстуални упит може да се пореди са подржаним медијима у заједничком векторском простору без претходног генерисања описа или транскрипта. Google је објавио тежине; очекује се да ML Kit услуга за Android стигне у наредним недељама.
• Зашто је важно:Програмер може да учита енкодере потребне локалној колекцији и направи један индекс за проналажење у подржаним типовима датотека. Google-ов AI Edge Galleryприказује локалне векторе медија у SQLite-у рангиране косинусном сличношћу. Апликацији су и даље потребни унос датотека, складиштење вектора, приказ резултата и провере обмањујућих подударања.
• Шта треба пратити:Непосредна одлука је да ли се репрезентативне датотеке добро рангирају у оквиру меморијског и латенцијског буџета уређаја. Каснија Android услуга могла би да промени начин интеграције; најављени рок не значи да је услуга данас доступна.

Изаберите улазе пре учитавања модела

У водичу за програмере документовани су Sentence Transformers 6.1.0 или новији и ова команда за инсталацију за све подржане медије:

pip install -U sentence-transformers[image,audio,video] transformers

Тачан checkpoint је google/embeddinggemma-2. Подразумевано учитавање у Sentence Transformers-у обухвата све енкодере. За колекцију само текстуалних и програмских датотека водич препоручује да се при учитавању изоставе визуелни и звучни енкодери:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"vision_config": None, "audio_config": None},
)

Задржавање визуелног енкодера без звучног захтева config_kwargs={"audio_config": None}; задржавање звучног без визуелног захтева config_kwargs={"vision_config": None}. Ове опције мењају које се тежине учитавају, док вектори остају у заједничком простору модела. Према водичу, текстуални упит зато може да се пореди са сликом енкодираном конфигурацијом која укључује визуелни енкодер. Google описује модел као погодан за потрошачке уређаје, али објављени Python пример је брзи почетак за библиотеку, а не измерена гаранција меморије или латенције на уређају читаоца.

Упите и ставке колекције енкодирајте различито

За текстуално проналажење, картица модела наводи посебна упутства за упит и ставке корпуса. Sentence Transformers их прослеђује кроз prompt_name:

query_vector = model.encode("northern lights", prompt_name="SearchQuery")
document_vector = model.encode(
    "Charged particles from the sun cause the northern lights.",
    prompt_name="Document",
)
score = model.similarity(query_vector, document_vector)

Овај документовани исечак прави векторе и оцену сличности; то није резултат посматран у нашем окружењу. Document убацује title: none. Ако ставка има стварни наслов, Google налаже да се изричито форматира као title: {title} | text: {content}. Претрага кода користи упутство за упит CodeRetrieval и наслов или име датотеке индексираног кода. Класификација, груписање и сличност реченица користе сопствена симетрична упутства. Картица модела каже да модел ради и без текстуалних инструкција, али уз мању прецизност.

Ранији model нема визуелни ни звучни енкодер. Пре енкодирања слике учитајте конфигурацију за текст и визуелни садржај из водича са истог checkpoint-а, па тим моделом обрадите и медиј и упит. Овај редослед прати документацију; нисмо га покретали:

media_model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"audio_config": None},
)
image_vector = media_model.encode({"image": "photo.jpg"})
query_vector = media_model.encode("a photo query", prompt_name="SearchQuery")
score = media_model.similarity(query_vector, image_vector)

За звук поново учитајте модел без audio_config: None да бисте укључили звучни енкодер; подразумевано потпуно учитавање садржи визуелни и звучни енкодер. Google-ов водич прослеђује речник попут {"audio": "recording.wav"} без текстуалног префикса задатка. Текст и медији могу да се комбинују постављањем ознака <|image|>, <|video|> или <|audio|> у текст и прослеђивањем одговарајућих датотека у речнику. Тај позив прави један вектор за комбиновани унос. Картица модела наводи моно звук од 16 kHz и подразумевано узорковање видеа од једног кадра у секунди. Слике, видео-кадрови, звук и текст деле контекстни буџет од 8.192 токена, па дугачак снимак или мешовита ставка захтевају планирање уноса уместо претпоставке да све стаје.

Изаберите величину вектора, па проверите компромис

Изворни излаз има 768 димензија. Google-ова картица модела подржава 512, 256 и 128 димензија скраћивањем вектора. Водич документује truncate_dim=256 са normalize_embeddings=True у model.encode(). Вектори упита и индексираних ставки морају имати исте димензије; скраћене векторе треба нормализовати пре косинусног поређења. Картица наводи да 128 димензија знатно више нарушава мултимодални квалитет него 256 и препоручује 128 углавном за текстуална оптерећења. То су Google-ови резултати benchmark-а у пуној прецизности, а не предвиђање одзива за конкретну колекцију.

Нумеричка прецизност је још један избор при подешавању. Картица препоручује bfloat16 на хардверу који то подржава или float32 другде, укључујући већину CPU-а. Упозорава да float16 може дати NaN вредности или неприметно лошије embedding-е. Бројеви параметара за селективно учитавање описују компоненте модела, док стварна меморија уређаја и брзина претраге зависе од начина извршавања, прецизности, индекса и величине улаза.

Шта проверити пре употребе резултата

Прототип може да индексира мали дозвољени узорак, издвоји репрезентативне упите и провери да ли се исправне ставке појављују при врху. Укључите текстуалне, текстуално-сликовне или текстуално-звучне случајеве само ако колекција заиста садржи те медије. Упоредите 768 и 256 димензија на истим упитима, проверите грешке у релевантним језицима и типовима докумената и измерите меморију, време индексирања и латенцију упита на предвиђеном уређају. То су кораци евалуације за читаоца; BIG CHANGE их није спровео.

Резултати објављени у картици модела дају EmbeddingGemma 2 оцену 78,68 према 68,76 за претходни модел на MTEB code v1, док су резултати за multilingual MTEB v2 61,36 према 61,15. Картица наводи и резултате за слике, видео и звук, без поређења са верзијом 1 за те модалитете. Сви цитирани benchmark резултати користе checkpoint пуне прецизности. Они описују Google-ове услове евалуације, а не тачност на локалној архиви. Картица упозорава да квалитет може да варира по језику и задатку и да апликације за проналажење захтевају сопствено филтрирање и провере правичности.

Тежине су објављене под лиценцом Apache 2.0, а водич води до Hugging Face репозиторијума. Google-ови материјали описују локално покретање, али не дају универзалну цену примене: уређај, рачунање, складиштење и инжењеринг представљају трошак апликације. Следећи корак за читаоца је да провери да ли модел правилно рангира репрезентативне датотеке у оквиру буџета уређаја.

Извори и додатна литература

• Објава Google AI Edge, 6. октобар 2026: фаза објављивања, локална претрага медија у AI Edge Gallery-у и најављени рок за ML Kit. Мерења уређаја у овом тексту потичу од Google-а.
• Водич за програмере EmbeddingGemma 2, 6. октобар 2026: верзија библиотеке, опције учитавања, примери енкодирања и упутства за скраћивање вектора.
• Картица модела EmbeddingGemma 2: архитектура модела, ограничења улаза, инструкције задатака, упозорење о прецизности, benchmark табеле и ограничења. Резултате је пријавио Google.
• Google-ов репозиторијум модела: наведени checkpoint и објављене датотеке модела. Доступност репозиторијума не потврђује перформансе у апликацији.