EmbeddingGemma 2: lokal na prototype sa paghahanap sa teksto at media

Inilabas ng Google ang EmbeddingGemma 2 noong Oktubre 6, 2026, kasama ang mga nada-download na timbang sa ilalim ng Apache 2.0. Ginagawang mga vector ng modelo ang teksto, code, larawan, video, at audio upang maikumpara sa iisang espasyong may 768 dimensiyon. Para sa developer na may lokal na koleksiyon, kailangang piliin kung aling mga encoder ang ilo-load, paano kakatawanin ang mga query at file, at kung kapaki-pakinabang ang mga tugma sa koleksiyong iyon. Sinusunod ng gabay na ito ang inilathalang mga tagubilin at model card ng Google; hindi pinatakbo ng BIG CHANGE ang modelo o sinukat ang retrieval.

Ang malaking pagbabago

• Ano ang nagbago:Teksto lang ang pinoproseso ng naunang EmbeddingGemma. Nagdagdag ang bersiyon 2 ng mga vision at audio encoder, kaya maihahambing ang text query sa suportadong media sa iisang vector space nang hindi muna gumagawa ng caption o transcript. Nailabas na ng Google ang mga timbang; inaasahang magiging available sa mga susunod na linggo ang ML Kit service sa Android.
• Bakit mahalaga:Maaaring i-load ng developer ang mga encoder na kailangan ng lokal na koleksiyon at gumawa ng iisang retrieval index para sa mga sinusuportahang uri ng file. Ipinakikita ng AI Edge Gallery ng Googleang mga lokal na media vector sa SQLite na niraranggo ayon sa cosine similarity. Kailangan pa rin ng app ng pagpasok ng file, imbakan ng vector, pagpapakita ng resulta, at pagsusuri sa mapanlinlang na mga tugma.
• Ano ang dapat bantayan:Ang agarang pasya ay kung maayos ang ranggo ng mga kinatawang file sa loob ng badyet ng memorya at latency ng device. Maaaring magbago ang paraan ng integration kapag dumating ang Android service; hindi nangangahulugang available na ito ngayon ang inihayag na takdang panahon.

Piliin ang mga input bago i-load ang modelo

Inilalarawan ng gabay para sa developer ang Sentence Transformers 6.1.0 o mas bago at ang utos na ito sa pag-install para sa lahat ng suportadong media:

pip install -U sentence-transformers[image,audio,video] transformers

Ang eksaktong checkpoint ay google/embeddinggemma-2. Kasama sa default na load ng Sentence Transformers ang lahat ng encoder. Para sa koleksiyong teksto at code lang, ipinapayo ng gabay na alisin sa load ang vision at audio:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"vision_config": None, "audio_config": None},
)

Para panatilihin ang vision at alisin ang audio, kailangan ang config_kwargs={"audio_config": None}; para panatilihin ang audio at alisin ang vision, kailangan ang config_kwargs={"vision_config": None}. Binabago ng mga opsiyong ito kung aling mga timbang ang ilo-load, ngunit nananatili sa iisang espasyo ng modelo ang mga nagresultang vector. Kaya maihahambing ang text-only na query sa larawang in-encode gamit ang konfigurasyong may vision, ayon sa gabay. Sinasabi ng Google na angkop ang modelo sa mga consumer device, ngunit quickstart ng library ang inilathalang Python example, hindi isang sinukat na garantiya sa memorya o latency ng device ng mambabasa.

Magkaiba ang pag-encode sa query at mga item ng koleksiyon

Para sa text retrieval, nagtatakda ang model card ng magkahiwalay na task instruction para sa mga query at item ng corpus. Ipinapasa ito ng Sentence Transformers sa pamamagitan ng prompt_name:

query_vector = model.encode("northern lights", prompt_name="SearchQuery")
document_vector = model.encode(
    "Charged particles from the sun cause the northern lights.",
    prompt_name="Document",
)
score = model.similarity(query_vector, document_vector)

Gumagawa ng mga vector at similarity score ang dokumentadong snippet na ito; hindi ito resultang naobserbahan sa aming kapaligiran. Document ang naglalagay ng title: none. Kung may tunay na pamagat ang isang item, ipinag-uutos ng Google na tahasang i-format ito bilang title: {title} | text: {content}. Gumagamit ang code search ng CodeRetrieval na query instruction at pamagat o filename ng naka-index na code. May sarili at simetrikong instruction ang classification, clustering, at sentence similarity. Ayon sa model card, tatakbo pa rin ang modelo kapag wala ang mga text instruction, pero bababa ang precision.

Walang vision o audio encoder ang naunang model . Bago mag-encode ng larawan, i-load mula sa parehong checkpoint ang konfigurasyong text-and-vision ng gabay , saka gamitin ang modelong iyon para sa media at query. Sinusunod ng hakbang na ito ang dokumentasyon; hindi namin ito pinatakbo:

media_model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"audio_config": None},
)
image_vector = media_model.encode({"image": "photo.jpg"})
query_vector = media_model.encode("a photo query", prompt_name="SearchQuery")
score = media_model.similarity(query_vector, image_vector)

Para sa audio, i-reload nang inaalis ang audio_config: None upang paganahin ang audio encoder; kasama sa buong default load ang vision at audio. Nagpapasa ang gabay ng Google ng dictionary gaya ng {"audio": "recording.wav"} nang walang text task prefix. Maaari ring pagsamahin ang teksto at media sa pamamagitan ng paglalagay ng mga marker na <|image|>, <|video|> o <|audio|> sa teksto at pagbibigay ng katugmang file sa dictionary. Isang vector para sa pinagsamang input ang nililikha ng tawag na iyon. Itinatakda ng model card ang 16 kHz mono audio at sinasabing isang frame kada segundo ang default na sampling sa video. Iisang 8,192-token context budget ang pinaghahatian ng mga larawan, video frame, audio, at teksto; kaya kailangang planuhin ang mahaba o halo-halong input sa halip na ipalagay na kasya ang bawat file.

Pumili ng sukat ng vector, saka timbangin ang kapalit

768 dimensiyon ang native output. Sinusuportahan ng model card ng Google ang 512, 256, at 128 dimensiyon sa pamamagitan ng pagputol sa vector. Itinatala ng gabay ang truncate_dim=256 na may normalize_embeddings=True sa model.encode(). Dapat magkapareho ang dimensiyon ng mga query vector at naka-index na item; kailangang i-normalize ang pinaiikling vector bago ihambing sa cosine. Ayon sa card, mas malaki ang ibinababa ng 128 dimensiyon sa multimodal quality kaysa 256, at pangunahing inirerekomenda ang 128 para sa mga text workload. Mga benchmark result ito ng Google sa full precision, hindi hula sa recall ng isang partikular na koleksiyon.

Isa ring pasya sa setup ang numerical precision. Inirerekomenda ng card ang bfloat16 sa suportadong hardware o float32 sa ibang lugar, kabilang ang karamihan ng CPU. Nagbabala ito na maaaring maglabas ng NaN o tahimik na magpahina sa embedding ang float16 . Inilalarawan ng bilang ng selective-loading parameter ang mga bahagi ng modelo; nakasalalay naman sa execution path, precision, index, at laki ng input ang aktuwal na memorya at bilis ng paghahanap.

Ano ang susuriin bago gamitin ang mga resulta

Maaaring mag-index ang prototype ng maliit at pinahihintulutang sample, magtabi ng mga kinatawang query, at tingnan kung nasa unahan ang tamang item. Isama lang ang text-to-text, text-to-image, o text-to-audio kung talagang nasa koleksiyon ang naturang media. Ihambing ang 768 at 256 dimensiyon sa parehong query, tingnan ang mga pagkabigo sa mahahalagang wika at uri ng dokumento, at sukatin ang memorya, oras ng pag-index, at latency ng query sa target na device. Mga hakbang ito para sa pagsusuri ng mambabasa; hindi ito ginawa ng BIG CHANGE.

Mga resultang inilathala sa model card ang nagbigay sa EmbeddingGemma 2 ng 78.68 kumpara sa 68.76 ng naunang modelo sa MTEB code v1; sa multilingual MTEB v2, 61.36 kumpara sa 61.15 ang mga score. May resulta rin ang card para sa larawan, video, at audio, ngunit walang paghahambing sa bersiyon 1 para sa mga modality na iyon. Full-precision checkpoint ang ginamit sa lahat ng binanggit na benchmark. Ipinakikita ng mga ito ang kondisyon ng pagsusuri ng Google, hindi ang accuracy sa lokal na archive. Nagbabala ang card na maaaring mag-iba ang kalidad ayon sa wika at gawain, at kailangan ng retrieval app ng sariling filtering at pagsusuri sa pagiging patas.

Inilabas ang mga timbang sa ilalim ng Apache 2.0 at nag-uugnay ang gabay sa Hugging Face repository nito. Nagbibigay ang mga materyal ng Google ng lokal na paraan ng pagpapatakbo ngunit walang pangkalahatang presyo ng deployment: gastos ng application ang device, compute, storage, at engineering. Ang susunod na pasya para sa mambabasa ay kung niraranggo nang tama ng modelo ang mga kinatawang file sa loob ng badyet ng device.

Mga sanggunian at karagdagang babasahin

• Anunsiyo ng Google AI Edge, Oktubre 6, 2026: yugto ng release, lokal na media search sa AI Edge Gallery, at inanunsiyong iskedyul ng ML Kit. Mga sukat ng Google ang mga device measurement sa artikulong ito.
• Gabay para sa developer ng EmbeddingGemma 2, Oktubre 6, 2026: bersiyon ng library, mga opsiyon sa pag-load, mga halimbawa ng pag-encode, at tagubilin sa pagputol ng vector.
• Model card ng EmbeddingGemma 2: arkitektura ng modelo, limitasyon sa input, task prompt, babala sa precision, benchmark table, at limitasyon. Iniulat ng Google ang mga resulta.
• Repository ng modelo ng Google: pinangalanang checkpoint at inilathalang mga file ng modelo. Hindi pagpapatunay sa performance ng app ang pagiging available ng repository.