Google 2026 అక్టోబర్ 6న EmbeddingGemma 2ను విడుదల చేసి Apache 2.0 లైసెన్స్‌తో డౌన్‌లోడ్ చేయగల బరువులను అందించింది. ఈ మోడల్ వచనం, కోడ్, చిత్రాలు, వీడియో, ఆడియోను వెక్టర్లుగా మార్చి ఒకే 768-పరిమాణాల స్థలంలో పోల్చుతుంది. స్థానిక సేకరణ ఉన్న డెవలపర్‌కు ఏ ఎన్‌కోడర్‌లను లోడ్ చేయాలి, క్వెరీలు, ఫైళ్లను ఎలా సూచించాలి, వచ్చిన సరిపోలికలు ఆ సేకరణకు ఉపయోగకరమా అనే ప్రశ్నలు ముఖ్యం. ఈ మార్గదర్శకం Google ప్రచురించిన సూచనలు, మోడల్ కార్డ్‌ను అనుసరిస్తుంది; BIG CHANGE మోడల్‌ను నడపలేదు లేదా రిట్రీవల్ నాణ్యతను కొలవలేదు.

ప్రధాన మార్పు

  • ఏమి మారింది:మునుపటి EmbeddingGemma మోడల్ వచనాన్ని మాత్రమే నిర్వహించింది. వెర్షన్ 2లో విజన్, ఆడియో ఎన్‌కోడర్‌లు చేరాయి. దీంతో ముందుగా క్యాప్షన్‌లు లేదా ట్రాన్స్‌క్రిప్ట్‌లు రూపొందించకుండానే, వచన క్వెరీని మద్దతున్న మీడియాతో ఉమ్మడి వెక్టర్ స్థలంలో పోల్చవచ్చు. Google బరువులను విడుదల చేసింది; Androidలో ML Kit సేవ రాబోయే కొన్ని వారాల్లో అందుబాటులోకి రావచ్చని ప్రకటించింది.
  • ఇది ఎందుకు ముఖ్యం:డెవలపర్ స్థానిక సేకరణకు అవసరమైన ఎన్‌కోడర్‌లను లోడ్ చేసి మద్దతున్న ఫైల్ రకాలన్నింటికీ ఒకే రిట్రీవల్ సూచికను నిర్మించవచ్చు. Google యొక్క AI Edge GallerySQLiteలో స్థానిక మీడియా వెక్టర్లను నిల్వచేసి cosine similarity ద్వారా క్రమబద్ధీకరించడాన్ని చూపిస్తుంది. అయినా యాప్‌కు ఫైల్ ఇన్‌జెషన్, వెక్టర్ నిల్వ, ఫలితాల ప్రదర్శన, తప్పుదారి పట్టించే సరిపోలికల తనిఖీలు అవసరం.
  • ఏం గమనించాలి:తక్షణ నిర్ణయం: ప్రతినిధి ఫైళ్లకు పరికరం మెమరీ, ఆలస్య పరిమితుల్లో మంచి ర్యాంకులు వస్తున్నాయా? భవిష్యత్తులో Android సేవ సమీకరణ మార్గాన్ని మార్చవచ్చు; ప్రకటించిన సమయం అంటే సేవ ఇప్పుడు అందుబాటులో ఉందని కాదు.

మోడల్‌ను లోడ్ చేసే ముందు ఇన్‌పుట్‌లను ఎంచుకోండి

డెవలపర్ మార్గదర్శకం మద్దతున్న అన్ని మీడియాల కోసం Sentence Transformers 6.1.0 లేదా కొత్త వెర్షన్‌ను, ఈ ఇన్‌స్టాలేషన్ కమాండ్‌ను సూచిస్తుంది:

Terminal
pip install -U sentence-transformers[image,audio,video] transformers

ఖచ్చితమైన చెక్‌పాయింట్ google/embeddinggemma-2. Sentence Transformers డిఫాల్ట్ లోడ్‌లో అన్ని ఎన్‌కోడర్‌లు ఉంటాయి. వచనం, కోడ్ మాత్రమే ఉన్న సేకరణకు లోడ్ సమయంలో విజన్, ఆడియోను తీసివేయాలని మార్గదర్శకం చెబుతుంది:

Python
from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"vision_config": None, "audio_config": None},
)

ఆడియోను వదిలి విజన్ ఉంచడానికి config_kwargs={"audio_config": None} అవసరం; విజన్‌ను వదిలి ఆడియో ఉంచడానికి config_kwargs={"vision_config": None} అవసరం. ఈ ఎంపికలు లోడ్ అయ్యే బరువులను మార్చినా, ఫలిత వెక్టర్లు మోడల్ ఉమ్మడి స్థలంలోనే ఉంటాయి. కాబట్టి మార్గదర్శకం ప్రకారం, విజన్ ఉన్న కాన్ఫిగరేషన్‌తో ఎన్‌కోడ్ చేసిన చిత్రంతో వచన-మాత్రమే క్వెరీని పోల్చవచ్చు. ఈ మోడల్ వినియోగదారు పరికరాలకు సరిపోతుందని Google చెబుతుంది; అయితే ప్రచురించిన Python ఉదాహరణ లైబ్రరీ త్వరిత ప్రారంభం మాత్రమే, పాఠకుడి పరికరంలో మెమరీ లేదా ఆలస్యానికి కొలిచిన హామీ కాదు.

క్వెరీలు, సేకరణ అంశాలను వేర్వేరుగా ఎన్‌కోడ్ చేయండి

వచన రిట్రీవల్‌కు మోడల్ కార్డ్ క్వెరీలు, కార్పస్ అంశాలకు వేర్వేరు పని సూచనలను నిర్దేశిస్తుంది. Sentence Transformers వాటిని prompt_name ద్వారా అందిస్తుంది:

Python
query_vector = model.encode("northern lights", prompt_name="SearchQuery")
document_vector = model.encode(
    "Charged particles from the sun cause the northern lights.",
    prompt_name="Document",
)
score = model.similarity(query_vector, document_vector)

ఈ పత్రంలోని కోడ్ భాగం వెక్టర్లు, సారూప్యత స్కోరును ఉత్పత్తి చేస్తుంది; ఇది మా వాతావరణంలో గమనించిన ఫలితం కాదు. Document చొప్పిస్తుంది title: none. అంశానికి నిజమైన శీర్షిక ఉంటే దాన్ని స్పష్టంగా title: {title} | text: {content} రూపంలో ఫార్మాట్ చేయాలని Google చెబుతుంది. కోడ్ శోధనకు CodeRetrieval క్వెరీ సూచనతో పాటు సూచికలోని కోడ్ శీర్షిక లేదా ఫైల్ పేరు వాడతారు. వర్గీకరణ, క్లస్టరింగ్, వాక్య సారూప్యతకు వాటి స్వంత సమమితీయ సూచనలు ఉంటాయి. వచన సూచనలు లేకున్నా మోడల్ నడుస్తుంది, కానీ ఖచ్చితత్వం తగ్గుతుందని కార్డ్ చెబుతుంది.

మునుపటి model లో విజన్ లేదా ఆడియో ఎన్‌కోడర్ లేదు. చిత్రాన్ని ఎన్‌కోడ్ చేయడానికి ముందు అదే చెక్‌పాయింట్ నుంచి మార్గదర్శకంలోని వచన-విజన్ కాన్ఫిగరేషన్ ను లోడ్ చేసి, మీడియా, క్వెరీ రెండింటికీ ఆ మోడల్ వాడండి. ఈ క్రమం డాక్యుమెంటేషన్‌ను అనుసరిస్తుంది; మేము దీన్ని నడపలేదు:

Python
media_model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"audio_config": None},
)
image_vector = media_model.encode({"image": "photo.jpg"})
query_vector = media_model.encode("a photo query", prompt_name="SearchQuery")
score = media_model.similarity(query_vector, image_vector)

ఆడియో కోసం audio_config: Noneను తీసివేసి మళ్లీ లోడ్ చేయండి; అప్పుడు ఆడియో ఎన్‌కోడర్ చేర్చబడుతుంది. పూర్తి డిఫాల్ట్ లోడ్‌లో విజన్, ఆడియో రెండూ ఉంటాయి. Google మార్గదర్శకం వచన పని ప్రిఫిక్స్ లేకుండా {"audio": "recording.wav"} వంటి డిక్షనరీని ఇస్తుంది. వచనంలో <|image|>, <|video|> లేదా <|audio|> గుర్తులు పెట్టి, డిక్షనరీలో సరిపోలే ఫైళ్లను ఇవ్వడం ద్వారా వచనం, మీడియాను కలపవచ్చు. ఆ కాల్ కలిపిన ఇన్‌పుట్‌కు ఒక వెక్టర్ ఇస్తుంది. మోడల్ కార్డ్ 16 kHz మోనో ఆడియోను నిర్దేశించి, వీడియోను డిఫాల్ట్‌గా సెకనుకు ఒక ఫ్రేమ్ చొప్పున నమూనా తీస్తుందని చెబుతుంది. చిత్రాలు, వీడియో ఫ్రేమ్‌లు, ఆడియో, వచనం అన్నీ 8,192-టోకెన్ సందర్భ పరిమితిని పంచుకుంటాయి. అందువల్ల పొడవైన క్లిప్ లేదా మిశ్రమ అంశానికి ప్రతి ఫైల్ సరిపోతుందని అనుకోకుండా ఇన్‌పుట్‌ను ముందే ప్రణాళిక చేయాలి.

వెక్టర్ పరిమాణాన్ని ఎంచుకుని, దాని ప్రతిఫలాన్ని పరిశీలించండి

సహజ అవుట్‌పుట్ 768 పరిమాణాలది. వెక్టర్‌ను కుదించడం ద్వారా 512, 256, 128 పరిమాణాలకు Google మోడల్ కార్డ్ మద్దతిస్తుంది. మార్గదర్శకం truncate_dim=256 ను normalize_embeddings=True తో model.encode()లో నమోదు చేస్తుంది. క్వెరీ, సూచికలోని అంశాల వెక్టర్ల పరిమాణం ఒకేలా ఉండాలి; తగ్గించిన వెక్టర్లను cosine పోలికకు ముందు సాధారణీకరించాలి. 128 పరిమాణాలు 256తో పోలిస్తే మల్టీమోడల్ నాణ్యతను గణనీయంగా ఎక్కువగా తగ్గిస్తాయని, 128ను ప్రధానంగా వచన పనులకు వాడాలని కార్డ్ చెబుతుంది. ఈ సంఖ్యలు Google పూర్తి-ఖచ్చితత్వ బెంచ్‌మార్క్ ఫలితాలు; నిర్దిష్ట సేకరణలో రీకాల్‌కు అంచనా కావు.

సంఖ్యా ఖచ్చితత్వం కూడా సెటప్ ఎంపికే. మద్దతున్న హార్డ్‌వేర్‌లో bfloat16 ను, ఇతర చోట్ల—చాలా CPUలతో సహా— float32 ను వాడాలని కార్డ్ చెబుతుంది. float16 వల్ల NaNలు రావచ్చు లేదా ఎంబెడ్డింగ్‌లు నిశ్శబ్దంగా నాణ్యత కోల్పోవచ్చని హెచ్చరిస్తుంది. సెలెక్టివ్ లోడింగ్ పారామీటర్ సంఖ్యలు మోడల్ భాగాలను సూచిస్తాయి; అసలు పరికర మెమరీ, శోధన వేగం అమలు మార్గం, ఖచ్చితత్వం, సూచిక, ఇన్‌పుట్ పరిమాణంపై ఆధారపడతాయి.

ఫలితాలను ఉపయోగించే ముందు ఏమి మూల్యాంకనం చేయాలి

ఒక నమూనా అనుమతించిన చిన్న సెట్‌కు సూచికను రూపొందించి, ప్రతినిధి క్వెరీలను పక్కన ఉంచి, సరైన అంశాలు పైభాగంలో వస్తాయా చూడవచ్చు. సేకరణలో నిజంగా ఉన్న మీడియాకే వచనం-వచనం, వచనం-చిత్రం లేదా వచనం-ఆడియో కేసులు చేర్చండి. అదే క్వెరీలపై 768, 256 పరిమాణాలను పోల్చి, సంబంధిత భాషలు, పత్ర రకాలలో వైఫల్యాలను చూడండి; లక్ష్య పరికరంలో మెమరీ, సూచిక తయారీ సమయం, క్వెరీ ఆలస్యాన్ని కొలవండి. ఇవి పాఠకుడి మూల్యాంకన దశలు; BIG CHANGE చేయలేదు.

మోడల్ కార్డ్‌లోని ప్రచురిత ఫలితాలు MTEB code v1లో EmbeddingGemma 2కు 78.68, మునుపటి మోడల్‌కు 68.76 స్కోరు చూపిస్తాయి; multilingual MTEB v2లో అవి 61.36, 61.15. చిత్రం, వీడియో, ఆడియో ఫలితాలూ ఉన్నాయి, కానీ ఆ మాధ్యమాలకు వెర్షన్ 1తో పోలిక లేదు. ఉటంకించిన బెంచ్‌మార్క్‌లన్నీ పూర్తి-ఖచ్చితత్వ చెక్‌పాయింట్‌ను వాడాయి. అవి Google మూల్యాంకన పరిస్థితులను చూపుతాయి; స్థానిక ఆర్కైవ్‌లో ఖచ్చితత్వాన్ని అంచనా వేయవు. భాష, పని ఆధారంగా నాణ్యత మారవచ్చని, రిట్రీవల్ యాప్‌లకు సొంత ఫిల్టరింగ్, న్యాయబద్ధత తనిఖీలు అవసరమని కార్డ్ హెచ్చరిస్తుంది.

బరువులు Apache 2.0 కింద విడుదలయ్యాయి; మార్గదర్శకం వాటి Hugging Face రిపాజిటరీకి లింక్ చేస్తుంది. Google సమాచారం స్థానిక అమలు మార్గాన్ని చూపుతుంది కానీ అందరికీ వర్తించే డిప్లాయ్‌మెంట్ ధరను ఇవ్వదు: పరికరం, కంప్యూట్, నిల్వ, ఇంజినీరింగ్ అనేవి అప్లికేషన్ ఖర్చులు. పాఠకుడి తదుపరి నిర్ణయం: పరికర పరిమితిలో ప్రతినిధి ఫైళ్లకు మోడల్ సరైన ర్యాంకులు ఇస్తుందా అని చూడటం.

మూలాలు, మరింత చదవండి

  • Google AI Edge ప్రకటన, 2026 అక్టోబర్ 6: విడుదల దశ, AI Edge Gallery స్థానిక మీడియా శోధన అమలు, ప్రకటించిన ML Kit సమయం. ఈ కథనంలోని పరికర కొలతలు Google చేసినవే.
  • EmbeddingGemma 2 డెవలపర్ మార్గదర్శకం, 2026 అక్టోబర్ 6: లైబ్రరీ వెర్షన్, లోడ్ ఎంపికలు, ఎన్‌కోడ్ ఉదాహరణలు, వెక్టర్ కుదింపు సూచనలు.
  • EmbeddingGemma 2 మోడల్ కార్డ్: మోడల్ నిర్మాణం, ఇన్‌పుట్ పరిమితులు, పని ప్రాంప్ట్‌లు, ఖచ్చితత్వ హెచ్చరిక, బెంచ్‌మార్క్ పట్టికలు, పరిమితులు. ఫలితాలు Google నివేదించినవి.
  • Google మోడల్ రిపాజిటరీ: పేర్కొన్న చెక్‌పాయింట్, ప్రచురించిన మోడల్ ఫైళ్లు. రిపాజిటరీ అందుబాటులో ఉండటం అప్లికేషన్ పనితీరును ధృవీకరించదు.