EmbeddingGemma 2: prototipe pencarian lokal untuk teks dan media

Google merilis EmbeddingGemma 2 pada 6 Oktober 2026 dengan bobot yang dapat diunduh di bawah lisensi Apache 2.0. Model ini mengubah teks, kode, gambar, video, dan audio menjadi vektor yang dapat dibandingkan dalam satu ruang 768 dimensi. Bagi pengembang dengan koleksi lokal, pertanyaan praktisnya adalah encoder mana yang perlu dimuat, bagaimana merepresentasikan kueri dan file, serta apakah kecocokan yang dihasilkan berguna untuk koleksi tersebut. Panduan ini mengikuti petunjuk dan kartu model yang diterbitkan Google; BIG CHANGE belum menjalankan model atau mengukur kualitas temu kembali.

Perubahan besar

• Apa yang berubah:Model EmbeddingGemma sebelumnya menangani teks. Versi 2 menambahkan encoder visi dan audio sehingga kueri teks dapat dibandingkan dengan media yang didukung dalam ruang vektor bersama tanpa lebih dulu membuat takarir atau transkrip. Google telah merilis bobotnya; akses layanan ML Kit di Android direncanakan dalam beberapa minggu mendatang.
• Mengapa penting:Pengembang dapat memuat encoder yang dibutuhkan koleksi lokal dan membuat satu indeks temu kembali untuk jenis file yang didukung. AI Edge Gallery dari Googlemenunjukkan vektor media lokal dalam SQLite yang diurutkan berdasarkan kemiripan kosinus. Aplikasi tetap memerlukan pemasukan file, penyimpanan vektor, tampilan hasil, dan pemeriksaan kecocokan yang menyesatkan.
• Yang perlu dicermati:Keputusan langsungnya adalah apakah file representatif mendapat peringkat baik dalam anggaran memori dan latensi perangkat. Layanan Android mendatang dapat mengubah cara integrasi; waktu yang diumumkan tidak berarti layanan sudah tersedia sekarang.

Pilih masukan sebelum memuat model

Panduan pengembang mendokumentasikan Sentence Transformers 6.1.0 atau yang lebih baru serta perintah instalasi ini untuk semua media yang didukung:

pip install -U sentence-transformers[image,audio,video] transformers

Checkpoint yang tepat adalah google/embeddinggemma-2. Pemuatan default Sentence Transformers mencakup semua encoder. Untuk koleksi yang hanya berisi teks dan kode, panduan menyarankan agar visi dan audio dikecualikan saat pemuatan:

from sentence_transformers import SentenceTransformer

model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"vision_config": None, "audio_config": None},
)

Untuk mempertahankan visi sambil mengecualikan audio, gunakan config_kwargs={"audio_config": None}; untuk mempertahankan audio sambil mengecualikan visi, gunakan config_kwargs={"vision_config": None}. Opsi ini mengubah bobot yang dimuat, sedangkan vektor hasilnya tetap berada di ruang bersama model. Karena itu, menurut panduan, kueri teks saja dapat dibandingkan dengan gambar yang dienkode menggunakan konfigurasi yang menyertakan visi. Google menyebut model ini cocok untuk perangkat konsumen, tetapi contoh Python yang dipublikasikan adalah panduan awal pustaka, bukan jaminan terukur untuk memori atau latensi perangkat pembaca.

Enkode kueri dan item koleksi dengan cara berbeda

Untuk temu kembali teks, kartu model menetapkan instruksi tugas terpisah untuk kueri dan item korpus. Sentence Transformers menerapkannya melalui prompt_name:

query_vector = model.encode("northern lights", prompt_name="SearchQuery")
document_vector = model.encode(
    "Charged particles from the sun cause the northern lights.",
    prompt_name="Document",
)
score = model.similarity(query_vector, document_vector)

Cuplikan terdokumentasi ini menghasilkan vektor dan skor kemiripan; ini bukan hasil yang diamati di lingkungan kami. Document menyisipkan title: none. Jika item memiliki judul sebenarnya, Google meminta pengembang memformatnya secara eksplisit sebagai title: {title} | text: {content}. Pencarian kode memakai instruksi kueri CodeRetrieval serta judul atau nama file dari kode yang diindeks. Klasifikasi, pengelompokan, dan kemiripan kalimat memakai instruksi simetrisnya masing-masing. Kartu model menyatakan bahwa model tetap berjalan tanpa instruksi teks, tetapi presisinya berkurang.

Model model sebelumnya tidak memiliki encoder visi maupun audio. Sebelum mengenkode gambar, muat konfigurasi teks-dan-visi dari panduan dari checkpoint yang sama, lalu gunakan model itu untuk media dan kueri. Urutan ini mengikuti dokumentasi; kami belum menjalankannya:

media_model = SentenceTransformer(
    "google/embeddinggemma-2",
    config_kwargs={"audio_config": None},
)
image_vector = media_model.encode({"image": "photo.jpg"})
query_vector = media_model.encode("a photo query", prompt_name="SearchQuery")
score = media_model.similarity(query_vector, image_vector)

Untuk audio, muat ulang tanpa audio_config: Noneagar encoder audio aktif; pemuatan default penuh mencakup visi dan audio. Panduan Google memberikan kamus seperti {"audio": "recording.wav"} tanpa prefiks tugas teks. Masukan juga dapat menggabungkan teks dan media dengan menempatkan penanda <|image|>, <|video|> atau <|audio|> dalam teks serta memberikan file yang sesuai di kamus. Pemanggilan itu menghasilkan satu vektor untuk masukan gabungan. Kartu model menetapkan audio mono 16 kHz dan menyebut video secara default mengambil sampel satu bingkai per detik. Gambar, bingkai video, audio, dan teks berbagi anggaran konteks 8.192 token, sehingga klip panjang atau item campuran perlu direncanakan; jangan berasumsi semua file akan muat.

Pilih ukuran vektor, lalu periksa komprominya

Keluaran asli berukuran 768 dimensi. Kartu model Google mendukung 512, 256, dan 128 dimensi dengan memangkas vektor. Panduan mendokumentasikan truncate_dim=256 dengan normalize_embeddings=True di model.encode(). Vektor kueri dan item terindeks harus memakai dimensi yang sama; vektor yang dipangkas perlu dinormalisasi sebelum dibandingkan dengan kosinus. Kartu tersebut melaporkan bahwa 128 dimensi kehilangan kualitas multimodal jauh lebih besar daripada 256 dan terutama menyarankan 128 untuk beban kerja teks. Angka itu berasal dari tolok ukur Google dengan presisi penuh, bukan prediksi temu kembali pada koleksi tertentu.

Presisi numerik juga menjadi pilihan penyiapan. Kartu menyarankan bfloat16 pada perangkat keras yang mendukungnya atau float32 di tempat lain, termasuk kebanyakan CPU. Kartu memperingatkan bahwa float16 dapat menghasilkan NaN atau menurunkan embedding tanpa terlihat. Hitungan parameter pemuatan selektif menjelaskan komponen model, sedangkan memori perangkat dan kecepatan pencarian yang sesungguhnya bergantung pada jalur eksekusi, presisi, indeks, dan ukuran masukan.

Apa yang perlu dievaluasi sebelum memakai hasilnya

Prototipe dapat mengindeks sampel kecil yang diizinkan, menyisihkan kueri representatif, lalu memeriksa apakah item yang benar muncul di peringkat atas. Sertakan kasus teks-ke-teks, teks-ke-gambar, atau teks-ke-audio hanya jika media itu memang ada dalam koleksi. Bandingkan 768 dan 256 dimensi pada kueri yang sama, periksa kegagalan lintas bahasa dan jenis dokumen yang relevan, serta ukur memori, waktu pengindeksan, dan latensi kueri di perangkat sasaran. Ini langkah evaluasi bagi pembaca; BIG CHANGE belum melakukannya.

Hasil yang diterbitkan di kartu model menempatkan EmbeddingGemma 2 pada 78,68 dibanding 68,76 untuk model sebelumnya di MTEB code v1; skor multilingual MTEB v2 masing-masing 61,36 dan 61,15. Kartu itu juga melaporkan hasil gambar, video, dan audio tanpa pembanding versi 1 untuk modalitas tersebut. Semua hasil tolok ukur yang dikutip menggunakan checkpoint presisi penuh. Hasil itu menunjukkan kondisi evaluasi Google, bukan akurasi pada arsip lokal. Kartu memperingatkan bahwa kualitas dapat berbeda menurut bahasa dan tugas, dan aplikasi temu kembali memerlukan penyaringan serta pemeriksaan keadilan sendiri.

Bobot dirilis di bawah Apache 2.0 dan panduan menautkan ke repositori Hugging Face miliknya. Materi Google menjelaskan cara menjalankan model secara lokal, tetapi tidak menetapkan harga penerapan universal: perangkat, komputasi, penyimpanan, dan rekayasa merupakan biaya aplikasi. Keputusan berikutnya bagi pembaca ialah menguji apakah model mengurutkan file representatif dengan benar dalam anggaran perangkat.

Sumber dan bacaan lanjutan

• Pengumuman Google AI Edge, 6 Oktober 2026: tahap rilis, implementasi pencarian media lokal di AI Edge Gallery, dan jadwal ML Kit yang diumumkan. Pengukuran perangkat dalam tulisan ini berasal dari Google.
• Panduan pengembang EmbeddingGemma 2, 6 Oktober 2026: versi pustaka, opsi pemuatan, contoh pengodean, dan petunjuk pemangkasan vektor.
• Kartu model EmbeddingGemma 2: arsitektur model, batas masukan, instruksi tugas, peringatan presisi, tabel tolok ukur, dan keterbatasan. Hasilnya dilaporkan Google.
• Repositori model Google: checkpoint yang disebutkan dan file model yang diterbitkan. Ketersediaan repositori tidak membuktikan kinerja dalam aplikasi.