Laporan AI Gateway Vercel bulan September menyatakan model berbobot terbuka memproses 56% token yang dirutekan melalui gateway-nya pada Agustus, sementara porsinya dalam estimasi pengeluaran adalah 14%. Perbandingan ini menunjukkan bahwa volume penggunaan dan anggaran model dapat menghasilkan gambaran berbeda. Ini adalah potret lalu lintas satu gateway, bukan ukuran seluruh pasar AI atau tagihan aktual pelanggan.

Pada menit 20:03 episode 290 podcast All-In, para panelis membahas laju rilis model berbobot terbuka dan model premium, serta berpendapat bahwa model unduhan yang lebih mumpuni memperluas akses. Itu adalah tafsiran panel. Data lain yang lebih terbatas berasal dari Indeks Produksi AI Gateway bulan September, yang melaporkan lalu lintas hingga Agustus.

Perubahan besar

  • Yang berubah: Model berbobot terbuka beralih dari minoritas menjadi 56% token di Vercel AI Gateway antara Desember dan Agustus, sementara porsinya adalah 14% dari estimasi pengeluaran berdasarkan harga daftar pada Agustus.
  • Mengapa ini penting: Tim yang memilih model perlu memisahkan kebutuhan token dari pengeluaran, lalu membandingkan kualitas dan seluruh biaya operasi untuk tugas yang dijalankan. Indeks tersebut tidak memberikan hasil khusus tugas atau estimasi penghematan bagi suatu tim.
  • Yang perlu dicermati: Pertanyaan praktisnya adalah apakah model yang dipilih memenuhi persyaratan kualitas, latensi, privasi, dan operasi tim dengan biaya totalnya. Pangsa token saja tidak dapat menjawabnya; ketentuan lisensi, perangkat keras, dan waktu rekayasa juga berpengaruh.

Apa yang diukur oleh angka 56% dan 14%

Vercel mengatakan model berbobot terbuka menangani 56% token yang dirutekan melalui AI Gateway pada Agustus, bulan pertama ketika model tersebut menjadi mayoritas volume gateway itu. Porsinya adalah 14% dari estimasi pengeluaran. Grafik perusahaan menunjukkan pangsa tersebut naik dari 13% pada April menjadi 56% pada Agustus. Laporan itu bertanggal 17 September dan menggunakan data hingga Agustus.

Selisih tersebut tidak berarti model-model itu gratis untuk dijalankan. Bobot yang dapat diunduh tetap memerlukan komputasi, listrik, dan operasi. Berdasarkan pangsa yang dibulatkan, estimasi pengeluaran per token dalam kelompok model berbobot terbuka sekitar seperdelapan dibandingkan model lain dalam kumpulan data ini. Perhitungan ini menggunakan angka Vercel: 14% pengeluaran dibagi 56% token, dibandingkan sisa 86% pengeluaran dibagi 44% token. Angka itu menggambarkan rata-rata berbagai model dan jenis token, bukan harga atau kemampuan model tertentu.

Indeks menghitung token masukan, keluaran, penalaran, masukan tersimpan dalam cache, dan pembuatan cache. Jenis token tersebut dapat memiliki harga berbeda, sehingga rata-rata kelompok juga mencerminkan apa yang dikirim dan dihasilkan penggunanya. Vercel memperkirakan pengeluaran berdasarkan harga daftar yang dipublikasikan laboratorium; perusahaan mengatakan tagihan aktual dapat berbeda. Pendekatan itu memungkinkan Vercel membandingkan lalu lintas tim yang membawa kunci penyedia mereka sendiri, tetapi bukan audit tagihan atau pengukuran biaya komputasi untuk hosting mandiri.

Laporan itu juga mengatakan harga rata-rata per token yang diperkirakan di seluruh gateway turun 23,2% pada Agustus. Di antara tim yang masing-masing menjalankan lebih dari 10 juta token pada Juli dan Agustus, estimasi harga per token untuk tim median turun 7,6%. Vercel mengaitkan sebagian penurunan dengan pertumbuhan penggunaan model berbobot terbuka. Laporan tersebut tidak memisahkan berapa banyak perubahan yang berasal dari pergeseran itu, komposisi token yang berbeda, atau perubahan model dan beban kerja oleh tim.

Satu gateway bukan seluruh pasar

Indeks ini merupakan lalu lintas agregat anonim yang dirutekan melalui Vercel AI Gateway. Indeks memberi gambaran permintaan produksi nyata yang melewati layanan tersebut, lebih konkret daripada papan peringkat model atau pengumuman rilis. Namun, laporan itu tidak menunjukkan bahwa pelanggannya mewakili semua pengguna AI, tidak mengungkap kerangka sampel untuk pasar yang lebih luas, dan tidak memperlihatkan adopsi pada beban kerja yang tidak menggunakan gateway tersebut. Karena itu, persentasenya sebaiknya dibaca sebagai komposisi penggunaan gateway Vercel.

Vercel juga mencatat bahwa klasifikasi model berbobot terbukanya mengikuti daftar model AI Gateway saat ini, yang lebih luas daripada definisi dalam laporan terdahulu. Angka sebelumnya dapat berubah saat Vercel memperbarui metodologi dan menerima data yang lebih lengkap. Tren bulanan tetap informatif, tetapi laporan itu sendiri memperingatkan bahwa batas kategorinya telah bergeser.

“Berbobot terbuka” juga tidak sama dengan “sumber terbuka”. Bobot model adalah parameter numerik hasil pembelajaran yang dapat dirilis untuk diunduh. Definisi Open Source AI 1.0 dari Open Source Initiative menetapkan standar lebih luas: definisi itu mensyaratkan kebebasan menggunakan, mempelajari, mengubah, dan membagikan sistem AI, serta menyebut informasi data pelatihan, kode, dan parameter model sebagai bagian bentuk pilihan untuk modifikasi. Checkpoint yang dapat diunduh mungkin tetap memiliki pembatasan lisensi atau tidak menyertakan kode pelatihan dan rincian data. Tim perlu memeriksa lisensi dan materi rilis setiap model.

Apa arti selisih ini bagi pembeli AI

Angka Vercel mendukung kesimpulan terbatas: di gateway ini, model berbobot terbuka menangani volume token lebih besar dengan porsi estimasi pengeluaran berdasarkan harga daftar yang lebih kecil. Angka tersebut tidak menunjukkan bahwa beban kerja yang sama akan lebih murah di server lokal, atau bahwa model berbiaya lebih rendah dapat menggantikan model premium tanpa perubahan kualitas, kecepatan, atau keandalan.

Bagi tim produk, perbandingan yang relevan adalah biaya untuk menyelesaikan tugas yang sama dengan standar penerimaan yang sama. Perhitungan itu berarti memasukkan volume masukan dan keluaran, percobaan ulang, alat, perutean, latensi, dan peninjauan manusia; kemudian membandingkan tagihan penyedia dengan perangkat keras dan operasi yang diperlukan untuk menjalankan bobot secara langsung. Indeks September tidak menyediakan perbandingan per tugas tersebut. Nilainya adalah sebagai sinyal bahwa model berbobot terbuka kini mencakup penggunaan substansial di satu gateway produksi, sementara komposisi pengeluaran masih terkonsentrasi di tempat lain.

Argumen lebih luas panel All-In—bahwa ketersediaan model meningkat—dapat dinilai dengan bukti penggunaan semacam ini, tetapi indeks Vercel tidak memverifikasi setiap klaim model dalam diskusi tersebut maupun meramalkan arah adopsi berikutnya. Untuk saat ini, pembedaan yang berguna adalah antara jumlah token yang diproses suatu kategori, estimasi biaya penyedia untuknya, dan biaya yang ditanggung tim untuk memperoleh hasil yang dapat diandalkan.

Sumber & bacaan lanjutan