Anthropic menyatakan aplikasi Claude-nya menjadi 3 kali lebih cepat. Ini perubahannya

Anthropic menyatakan sprint dua minggu pada Agustus membuat tugas inti di claude.ai dan aplikasi desktop Claude sekitar tiga kali lebih cepat. Uraian rekayasa yang diterbitkan pada 23 September memberikan jawaban yang lebih berguna daripada angka utama saja: uraian itu menunjukkan tindakan mana yang dipercepat, cara tim memeriksa pengukurannya, dan keputusan serta perilisan mana yang tetap menjadi tanggung jawab para insinyur.

Perubahan besar

• Yang berubah: Anthropic melaporkan waktu tunggu yang lebih singkat pada 13 pengukuran tindakan umum di web dan desktop. Angka 3,1x merupakan rata-rata geometrik dari peningkatan tersebut, diukur pada persentil ke-75 tanggal 13 dan 27 Agustus. Ini adalah hasil perusahaan untuk perjalanan penggunaan yang dipilih.
• Mengapa ini penting: Bagi pengguna Claude, halaman web baru yang siap digunakan untuk mengetik dalam 550 milidetik alih-alih 3.085 mengubah bagian penggunaan produk yang berulang. Bagi tim rekayasa, kasus ini menunjukkan asisten AI membantu menangani masalah kinerja terukur sementara manusia memilih prioritas dan menyetujui perubahan.
• Yang perlu dicermati: Anthropic menyatakan persentil ke-95, perjalanan lain, dan percakapan yang sangat panjang masih perlu ditingkatkan. Ukuran-ukuran tersebut akan menunjukkan apakah peningkatan yang dilaporkan melampaui tindakan terpilih dan perbandingan bulan Agustus.

Manfaat bagi pengguna

Anthropic mengidentifikasi empat perjalanan yang menurutnya mencakup 95% aktivitas pengguna: membuka aplikasi, memulai percakapan, memuat percakapan, dan mengirim pesan. Di web, desktop, dan produknya, semuanya menjadi 13 pengukuran. Tiap pengukuran dimulai dari tindakan pengguna dan berakhir saat hasil ditampilkan, dengan pekerjaan klien dan server dipisahkan.

Untuk pemuatan baru claude.ai di web, waktu pada persentil ke-75 hingga halaman siap digunakan untuk mengetik turun dari 3.085 menjadi 550 milidetik, peningkatan 5,6x. Pembukaan dingin aplikasi desktop turun dari 6.310 menjadi 3.328 milidetik, atau 1,9x. Pemuatan sesi cloud Claude Cowork di desktop turun dari 2.566 menjadi 728 milidetik, atau 3,5x. Bagian sisi klien saat mengirim pesan obrolan web turun dari 180 menjadi 59 milidetik, atau 3,1x. Ini adalah tindakan dan platform yang berbeda; angka keseluruhan 3,1x merupakan rata-rata geometrik 13 rasio, bukan hasil satu tugas tertentu.

Perbandingan menggunakan pemantauan pengguna nyata Anthropic pada persentil ke-75, 13 dan 27 Agustus. Unggahan itu tidak menerbitkan audit independen, hasil persentil ke-95 untuk perjalanan ini, atau perkiraan terkontrol mengenai seberapa besar peningkatan berasal dari bantuan Claude. Anthropic memperkirakan tindakan yang lebih cepat menghemat puluhan ribu jam tunggu pengguna setiap hari, tetapi tidak menunjukkan perhitungan di balik perkiraan itu.

Siklus pengukuran di balik perubahan

Tim memulai dengan sekitar 20 proyek yang dipilih para insinyur. Anthropic menyatakan mereka menggunakan Claude Tag, agen beta yang menjalankan model riset internal yang kira-kira sebanding dengan Opus 5.5, untuk menemukan hambatan, membuat tolok ukur, dan mengusulkan perubahan. Tim mengatakan mereka mencapai 12 dari 13 target awal pada hari ketiga, lalu menetapkan target baru dan mencari masalah yang luput dari pemantau yang sudah ada.

Satu contoh berawal dari rekaman baris bilah samping yang bergerak setelah halaman dimuat. Ukuran Cumulative Layout Shift yang ada tidak membuat masalah itu menonjol. Seorang insinyur mengusulkan penggunaan API Layout Instability yang mendasarinya. Claude kemudian menambahkan telemetri untuk mengidentifikasi wilayah halaman terdampak dan uji integrasi yang menunda data bilah samping. Anthropic melaporkan uji tersebut gagal pada seluruh 20 percobaan kode asli dan lulus pada seluruh 20 percobaan perbaikan yang diusulkan. Setelah telemetri diterapkan, perusahaan menyatakan menemukan pergeseran setelah halaman dapat digunakan pada 31% pemuatan web. Ini contoh terdokumentasi dari sprint Anthropic, bukan pengukuran yang diulang oleh BIG CHANGE.

Tim juga menggunakan ukuran laboratorium untuk mempercepat siklus antarperilisan. Untuk dua jalur cepat JavaScript, mereka membandingkan hitungan instruksi deterministik dengan waktu berlalu pada tolok ukur yang sama. Anthropic melaporkan pengurangan jumlah instruksi sebesar 48% dan 31% disertai pengurangan waktu nyata sebesar 78% dan 44%. Tim menetapkan hitungan instruksi tersebut sebagai batas dalam integrasi berkelanjutan, kemudian menurunkan batasnya seiring peningkatan kinerja. Tim menyatakan mereka membuang tolok ukur yang tidak andal atau gagal mengikuti latensi pengguna. Perbedaan ini penting: pencacah laboratorium membantu mengarahkan perubahan, sementara pembacaan pengguna nyata memeriksa apakah pekerjaan yang dirilis bermanfaat.

Bagian yang tetap dikendalikan manusia

Anthropic menjelaskan saluran Slack dengan banyak utas sempit yang masing-masing berpusat pada suatu perjalanan atau tolok ukur. Claude menelusuri masalah, mengusulkan tolok ukur dan pull request, memantau penerapan, serta membaca data lapangan. Insinyur menetapkan tujuan, memutuskan kompromi yang dapat diterima bagi pengguna, dan menyetujui tiap perubahan. Setiap utas memiliki pemilik manusia yang disebutkan namanya. Satu perubahan usulan sepanjang 900 baris ditolak karena insinyur menilai penghematan dua milidetik per pesan tidak sepadan dengan biaya pemeliharaannya.

Proses perilisan memiliki beberapa pemeriksaan. Anthropic menyatakan setiap pull request menerima tinjauan otomatis dan setidaknya satu persetujuan manusia, dengan uji unit sebelum optimasi. Perubahan yang terlihat pengguna dilindungi penanda fitur berumur pendek. Perubahan berisiko tinggi lebih dahulu diberikan kepada pegawai, lalu 1% pengguna, kemudian semua orang. Tim memperkenalkan hampir 200 penanda selama sprint dan menyatakan lebih dari setengahnya dihapus pada akhir sprint. Anthropic melaporkan penggabungan lebih dari 3.000 perubahan tanpa insiden yang dirasakan pelanggan atau rollback. Itu adalah laporan perusahaan tentang sprint ini; hasil itu tidak menetapkan bahwa tim atau basis kode lain akan mendapat hasil yang sama.

Komposer statis menunjukkan pentingnya kendali tersebut. Anthropic menempatkan komposer siap ketik dalam HTML awal selagi React dimuat. Untuk memeriksa perpindahan, penguji membandingkan versi statis dan React pada 14 ukuran layar, memeriksa keselarasan dalam batas satu piksel, dan mengetik selama perpindahan untuk menangkap tombol yang hilang atau berubah urutan. Telemetri lapangan mengukur pergeseran selama perpindahan. Seorang pegawai kemudian menemukan pergeseran tata letak tab baru yang luput dari pengukuran itu; Anthropic menelusurinya ke perubahan ukuran peramban saat pemuatan spekulatif dan menambahkan uji untuk jalur tersebut.

Laporan Anthropic mendukung kesimpulan spesifik: para insinyurnya menggunakan Claude untuk mencari dan memperbaiki hambatan terukur dalam proses perilisan yang diarahkan manusia, dan perjalanan pengguna terpilih lebih cepat pada akhir Agustus. Laporan tersebut belum menjawab kinerja produk pada bagian distribusi paling lambat, ketahanan peningkatan dari waktu ke waktu, atau seberapa besar hasilnya akan diatribusikan pengamat independen kepada agen alih-alih instrumentasi, rekayasa, dan keputusan perilisan tim.