Panduan Keputusan untuk Pemimpin Engineering
Haruskah Tim Engineering Anda Self-Host Model Coding Open-Weight?
2.000 engineer Revolut mengatakan itu bergantung pada volume, bukan ideologi.
Semuanya bergantung pada jumlah engineer, keterampilan GPU dan ops internal, serta kebutuhan residensi data, bukan hanya kualitas model. Revolut melakukan self-host model open-weight pada skala sekitar 2.000 engineer dan memangkas biaya API frontier-nya sekitar 90%, tetapi tetap menyediakan tools frontier untuk masalah tersulitnya. Tim yang lebih kecil biasanya akan menganggap API frontier lebih murah untuk dijalankan.
Diterbitkan
Poin Penting
- Pada skala sekitar 2.000 engineer, Revolut melakukan self-host GLM dari Z.ai pada 56 GPU Nvidia B200 dan memangkas biaya token gabungannya menjadi sekitar sepersepuluh dari biaya Anthropic dan OpenAI sebelumnya.
- Lead time (hari dari saat sebuah fitur diambil hingga siap di-merge) meningkat lebih besar dibanding waktu coding, sekitar 70% berbanding 60%, yang menjadi bukti bahwa bottleneck sesungguhnya bukan coding murni.
- Peningkatan ini sejalan dengan penghapusan budget token, bukan sekadar penggantian model: begitu token tidak lagi langka, para engineer juga mengarahkan AI ke email, tiket, dan dokumentasi.
- Self-hosting membutuhkan kerja infrastruktur yang nyata, bukan sekadar mengunduh weight: penyesuaian panjang context, quantization, dan parallelism memangkas time-to-first-token sebesar 88% dengan jumlah GPU yang sama.
- Revolut tetap menyediakan Claude Code dari Anthropic, Codex dari OpenAI, dan Gemini dari Google sebagai pengecualian frontier untuk masalah tersulitnya, bukan sebagai default harian.
Panduan lengkap
Ketuk bagian mana pun untuk membukanya.
Tentang panduan ini
Ini adalah panduan pembeli untuk pemimpin engineering yang sedang memutuskan apakah akan self-host model coding open-weight, seperti GLM dari Z.ai, dibanding membayar per seat atau token untuk API frontier. Panduan ini disusun berdasarkan data publik Revolut: sebuah bank yang memindahkan sebagian besar dari sekitar 2.000 engineer-nya dari penagihan per-token, sambil tetap menyimpan Claude Code dari Anthropic, Codex dari OpenAI, dan Gemini dari Google untuk masalah tersulitnya. Pelajarannya bukan model mana yang dipilih Revolut, melainkan apa yang berubah begitu token tidak lagi dijatah.
Self-Hosting vs. API Frontier atau Paket Seat: Daftar Periksa Keputusan
| Faktor | Cenderung ke self-hosted open-weight | Cenderung ke API frontier atau paket seat |
|---|---|---|
| Ukuran tim dan volume token | Ratusan hingga ribuan engineer yang menghasilkan volume token harian yang stabil dan tinggi, seperti pada skala sekitar 2.000 engineer di Revolut. | Tim kecil atau menengah di mana overhead GPU dan ops akan menghabiskan biaya lebih besar dibanding biaya API yang digantikannya. |
| Keterampilan GPU dan ops internal | Anda sudah menjalankan atau dapat merekrut untuk infrastruktur GPU: tuning serving-stack, quantization, dan capacity planning adalah pekerjaan nyata dan berkelanjutan. | Tidak ada tim infrastruktur ML khusus, dan tidak ada keinginan untuk membangunnya hanya demi menjalankan model coding. |
| Residensi data dan compliance | Kode atau context tidak boleh keluar dari infrastruktur yang Anda kontrol, atau regulator mengharuskan Anda menyebutkan secara tepat di mana inference berlangsung. | Ketentuan penanganan data standar dari vendor sudah memenuhi persyaratan compliance dan residensi data Anda. |
| Fallback untuk masalah tersulit | Budget untuk penggunaan API frontier sesekali tetap tersedia untuk sebagian kecil tugas yang kurang baik ditangani oleh model open-weight. | Sebagian besar workload Anda justru merupakan jenis masalah sulit dan bervariasi yang memang disesuaikan untuk model frontier, bukan coding rutin. |
| Prediktabilitas penagihan vs. fleksibilitas | Anda menginginkan biaya infrastruktur yang flat dan dapat diprediksi, bukan tagihan yang berubah sesuai penggunaan dan perubahan harga model. | Anda ingin berganti model atau vendor dengan cepat tanpa harus melakukan tuning ulang pada serving stack, dan penggunaannya terlalu tidak merata untuk menentukan ukuran GPU. |
Studi SumbernyaApa yang Sebenarnya Dilakukan dan Diukur Revolut
David Abitbol, yang memimpin operasi AI di Revolut, menjelaskan rollout ini dalam sebuah talk di konferensi AI Engineer di New York pada akhir 2026. Revolut melacak dua angka pada sampel sekitar 2.000 engineer: waktu coding dalam jam, dan lead time dalam hari dari saat fitur diambil hingga di-merge dan siap di-deploy.
Rollout awal Gemini dari Google dengan akses data internal meningkatkan kedua metrik tersebut secara moderat, terutama dengan menggantikan pencarian dokumentasi. Claude Code dari Anthropic diluncurkan berikutnya dengan budget token per-engineer yang ketat, setelah beberapa engineer menghabiskan biaya besar tanpa hasil yang jelas, dan menurut Abitbol, pada awalnya efeknya hampir tidak terukur.
Yang benar-benar mengubah angka-angka ini adalah self-hosting model open-weight, GLM dari Z.ai, dimulai sekitar April 2026, tanpa batas token sama sekali. Waktu coding meningkat sekitar 60% dan lead time sekitar 70%. Revolut sekarang menjadikan model self-hosted ini sebagai default untuk coding sehari-hari, dengan penagihan yang flat dan dapat diprediksi, serta menyimpan tools frontier sebagai pengecualian untuk masalah tersulit.
Pada skala sekitar 2.000 engineer, menjalankan model ini membutuhkan 56 GPU Nvidia B200, dengan target time-to-first-token di bawah tiga detik (keluhan mulai muncul setelah lima detik). Biaya gabungannya sekitar $0,30 per juta token, kira-kira sepersepuluh dari yang sebelumnya dibayarkan Revolut kepada Anthropic dan OpenAI secara gabungan.
Pelajaran SesungguhnyaPelajarannya Bukan Model, Melainkan Penjatahan
Interpretasi Abitbol sendiri terhadap data ini adalah bagian yang paling berguna: lead time meningkat lebih besar dibanding waktu coding, yang berarti coding bukanlah bottleneck utama. Begitu tidak ada lagi yang perlu menghemat token untuk tiket tersulit di kuartal itu, para engineer mulai mengarahkan AI ke email, Jira, Confluence, dan pekerjaan lain di sekitar sebuah fitur, bukan hanya kode itu sendiri.
Pelajaran ini berlaku terlepas dari model apa yang dijalankan tim. Tim yang menggunakan API frontier dengan budget token per engineer, atau membatasi penggunaan untuk mengontrol biaya, sebenarnya menciptakan ulang masalah penjatahan yang sama yang diselesaikan Revolut dengan menghapus batasan. Solusinya tidak selalu self-hosting; terkadang cukup dengan paket harga yang lebih murah atau lebih flat untuk model frontier yang sama.
Pelajaran praktis untuk setiap pemimpin engineering adalah mengukur lead time, bukan hanya waktu coding atau jumlah baris kode yang dihasilkan, sebelum memutuskan apakah tooling AI benar-benar memberikan hasil, serta mengamati apakah para engineer menjatah penggunaan mereka sendiri karena tekanan biaya atau kuota.
Halaman ini berfokus pada keputusan biaya tim dan rollout: apakah akan melakukan self-host sama sekali, dan bagaimana melakukan rollout-nya begitu Anda memutuskan. Untuk pertanyaan yang lebih luas dan tidak terikat model tertentu tentang apa sebenarnya arti open weight, open source, dan API tertutup, serta mengapa lab dan pemerintah memperlakukannya secara berbeda, panduan Nightschool AI, Open-Source vs Closed AI Models, membahas hal itu secara lengkap.
Tuning Sebelum ScalingSelf-Hosting Membutuhkan Engineering, Bukan Sekadar Weight
Angka-angka infrastruktur Revolut menjadi peringatan yang berguna agar tidak menganggap self-hosting itu sederhana begitu Anda memiliki GPU. Dari April hingga Agustus 2026, dengan jumlah GPU tetap di 56, beban meningkat dari sekitar 3 menjadi lebih dari 7 request per detik, sementara time-to-first-token turun dari sekitar 14 detik menjadi di bawah 2 detik, peningkatan latensi sebesar 88% tanpa hardware baru.
Abitbol mengaitkan sekitar 80% dari peningkatan tersebut dengan konfigurasi serving, bukan GPU: membatasi panjang context jauh di bawah maksimum yang diklaim model, menjalankan quantization presisi lebih rendah pada hardware GPU generasi saat ini, dan menyesuaikan cara attention cache model dibagi di antara perangkat. Kesimpulannya untuk tim yang mempertimbangkan jalur ini terdengar blak-blakan: memuat weight ke GPU lalu menganggapnya selesai akan menghasilkan performa yang buruk.
Pekerjaan tuning ini adalah biaya ops nyata dan berkelanjutan yang sering diremehkan kebanyakan tim saat membandingkan harga nominal model self-hosted dengan biaya API.
Melakukan RolloutLatih Kebiasaannya Sebelum Menyentuh Infrastruktur
Peningkatan Revolut sejalan dengan penghapusan batas token, bukan dengan mengganti model. Berikut langkah-langkah yang membuat kebiasaan ini melekat pada tim apa pun, dengan model apa pun.
Tetapkan baseline lead time terlebih dahulu
Sebelum mengubah tooling atau budget apa pun, ukur berapa lama sebenarnya sebuah fitur biasa membutuhkan waktu dari diambil hingga siap di-merge. Tanpa baseline ini, Anda tidak dapat mengetahui apakah perubahan berikutnya benar-benar membantu.
Hapus penjatahan diam-diam
Periksa apakah para engineer menghemat penggunaan AI untuk tiket tersulit di bulan itu karena budget atau kuota. Jika ya, penjatahan tersebut membatasi hasil Anda terlepas dari model apa yang berada di belakangnya.
Latih pada setiap tiket, bukan hanya yang sulit
Kebiasaan yang menggerakkan angka-angka Revolut adalah mengarahkan AI ke email, tiket, dan dokumentasi, bukan hanya masalah coding yang sulit. Ajarkan kebiasaan itu secara eksplisit; kebiasaan ini tidak terbentuk sendiri hanya karena sebuah batasan dihapus.
Ukur ulang lead time, bukan hanya waktu coding
Lacak kembali metrik lead time yang sama setelah perubahan dilakukan. Jika waktu coding meningkat tetapi lead time tidak, bottleneck-nya masih berada di bagian lain dari proses, dan menambah token tidak akan memperbaikinya.
Batasan yang JujurApa yang Tidak Dibuktikan oleh Kasus Revolut
Angka-angka Revolut menggambarkan deployment satu bank teregulasi pada skalanya sendiri. Ingat batasan-batasan ini sebelum menganggapnya sebagai hasil yang universal.
Angka satu perusahaan, bukan benchmark
Angka biaya dan latensi dalam panduan ini menggambarkan deployment, pola penggunaan, dan ketentuan negosiasi spesifik milik Revolut. Anggap ini sebagai bukti apa yang memungkinkan, bukan sebagai jaminan harga atau performa untuk workload Anda sendiri.
Tools frontier tetap dipakai
Revolut tidak menghapus Claude Code dari Anthropic, Codex dari OpenAI, atau Gemini dari Google. Revolut tetap menyimpannya sebagai pengecualian yang disengaja untuk masalah-masalah yang kurang baik ditangani oleh model self-hosted-nya, sebuah biaya yang sering tidak disebutkan dalam kebanyakan presentasi self-hosting.
Detail compliance bersifat spesifik per perusahaan
Alasan Revolut tentang di mana model ini dijalankan dan bagaimana hal itu memenuhi persyaratan regulatornya mencerminkan kondisi spesifiknya sebagai bank yang diregulasi di UE. Ini bukan temuan umum bahwa model, region, atau setup apa pun otomatis memenuhi kewajiban organisasi lain.
Ajarkan Kebiasaannya Sebelum Menyentuh Infrastruktur
Peningkatan Revolut berasal dari penghapusan batas token sehingga para engineer menggunakan AI pada setiap tiket, bukan hanya yang sulit. Perubahan kebiasaan ini mendahului keputusan self-hosting apa pun, dan pelatihan korporat Nightschool AI membangunnya di seluruh tim engineering.
Pertanyaan yang Sering Diajukan
Apa itu model coding open-weight?
Model yang weight hasil pelatihannya dapat diunduh dan dijalankan pada infrastruktur yang Anda kontrol, berbeda dengan model tertutup yang hanya dapat diakses melalui API provider. GLM dari Z.ai, model dalam kasus Revolut, adalah salah satu contohnya; menjalankannya tetap membutuhkan infrastruktur GPU yang nyata dan tuning serving-stack.
Apakah Revolut berhenti sepenuhnya menggunakan Claude Code, Codex, dan Gemini?
Tidak. Revolut menjadikan model open-weight self-hosted sebagai default untuk coding sehari-hari, tetapi tetap menyediakan Claude Code dari Anthropic, Codex dari OpenAI, dan Gemini dari Google sebagai pengecualian untuk masalah tersulitnya, di mana menurut laporannya tools frontier tersebut masih berperforma baik.
Berapa banyak sebenarnya yang dihemat Revolut dengan self-hosting?
Biaya gabungan yang dilaporkannya sendiri sekitar $0,30 per juta token, kira-kira sepersepuluh dari yang sebelumnya dibayarkan kepada Anthropic dan OpenAI secara gabungan, untuk melayani sekitar 2.000 engineer pada 56 GPU Nvidia B200. Angka ini menggambarkan deployment dan penggunaan Revolut, bukan harga yang harus diharapkan oleh setiap tim.
Apakah self-hosting benar-benar lebih murah jika memperhitungkan pekerjaan engineering-nya?
Tidak secara otomatis. Revolut melaporkan bahwa sekitar 80% peningkatan performanya berasal dari tuning konfigurasi serving, bukan dari membeli lebih banyak GPU, yang merupakan pekerjaan infrastruktur berkelanjutan. Tim yang lebih kecil tanpa keterampilan tersebut secara internal mungkin mengeluarkan biaya lebih besar untuk mencapai performa sebanding dibanding biaya API frontier.
Apakah model open-weight self-hosted seperti GLM berisiko dari sisi keamanan karena tempat pembuatannya?
Di mana weight sebuah model dilatih dan di mana Anda menjalankannya adalah dua pertanyaan yang berbeda. Posisi Revolut sendiri, sebagai bank yang diregulasi, adalah bahwa mengunduh weight dan menjalankannya pada infrastruktur yang dikontrolnya di jurisdiksi yang disetujui merupakan jalur data yang berbeda dibanding mengirim request ke endpoint hosted milik pihak ketiga; organisasi dengan regulator yang berbeda sebaiknya memverifikasi hal ini terhadap persyaratan compliance-nya sendiri, bukan mengasumsikan bahwa hal ini berlaku bagi mereka.
Apa yang sebaiknya dilakukan tim engineering yang lebih kecil sebagai alternatif self-hosting?
Fokuslah pada pelajarannya, bukan pada infrastrukturnya: cari tahu apakah para engineer menjatah penggunaan AI karena batas biaya atau kuota, dan jika iya, pertimbangkan paket yang lebih flat atau lebih murah pada model frontier yang sudah Anda gunakan sebelum mempertimbangkan investasi GPU dan ops yang dibutuhkan self-hosting.
Apa yang harus kami ukur untuk mengetahui apakah tools coding AI benar-benar membantu?
Ukur lead time, yaitu jumlah hari dari saat sebuah fitur diambil hingga di-merge dan siap di-deploy, bersamaan dengan waktu coding. Data Revolut menunjukkan lead time meningkat lebih besar dibanding waktu coding, yang menjadi tanda bahwa pekerjaan di sekitarnya, bukan proses mengetik, adalah bottleneck sesungguhnya.
Apakah Nightschool AI berafiliasi dengan Anthropic, Z.ai, atau Revolut?
Tidak. Nightschool AI adalah platform pembelajaran independen dan tidak berafiliasi dengan, didukung oleh, atau disponsori oleh Anthropic, Z.ai, Revolut, OpenAI, atau Google. Claude, Codex, Gemini, dan GLM adalah produk dari masing-masing perusahaannya, disebutkan di sini hanya untuk menjelaskan apa itu dan bagaimana produk tersebut digunakan dalam kasus ini.
Bangun Kebiasaannya, Lalu Putuskan Infrastrukturnya
Model dan pilihan hosting tidak terlalu penting dibanding apakah tim Anda masih menjatah token.