Team Kỹ Thuật Của Bạn Nên Tự Host Một Mô Hình Code Mã Nguồn Mở?

David Abitbol, người điều hành bộ phận AI operations tại Revolut, đã trình bày về quá trình triển khai này trong một buổi nói chuyện tại hội nghị AI Engineer ở New York vào cuối 2026. Revolut theo dõi hai chỉ số trên một mẫu khoảng 2.000 engineer: thời gian code tính bằng giờ, và lead time tính bằng ngày từ khi nhận feature đến khi được merge và sẵn sàng deploy.

Một lần triển khai sớm Gemini của Google với quyền truy cập dữ liệu nội bộ đã cải thiện nhẹ cả hai chỉ số, chủ yếu bằng cách thay thế việc tra cứu tài liệu. Claude Code của Anthropic được triển khai tiếp theo với hạn mức token nghiêm ngặt cho từng engineer, sau khi một số engineer tiêu tốn hóa đơn lớn mà không mang lại kết quả rõ ràng, và Abitbol cho biết nó ban đầu không cho thấy tác động đáng kể nào.

Điều làm thay đổi các số liệu là việc tự host một mô hình mã nguồn mở, GLM của Z.ai, bắt đầu từ khoảng tháng 4 năm 2026, không có giới hạn token nào. Thời gian code cải thiện khoảng 60% và lead time khoảng 70%. Hiện tại Revolut coi mô hình tự host là lựa chọn mặc định cho công việc code hàng ngày, với mức phí cố định và dự đoán được, và giữ các công cụ frontier làm ngoại lệ cho các bài toán khó nhất.

Ở quy mô khoảng 2.000 engineer, việc phục vụ mô hình cần 56 GPU Nvidia B200, nhằm đạt thời gian đến token đầu tiên dưới ba giây (bắt đầu có phàn nàn khi vượt quá năm giây). Chi phí bình quân rơi vào khoảng US$0.30 trên mỗi triệu token, khoảng một phần mười so với số tiền Revolut đã trả cho Anthropic và OpenAI kết hợp.

Cách Abitbol tự đọc dữ liệu là phần hữu ích nhất: lead time cải thiện nhiều hơn thời gian code, nghĩa là việc code chưa từng là nút thắt chính. Khi không ai còn phải tiết kiệm token cho ticket khó nhất của quý, engineer bắt đầu dùng AI cho email, Jira, Confluence, và phần còn lại của công việc xung quanh một feature, không chỉ phần code.

Bài học này đúng bất kể team đang dùng mô hình nào. Một team dùng API frontier mà cấp hạn mức token theo từng engineer, hoặc giới hạn mức sử dụng để kiểm soát chi phí, đang tái tạo chính xác vấn đề phân bổ hạn mức mà Revolut đã giải quyết bằng cách bỏ giới hạn. Giải pháp không nhất thiết là tự host; có khi chỉ là một gói giá rẻ hơn hoặc cố định hơn trên cùng mô hình frontier.

Bài học thực tế cho bất kỳ lãnh đạo kỹ thuật nào là đo lead time, không chỉ thời gian code hay số dòng code được tạo ra, trước khi quyết định liệu công cụ AI có thực sự mang lại hiệu quả, và theo dõi xem engineer có đang tự giới hạn mức sử dụng vì áp lực chi phí hoặc hạn mức hay không.

Bài viết này tập trung vào quyết định chi phí nhân sự và triển khai: có nên tự host hay không, và cách triển khai khi đã quyết định. Để hiểu rộng hơn, không phụ thuộc vào mô hình cụ thể, về ý nghĩa thực sự của mã nguồn mở, open source và API đóng, và vì sao các lab và chính phủ nhìn nhận chúng khác nhau, hướng dẫn Open-Source vs Closed AI Models của Nightschool AI đề cập đầy đủ chủ đề này.

Các số liệu hạ tầng của Revolut là lời cảnh báo hữu ích chống lại giả định rằng tự host là đơn giản khi đã có GPU. Từ tháng 4 đến tháng 8 năm 2026, với số lượng GPU giữ nguyên ở 56, tải tăng từ khoảng 3 lên hơn 7 request mỗi giây trong khi thời gian đến token đầu tiên giảm từ khoảng 14 giây xuống dưới 2 giây, cải thiện độ trễ 88% mà không cần thêm phần cứng mới.

Abitbol cho rằng khoảng 80% mức cải thiện đó đến từ cấu hình phục vụ, không phải từ GPU: giới hạn độ dài context thấp hơn đáng kể so với mức tối đa được công bố của mô hình, chạy quantization độ chính xác thấp hơn trên phần cứng GPU thế hệ hiện tại, và tinh chỉnh cách bộ nhớ đệm attention của mô hình được chia trên các thiết bị. Câu tổng kết thẳng thắn của ông cho các team đang xem xét hướng đi này là: chỉ nạp trọng số lên GPU và coi là xong sẽ cho hiệu suất rất tệ.

Công việc tinh chỉnh đó là một chi phí vận hành thực sự, liên tục mà hầu hết các team đánh giá thấp khi so sánh giá niêm yết của mô hình tự host với hóa đơn API.