엔지니어링 리더를 위한 의사결정 가이드
엔지니어링 팀은 오픈 웨이트 코딩 모델을 자체 호스팅해야 할까?
Revolut 엔지니어 2,000명의 경험에 따르면, 답은 이념이 아니라 물량에 있다.
이는 모델 품질만이 아니라 엔지니어 수, 사내 GPU와 운영 역량, 데이터 거주 요건에 달려 있다. Revolut는 엔지니어 약 2,000명 규모에서 오픈 웨이트 모델을 자체 호스팅해 프론티어 API 비용을 약 90% 줄였지만, 가장 어려운 문제를 위해 프론티어 도구도 계속 보유하고 있다.
전체 답변 읽기
규모가 작은 팀이라면 대개 프론티어 API를 쓰는 쪽이 더 저렴하다.
게시일
핵심 요약
- 엔지니어 약 2,000명 규모에서 Revolut는 Nvidia B200 GPU 56개로 Z.ai의 GLM을 자체 호스팅해, 혼합 토큰 비용을 기존 Anthropic·OpenAI 비용의 약 10분의 1로 줄였다.
- 리드 타임（기능을 착수한 날부터 머지 가능 상태가 될 때까지 걸리는 일수）은 코딩 시간보다 더 크게 개선되어（약 70% 대 60%）, 진짜 병목이 코딩 자체가 아니었음을 보여준다.
- 이 개선 효과는 모델 교체만이 아니라 토큰 예산 제거와 함께 나타났다：토큰이 더 이상 희소해지지 않자, 엔지니어들은 이메일, 티켓, 문서 작업에도 AI를 활용하기 시작했다.
- 자체 호스팅은 단순히 가중치를 내려받는 일이 아니라 실제 인프라 작업이 필요했다：컨텍스트 길이, 양자화, 병렬화를 튜닝해 동일한 GPU 수로 첫 토큰 생성 시간을 88% 줄였다.
- Revolut는 여전히 Anthropic의 Claude Code, OpenAI의 Codex, Google의 Gemini를 일상적인 기본 도구가 아니라 가장 어려운 문제를 위한 프론티어 예외 수단으로 보유하고 있다.
전체 가이드
섹션을 탭하면 열립니다.
이 가이드에 대해
이 가이드는 프론티어 API에 시트당 또는 토큰당 비용을 지불하는 대신, Z.ai의 GLM 같은 오픈 웨이트 코딩 모델을 자체 호스팅할지 고민하는 엔지니어링 리더를 위한 구매 가이드다. 이 내용은 Revolut가 공개한 수치를 바탕으로 한다（약 2,000명의 엔지니어 대부분을 토큰당 과금 방식에서 벗어나게 하면서도, 가장 어려운 문제에는 Anthropic의 Claude Code, OpenAI의 Codex, Google의 Gemini를 계속 사용한 은행의 사례다）. 여기서 얻을 교훈은 Revolut가 어떤 모델을 선택했는가가 아니라, 토큰 배급이 사라지자 무엇이 달라졌는가다.
자체 호스팅 대 프론티어 API/시트 요금제：의사결정 체크리스트
| 요인 | 자체 호스팅 오픈 웨이트에 유리 | 프론티어 API/시트 요금제에 유리 |
|---|---|---|
| 팀 규모와 토큰 사용량 | Revolut의 약 2,000명 규모처럼 수백~수천 명의 엔지니어가 꾸준히 많은 일일 토큰을 사용하는 경우. | GPU와 운영 오버헤드 비용이 대체하려는 API 비용보다 더 들 소규모~중간 규모 팀. |
| 사내 GPU와 운영 역량 | 이미 GPU 인프라를 운영 중이거나 그럴 인력을 채용할 수 있는 경우：서빙 스택 튜닝, 양자화, 용량 계획은 실제로 계속 들어가는 작업이다. | 전담 ML 인프라 팀이 없고, 코딩 모델 하나를 서빙하기 위해 이를 꾸릴 의지도 없는 경우. |
| 데이터 거주지와 컴플라이언스 | 코드나 컨텍스트가 직접 관리하는 인프라를 벗어날 수 없거나, 규제 기관이 추론이 정확히 어디서 일어나는지 명시하길 요구하는 경우. | 공급업체의 표준 데이터 처리 조건이 이미 컴플라이언스와 데이터 거주지 요건을 충족하는 경우. |
| 가장 어려운 문제를 위한 대안 | 오픈 웨이트 모델이 잘 다루지 못하는 적은 비중의 작업을 위해 간헐적인 프론티어 API 사용 예산을 남겨둘 수 있는 경우. | 작업량 대부분이 일상적인 코딩이 아니라 프론티어 모델이 잘 다루도록 조율된, 어렵고 다양한 유형의 문제인 경우. |
| 비용 예측 가능성 대 유연성 | 사용량과 모델 가격 변동에 따라 움직이는 청구서 대신, 일정하고 예측 가능한 인프라 비용을 원하는 경우. | 서빙 스택을 다시 튜닝하지 않고 모델이나 공급업체를 빠르게 바꾸고 싶고, 사용량 편차가 너무 커서 GPU 규모를 정하기 어려운 경우. |
원자료 사례Revolut가 실제로 한 일과 측정한 것
Revolut에서 AI 운영을 담당하는 David Abitbol은 2026년 말 AI Engineer의 뉴욕 콘퍼런스 발표에서 이 도입 과정을 설명했다. Revolut는 약 2,000명의 엔지니어 샘플을 대상으로 두 가지 수치를 추적한다：시간 단위의 코딩 시간, 그리고 기능을 착수한 날부터 머지되어 배포 준비가 끝날 때까지 걸리는 일 단위의 리드 타임이다.
내부 데이터 접근 권한을 가진 Google의 Gemini를 초기에 도입했을 때는 두 지표가 조금씩 개선되었는데, 주로 문서 검색을 대체한 결과였다. 이어서 도입된 Anthropic의 Claude Code는 엔지니어별로 엄격한 토큰 예산이 걸려 있었다（일부 엔지니어가 뚜렷한 성과 없이 큰 비용을 쓴 뒤 생긴 조치였다）. Abitbol에 따르면 처음에는 측정 가능한 효과가 거의 없었다.
수치를 바꾼 것은 2026년 4월경부터 토큰 제한을 전혀 두지 않고 오픈 웨이트 모델인 Z.ai의 GLM을 자체 호스팅한 일이었다. 코딩 시간은 약 60%, 리드 타임은 약 70% 개선되었다. Revolut는 이제 자체 호스팅 모델을 일상적인 코딩의 기본 도구로 삼아 일정하고 예측 가능한 비용을 지불하며, 프론티어 도구는 가장 어려운 문제를 위한 예외로 남겨둔다.
엔지니어 약 2,000명 규모에서 모델을 서빙하는 데 Nvidia B200 GPU 56개가 필요했고, 목표로 삼은 첫 토큰 생성 시간은 3초 이내였다（5초를 넘기면 불만이 나오기 시작한다）. 혼합 비용은 백만 토큰당 약 0.30달러로, Revolut가 Anthropic과 OpenAI에 지불하던 비용을 합한 금액의 약 10분의 1 수준이었다.
진짜 교훈교훈은 모델이 아니라 배급제에 있다
가장 유용한 부분은 Abitbol 자신이 데이터를 읽은 방식이다：리드 타임이 코딩 시간보다 더 크게 개선되었다는 것은, 코딩이 애초에 주된 병목이 아니었다는 뜻이다. 분기에서 가장 어려운 티켓을 위해 토큰을 아낄 필요가 없어지자, 엔지니어들은 코드 자체뿐 아니라 이메일, Jira, Confluence 등 기능 주변의 나머지 작업에도 AI를 활용하기 시작했다.
이 교훈은 팀이 어떤 모델을 쓰든 똑같이 적용된다. 엔지니어별로 토큰 예산을 정하거나 비용 관리를 위해 사용량을 제한하는, 프론티어 API를 쓰는 팀은 Revolut가 제한을 없앰으로써 해결한 바로 그 배급 문제를 그대로 되풀이하고 있는 셈이다. 해법이 항상 자체 호스팅인 것은 아니다. 때로는 같은 프론티어 모델을 더 저렴하거나 더 평탄한 요금제로 쓰는 것으로도 충분하다.
어떤 엔지니어링 리더에게든 실질적인 시사점은, AI 도구가 실제로 성과를 내는지 판단하기 전에 코딩 시간이나 생성된 코드 줄 수만이 아니라 리드 타임을 측정하고, 엔지니어들이 비용이나 할당량 압박 때문에 스스로 사용량을 배급하고 있는지 살펴보라는 것이다.
이 페이지는 팀 비용과 도입 결정, 즉 자체 호스팅을 할지 말지, 하기로 했다면 어떻게 도입할지에 초점을 맞춘다. 오픈 웨이트, 오픈소스, 클로즈드 API가 실제로 무엇을 의미하며 랩과 정부가 왜 이들을 다르게 취급하는지에 대한 더 폭넓고 모델에 구애받지 않는 질문은, Nightschool AI의 가이드 Open-Source vs Closed AI Models에서 전체적으로 다룬다.
확장보다 먼저 튜닝자체 호스팅에는 가중치만이 아니라 엔지니어링이 필요했다
Revolut의 인프라 수치는 GPU만 있으면 자체 호스팅이 간단할 거라는 생각에 유용한 경고를 보낸다. 2026년 4월부터 8월까지 GPU 수를 56개로 고정한 상태에서, 부하는 초당 약 3건에서 7건 이상으로 늘었지만 첫 토큰 생성 시간은 약 14초에서 2초 미만으로 줄었다. 새 하드웨어 없이 지연 시간을 88% 개선한 결과다.
Abitbol은 이 개선의 약 80%가 GPU가 아니라 서빙 설정 덕분이라고 본다：모델이 공식적으로 밝힌 최대치보다 컨텍스트 길이를 훨씬 낮게 제한하고, 현세대 GPU 하드웨어에서 더 낮은 정밀도의 양자화를 돌리고, 모델의 어텐션 캐시를 여러 디바이스에 나누는 방식을 튜닝한 결과다. 이 방향을 고려하는 팀들에게 그가 남긴 요약은 직설적이다：가중치를 GPU에 올려놓고 끝났다고 생각하면 성능은 끔찍해진다.
이 튜닝 작업은 실제로 계속 들어가는 운영 비용이며, 대부분의 팀이 자체 호스팅 모델의 표면적인 가격을 API 비용과 비교할 때 과소평가하는 부분이다.
도입 과정인프라를 건드리기 전에 습관을 먼저 훈련하라
Revolut의 성과는 모델 교체가 아니라 토큰 제한 제거와 함께 나타났다. 다음은 어떤 팀이든, 어떤 모델이든 이 습관을 정착시키는 단계들이다.
먼저 리드 타임 기준선을 정하라
도구나 예산을 바꾸기 전에, 일반적인 기능이 착수부터 머지 가능 상태까지 실제로 얼마나 걸리는지 측정하라. 이 기준선이 없으면 이후 변화가 실제로 도움이 되었는지 알 수 없다.
조용한 배급을 없애라
엔지니어들이 예산이나 할당량 때문에 그달의 가장 어려운 티켓을 위해 AI 사용을 아껴두고 있는지 확인하라. 그렇다면 어떤 모델을 쓰든 이 배급이 결과를 제한하고 있는 것이다.
어려운 티켓만이 아니라 모든 티켓에서 훈련하라
Revolut의 수치를 움직인 습관은 어려운 코딩 문제뿐 아니라 이메일, 티켓, 문서 작업에도 AI를 활용하는 것이었다. 이 습관은 제한이 풀렸다고 저절로 생기지 않으니 명시적으로 가르쳐야 한다.
코딩 시간만이 아니라 리드 타임을 다시 측정하라
변화를 준 뒤에도 같은 리드 타임 지표를 다시 추적하라. 코딩 시간은 개선되는데 리드 타임이 그대로라면, 병목은 여전히 프로세스의 다른 곳에 있으며 토큰을 더 준다고 해결되지 않는다.
솔직한 한계Revolut 사례가 증명하지 못하는 것
Revolut의 수치는 규제를 받는 한 은행이 자사 규모에서 진행한 도입 사례를 설명할 뿐이다. 이를 보편적인 결과로 받아들이기 전에 다음 한계를 염두에 두어야 한다.
벤치마크가 아니라 한 회사의 수치
이 가이드의 비용과 지연 시간 수치는 Revolut의 특정 도입, 사용 패턴, 협상된 조건을 보여줄 뿐이다. 이를 가능성에 대한 증거로 받아들이되, 자신의 작업량에 대한 가격이나 성능 보장으로 여기지는 말아야 한다.
프론티어 도구는 여전히 함께 쓰였다
Revolut는 Anthropic의 Claude Code, OpenAI의 Codex, Google의 Gemini를 없애지 않았다. 자체 호스팅 모델이 잘 다루지 못하는 문제를 위해 이들을 의도적인 예외로 남겨두었는데, 이는 대부분의 자체 호스팅 홍보에서 빠뜨리는 비용이다.
컴플라이언스 세부 사항은 회사마다 다르다
Revolut가 모델을 어디서 운영하며 이것이 어떻게 자사 규제 기관을 만족시키는지에 대한 논리는, EU 규제를 받는 은행이라는 자사의 상황을 반영한 것이다. 어떤 모델이나 지역, 설정이 다른 조직의 의무를 충족시킨다는 일반적인 결론은 아니다.
인프라를 건드리기 전에 습관을 가르쳐라
Revolut의 성과는 토큰 제한을 없애 엔지니어들이 어려운 티켓만이 아니라 모든 티켓에서 AI를 쓰게 한 데서 나왔다. 이 습관 변화는 어떤 자체 호스팅 결정보다 먼저 이루어져야 하며, Nightschool AI의 기업 교육은 엔지니어링 팀 전체에 이 습관을 심어준다.
자주 묻는 질문
오픈 웨이트 코딩 모델이란 무엇인가?
공급업체의 API로만 접근할 수 있는 클로즈드 모델과 달리, 학습된 가중치를 내려받아 직접 관리하는 인프라에서 실행할 수 있는 모델이다. Revolut 사례에 나온 Z.ai의 GLM이 한 예이며, 이를 실행하려면 실제 GPU 인프라와 서빙 스택 튜닝이 필요하다.
Revolut는 Claude Code, Codex, Gemini 사용을 완전히 중단했나?
아니다. Revolut는 자체 호스팅한 오픈 웨이트 모델을 일상적인 코딩의 기본 도구로 삼았지만, 가장 어려운 문제를 위해 Anthropic의 Claude Code, OpenAI의 Codex, Google의 Gemini를 예외로 계속 사용할 수 있게 두었으며, 이 프론티어 도구들이 그런 문제에서 여전히 잘 작동한다고 밝혔다.
Revolut는 자체 호스팅으로 실제로 얼마나 절약했나?
Revolut가 밝힌 혼합 비용은 백만 토큰당 약 0.30달러로, 엔지니어 약 2,000명을 Nvidia B200 GPU 56개로 서빙하면서 Anthropic과 OpenAI에 지불하던 비용을 합한 금액의 약 10분의 1 수준이었다. 이 수치는 Revolut의 도입과 사용량을 설명할 뿐, 모든 팀이 기대할 수 있는 가격은 아니다.
엔지니어링 작업까지 따지면 자체 호스팅이 실제로 더 저렴한가?
꼭 그렇지는 않다. Revolut에 따르면 성능 개선의 약 80%는 GPU를 더 사서가 아니라 서빙 설정을 튜닝해서 얻은 결과이며, 이는 계속 들어가는 인프라 작업이다. 이런 역량을 사내에 갖추지 못한 소규모 팀은 비슷한 성능에 도달하는 데 프론티어 API 비용보다 더 많은 돈을 쓸 수도 있다.
GLM 같은 자체 호스팅 오픈 웨이트 모델은 만들어진 곳 때문에 보안 위험이 있는가?
모델의 가중치가 어디서 학습되었는지와, 이를 어디서 실행하는지는 서로 다른 질문이다. 규제를 받는 은행으로서 Revolut의 입장은, 승인된 관할권 내에서 직접 관리하는 인프라에 가중치를 내려받아 실행하는 것은 제3자가 호스팅하는 엔드포인트로 요청을 보내는 것과는 다른 데이터 경로라는 것이었다. 규제 기관이 다른 조직은 이것이 자신에게도 적용된다고 가정하지 말고 자사의 컴플라이언스 요건에 맞춰 직접 확인해야 한다.
소규모 엔지니어링 팀은 자체 호스팅 대신 무엇을 해야 하나?
인프라보다 교훈에 집중하라：엔지니어들이 비용이나 할당량 제한 때문에 AI 사용을 배급하고 있는지 확인하고, 그렇다면 자체 호스팅에 필요한 GPU와 운영 투자를 고려하기 전에 이미 쓰고 있는 프론티어 모델에서 더 평탄하거나 더 저렴한 요금제를 먼저 알아보라.
AI 코딩 도구가 실제로 도움이 되는지 알려면 무엇을 측정해야 하나?
코딩 시간과 함께 리드 타임, 즉 기능을 착수한 날부터 머지되어 배포 준비가 끝날 때까지 걸리는 일수를 측정하라. Revolut의 데이터는 리드 타임이 코딩 시간보다 더 크게 개선되는 모습을 보였는데, 이는 타이핑 자체가 아니라 주변 작업이 진짜 병목이었다는 신호다.
Nightschool AI는 Anthropic, Z.ai, Revolut와 제휴 관계인가?
아니다. Nightschool AI는 독립적인 학습 플랫폼이며 Anthropic, Z.ai, Revolut, OpenAI, Google과 제휴하거나 그들의 지원이나 후원을 받지 않는다. Claude, Codex, Gemini, GLM은 각 회사의 제품이며, 이 사례에서 무엇이고 어떻게 사용되었는지 설명하기 위해서만 언급했다.