쉬운 말로 풀어쓴 설명
대규모 언어 모델이란 무엇일까요?
다음 단어 예측에서 쓸모 있는 어시스턴트까지, 이름보다 원리는 훨씬 단순합니다.
대규모 언어 모델은 오늘날 가장 뛰어난 AI 어시스턴트 뒤에 있는 기술입니다. 이 페이지에서는 대규모 언어 모델이 무엇인지, 수학 없이 어떻게 작동하는지, 기본 원리를 알면 왜 더 능숙하고 효과적으로 쓸 수 있는지 설명합니다.
대규모 언어 모델(LLM)은 방대한 텍스트로 학습해, 프롬프트가 주어졌을 때 가장 쓸모 있는 다음 단어, 구, 문장을 예측하는 AI입니다. 학습 과정에서 모델은 수십억 개의 내부 파라미터를 조정해 문법, 사실, 추론 방식, 심지어 코드까지 언어 전반의 패턴을 담아냅니다. 추론 단계에서는 문맥을 바탕으로 단어를 하나씩 골라 토큰 단위로 응답을 생성합니다. 그 결과 글쓰기, 추론, 번역, 질문 답변을 따로 프로그래밍하지 않아도 해내는 시스템이 만들어집니다.
게시일
무료 레슨 · 계정 필요 없음Claude 만나기왜 Claude인가?6분무료 레슨 시작하기핵심 개념
대규모 언어 모델은 어떻게 작동할까요
네 가지 개념만 알면 LLM이 하는 일의 대부분, 그리고 사람들이 LLM을 보고 놀라는 점의 대부분을 설명할 수 있습니다.
다음 토큰 예측
LLM의 핵심은 앞에 나온 모든 내용을 바탕으로 가장 그럴듯한 다음 단어(또는 토큰)를 예측하도록 학습하는 것입니다. 이 단순한 과제를 엄청난 규모로 반복하면 놀라울 만큼 유능한 언어 능력이 나옵니다.
텍스트로 학습
우리가 LLM과 대화하기 전에, LLM은 이미 책, 기사, 코드, 대화 같은 방대한 글을 처리했습니다. 그 데이터의 패턴에 맞도록 내부 가중치를 조정한 것입니다.
규칙이 아닌 파라미터
사람이 규칙을 직접 짜 넣던 예전 AI와 달리, LLM은 지식을 수십억 개의 숫자 가중치로 저장합니다. 어떤 엔지니어도 '하늘은 파랗다'를 입력하지 않았습니다. 모델이 수많은 예시 속 패턴에서 스스로 파악한 것입니다.
창발적 능력
번역, 요약, 여러 단계에 걸친 추론 같은 능력은 따로 프로그래밍된 것이 아닙니다. 대규모로 텍스트 예측을 아주 잘하게 되면서 부수적으로 나타난 능력입니다.
내부 들여다보기
학습과 추론: 서로 전혀 다른 두 단계
학습은 모델을 만드는, 비용이 많이 들고 한 번만 하는 과정입니다. 방대한 텍스트 데이터셋을 신경망에 반복해서 통과시키고, 모델이 다음 단어를 틀리게 추측할 때마다 가중치를 조금씩 조정해 더 나은 예측을 하도록 만듭니다. 수없이 반복하면 가중치가 안정되면서 언어에 대한 폭넓은 이해를 담게 됩니다.
추론은 우리가 메시지를 입력할 때 일어나는 일입니다. 모델은 프롬프트를 받아 고정된 가중치에 통과시키고, 응답을 단어 단위로 생성합니다. 이 단계에서는 학습이 일어나지 않으며, 이미 알고 있는 것을 적용할 뿐입니다. 그래서 모델은 대화 내용을 바탕으로 지식을 즉석에서 갱신할 수 없습니다.
원시 학습을 마친 모델이 다듬어진 어시스턴트가 되기까지, 대부분은 사람의 피드백을 활용한 추가 파인튜닝을 거칩니다. 사람들이 응답의 유용성과 정확성을 평가하고, 모델은 높은 평가를 받은 출력을 선호하도록 조정됩니다. 이 과정이 단순한 텍스트 예측기를 검색창의 자동완성이 아니라 사려 깊은 어시스턴트처럼 느껴지게 만듭니다.
솔직한 한계
LLM이 가끔 틀리는 이유
실패하는 방식을 이해하면 더 잘 쓸 수 있고, 문제가 되기 전에 실수를 잡아낼 수 있습니다.
환각
LLM은 믿을 만한 지식이 없을 때도 그럴듯하게 들리는 답을 만들어내곤 합니다. 유창하고 자신감 있는 글이 보상받는다는 것을 학습했기 때문에, 침묵하거나 '모르겠다'고 답하는 것이 모델에게는 부자연스러울 수 있습니다.
지식 컷오프
학습 데이터에는 기준 시점이 있습니다. 그 이후에 생긴 사건, 논문, 사실은 검색 도구가 주어지지 않는 한 모델의 가중치 안에 존재하지 않습니다.
컨텍스트 한계
모든 LLM에는 컨텍스트 윈도우가 있습니다. 한 번에 작업 기억으로 담아둘 수 있는 텍스트의 양입니다. 이 범위를 벗어난 정보는 모델이 응답을 생성하는 동안 보이지 않습니다.
추론이 아닌 패턴 매칭
LLM은 패턴을 알아보고 이어가는 데 매우 뛰어납니다. 하지만 진짜로 새로운 추론이 필요한 낯선 문제에서는 어려움을 겪거나, 꼼꼼한 독자라면 금방 알아챌 오류를 자신 있게 내놓을 수 있습니다.
실전 기술
프롬프트가 대부분의 사람이 생각하는 것보다 중요한 이유
우리가 대화하는 모델은 고정되어 있고, 가중치는 대화 사이에 바뀌지 않습니다. 우리가 바꿀 수 있는 것은 프롬프트, 즉 모델에게 주는 맥락, 지시, 예시입니다. 모호한 프롬프트는 모델이 의도를 추측하게 만듭니다. 구체적인 프롬프트는 그럴듯한 응답의 범위를 실제로 필요한 쪽으로 좁혀 줍니다.
그래서 프롬프트 엔지니어링은 유행어가 아니라 실제 기술입니다. 역할('이 조항을 검토하는 세무 변호사로서 답해 주세요'), 형식('세 개의 글머리 기호로 답해 주세요'), 작성 예시('비슷한 질문에 대한 좋은 답변은 이렇습니다')를 주면 출력 품질이 체계적으로 좋아집니다. 모델을 속이는 것이 아니라, 좋은 응답이 어떤 모습인지에 대한 모델의 불확실성을 줄여 주는 것입니다.
모델이 쓸모 있는 다음 토큰을 예측한다는 점을 이해하면, 모델이 표현 방식에 민감한 이유도 설명됩니다. 우리에게는 같은 뜻인 두 프롬프트가 모델 안에서는 아주 다른 패턴을 불러올 수 있습니다. 실용적인 결론은 이렇습니다. 응답이 기대에 못 미치면 같은 말을 반복하지 말고 다르게 표현해 보세요.
LLM을 이해하는 것은 기초이고, 잘 쓰는 것이 실력입니다.
다음 토큰 예측에 대해 읽는 것은 유용한 배경 지식입니다. 하지만 프롬프트 기법을 직접 연습하고, 실제 사례를 풀어 보고, 무엇이 통하는지 감각을 쌓을 때 이해가 능력으로 바뀝니다. Nightschool AI 커리큘럼은 첫 레슨부터 실습 중심입니다.
자주 묻는 질문
LLM은 무엇의 약자인가요?
LLM은 large language model, 즉 대규모 언어 모델의 약자입니다. '대규모'는 학습 데이터의 규모와 모델이 가진 내부 파라미터의 수를 가리킵니다. '언어 모델'은 모델이 하는 일을 설명합니다. 텍스트 시퀀스의 확률을 모델링하는 것이며, 실제로는 프롬프트가 주어졌을 때 쓸모 있는 다음 단어를 예측하는 일을 뜻합니다.
LLM은 검색 엔진과 어떻게 다른가요?
검색 엔진은 이미 존재하는 문서를 색인해 두고 질의와 가장 관련 있는 문서를 찾아 줍니다. LLM은 학습 중에 가중치에 새겨진 패턴을 바탕으로, 유용한 응답이 어떤 모습일지 예측해 새로운 텍스트를 생성합니다. 검색은 찾고, LLM은 작성합니다. 요즘은 많은 AI 어시스턴트가 두 가지를 결합합니다. 모델이 응답을 생성하고, 검색 계층이 최신 정보에 접근할 수 있게 해 줍니다.
LLM은 왜 환각을 일으키나요?
LLM은 사실을 검증한 뒤 출력하도록 최적화된 것이 아니라, 유창하고 그럴듯한 텍스트를 만들도록 최적화되어 있기 때문입니다. 학습 데이터에서 믿을 만한 신호가 부족하면, 가장 그럴듯해 보이는 패턴을 이어 붙여 자신 있게 들리는 답을 만들어낼 수 있습니다. 정확성이 중요할 때는 LLM의 출력을 신뢰할 수 있는 출처와 대조해 확인하는 것이 좋습니다.
LLM은 우리 대화에서 학습할 수 있나요?
아니요, 실시간으로는 학습하지 않습니다. 추론 시점에는 모델의 가중치가 고정되어 있습니다. 제공업체의 정책에 따라 대화 내용이 저장되어 이후 학습에 쓰일 수는 있지만, 지금 대화하고 있는 모델이 입력하는 동안 갱신되는 것은 아닙니다. 일부 시스템은 이전 대화의 요약을 컨텍스트 윈도우에 넣어 기억을 흉내 내는데, 이는 진짜 학습과는 다릅니다.
토큰이란 무엇인가요?
토큰은 LLM이 처리하고 예측하는 단위입니다. 영어에서는 보통 하나의 단어이거나 흔한 단어 조각이며, 긴 단어는 여러 토큰으로 나뉘기도 합니다. LLM은 누적된 맥락을 바탕으로 토큰을 하나씩 골라 텍스트를 생성합니다. 컨텍스트 윈도우와 사용 요금은 단어나 글자 수가 아니라 토큰 단위로 설명되는 경우가 많습니다.
LLM과 Claude 같은 AI 어시스턴트는 무엇이 다른가요?
LLM은 학습된 신경망, 즉 기반이 되는 모델입니다. Claude 같은 AI 어시스턴트는 LLM에 파인튜닝, 안전성 학습이라는 계층이 더해지고, 웹 검색이나 코드 실행 같은 추가 도구가 붙기도 한 것입니다. LLM은 엔진이고 어시스턴트는 완성된 차량이라고 생각하면 됩니다. 핵심 기술은 같지만, 일상에서 쓰기에 유용하고 안전하도록 다듬어진 것입니다.
더 큰 LLM이 항상 더 성능이 좋은가요?
반드시 그렇지는 않습니다. 규모가 도움이 되긴 하지만, 학습 데이터의 품질, 파인튜닝 기법, 해결하려는 과제도 적어도 그만큼 중요합니다. 잘 조정된 작은 모델이 특정 과제에서는 더 큰 모델보다 나은 결과를 내는 경우도 많습니다. 이 분야는 '클수록 좋다'에서 벗어나 아키텍처, 데이터, 정렬, 추론 효율을 함께 최적화하는 방향으로 이동했습니다.
프롬프트 작성은 배울 만한 기술인가요?
네. LLM은 맥락을 바탕으로 쓸모 있는 텍스트를 예측하기 때문에, 우리가 주는 틀이 모델이 생성하는 결과를 직접 좌우합니다. 분명한 역할, 구체적인 형식, 작성 예시, 명시적인 제약은 모두 일관되게 출력 품질을 높여 줍니다. 프롬프트 작성은 부족한 도구를 우회하는 방법이 아니라, 우리 마음을 읽을 수 없는 시스템에 의도를 전달하는 방법입니다.