Tải toàn bộ codebase và sách vào một cuộc trò chuyện duy nhất với Claude

Các mô hình AI không đọc từ, chúng đọc token. Một token là một đoạn văn bản, thông thường dài 3-4 ký tự trong tiếng Anh. "Hello" là một token. "Anthropic" là hai token ("Anthrop" + "ic"). Mã code được token hóa khác với văn xuôi, một dòng Python có thể là 10-20 token tùy thuộc vào tên biến và cú pháp. Anthropic ước tính 1M token tương đương khoảng 555.000 từ tiếng Anh với bộ token hóa hiện tại (các mô hình cũ chứa được khoảng 750.000 từ trong 1M token), và 200K token tương đương khoảng 150.000 từ.

Cửa sổ ngữ cảnh quyết định những gì Claude có thể "nhìn thấy" khi tạo phản hồi. Mọi thứ bên trong cửa sổ, tin nhắn của bạn, phản hồi của Claude, tài liệu đã tải lên, prompt hệ thống, đều hiển thị. Mọi thứ ngoài cửa sổ đều vô hình. Một cửa sổ lớn hơn nghĩa là Claude có thể suy luận trên nhiều thông tin cùng lúc, giúp thực hiện những công việc hoàn toàn không thể làm được với ngữ cảnh nhỏ hơn: phân tích toàn bộ hợp đồng pháp lý, rà soát toàn bộ codebase, hoặc duy trì các cuộc trò chuyện dài mà vẫn mạch lạc.

Cửa sổ ngữ cảnh bao gồm cả những gì bạn gửi đi (token đầu vào) và những gì Claude tạo ra (token đầu ra). Một yêu cầu đơn lẻ trên mô hình hiện tại có thể tạo ra tối đa 128K token đầu ra, và bất kỳ quá trình suy nghĩ (thinking) nào mà Claude thực hiện cũng được tính vào đó. Nếu đầu vào của bạn gần như lấp đầy cửa sổ, sẽ còn rất ít không gian cho phản hồi, vì vậy hãy để dư chỗ cho câu trả lời mà bạn mong đợi.

Đặt các tài liệu và hướng dẫn quan trọng của bạn ở đầu cuộc trò chuyện. Mặc dù Claude có thể truy cập toàn bộ cửa sổ ngữ cảnh, sự chú ý mạnh nhất là ở đầu và cuối ngữ cảnh. Hãy cấu trúc prompt của bạn để thông tin quan trọng xuất hiện trước tiên.

Khi tải nhiều tài liệu, hãy gắn nhãn rõ ràng cho từng tài liệu bằng tiêu đề, thẻ XML, hoặc dấu phân định. "Tài liệu 1: Báo cáo tài chính Q3" sẽ dễ dàng hơn nhiều để Claude tham chiếu so với một khối văn bản không có nhãn. Cấu trúc giúp Claude trích dẫn và đối chiếu chính xác hơn.

Chỉ vì bạn có thể đưa mọi thứ vào một ngữ cảnh duy nhất không có nghĩa là bạn luôn nên làm vậy. Nếu bạn cần xử lý 500 tài liệu với cùng một prompt, xử lý theo lô (một tài liệu mỗi yêu cầu) đáng tin cậy và tiết kiệm chi phí hơn so với việc nhồi tất cả vào một cuộc trò chuyện. Hãy dùng toàn bộ ngữ cảnh cho các công việc cần suy luận xuyên nhiều tài liệu.

Mỗi token trong cửa sổ ngữ cảnh đều tốn tiền trên API. Một yêu cầu chứa 200K token ngữ cảnh sẽ có chi phí mỗi tin nhắn cao hơn đáng kể so với yêu cầu 5K token, vì mô hình phải xử lý toàn bộ ngữ cảnh với mỗi phản hồi. Đối với các ứng dụng nhạy cảm về chi phí, chỉ nên đưa vào những gì mô hình thực sự cần thấy.

Không hẳn vậy. Cửa sổ ngữ cảnh lớn hơn nghĩa là Claude có thể thấy nhiều thông tin hơn, nhưng chất lượng kết quả phụ thuộc vào cách bạn cấu trúc thông tin đó. Một prompt 10K token được tổ chức tốt thường vượt trội hơn một khối 100K token lộn xộn. Cửa sổ ngữ cảnh là một giới hạn về dung lượng, không phải một nút điều chỉnh chất lượng, hãy nghĩ về nó như một cái bàn làm việc: một chiếc bàn lớn hơn sẽ hữu ích khi bạn thực sự cần trải nhiều tài liệu ra, nhưng một chiếc bàn nhỏ gọn gàng vẫn tốt hơn một chiếc bàn lớn bừa bộn.

Một token trong tiếng Anh tương đương khoảng 3/4 một từ. Một tài liệu 1.000 từ có khoảng 1.333 token. Mã code thường được token hóa kém hiệu quả hơn văn xuôi, hãy ước tính khoảng 1 token cho mỗi 3 ký tự với mã code. Anthropic cung cấp một công cụ token hóa trong tài liệu của họ, và hầu hết các thư viện client API đều có công cụ đếm token.

Cửa sổ ngữ cảnh là tất cả những gì Claude có thể thấy trong một cuộc trò chuyện duy nhất, tin nhắn của bạn, phản hồi của nó, và bất kỳ tài liệu nào bạn đã chia sẻ. Nó được đặt lại khi bạn bắt đầu một cuộc trò chuyện mới. Bộ nhớ (thông qua Claude Projects hoặc prompt hệ thống của API) là thông tin lâu dài được giữ lại qua nhiều cuộc trò chuyện. Hãy xem ngữ cảnh như bộ nhớ làm việc ngắn hạn, và projects/prompt hệ thống như tài liệu tham khảo dài hạn.

Trên API, bạn trả tiền theo token, cả đầu vào và đầu ra. Một cuộc trò chuyện lấp đầy phần lớn cửa sổ ngữ cảnh sẽ có chi phí mỗi phản hồi cao hơn vì Claude phải xử lý toàn bộ ngữ cảnh mỗi khi tạo ra một câu trả lời. Đây là lý do việc quản lý ngữ cảnh quan trọng: chỉ nên đưa vào những thông tin mô hình cần cho công việc hiện tại. Trên claude.ai (sản phẩm dành cho người dùng cá nhân), chi phí ngữ cảnh đã được bao gồm trong gói đăng ký của bạn.