Token, Context Window và Memory
Token, Context Window và Memory
Token là gì, context window là 'bộ nhớ làm việc' của 1 phiên, context rot, và phân biệt session memory với persistent memory.
Nắm vững nguyên lý và khái niệm nền tảng trước khi đi vào công cụ thực tế.
Áp dụng quy trình từng bước, case study thực chiến và template mẫu có sẵn.
Kiểm tra checklist hoàn thành, né tránh các sai lầm kinh điển để vận hành bền vững.
Nắm vững các khái niệm nền tảng, cơ chế hoạt động và mô hình tư duy cốt lõi.
1. Mục tiêu học tập
Sau bài này, bạn có thể:
2. Khái niệm cốt lõi
- Token: đơn vị nhỏ nhất mà một LLM xử lý — có thể là một từ, một phần từ, một ký tự, hoặc byte. Với Claude, một token tương đương khoảng 3.5 ký tự tiếng Anh. Hầu hết nhà cung cấp AI tính phí và giới hạn dựa trên số token, không phải số từ hay số ký tự.
- Context window: “toàn bộ văn bản mà một language model có thể tham chiếu khi sinh ra phản hồi” — bao gồm cả những gì bạn gửi (system prompt, lịch sử hội thoại, tài liệu/ảnh đính kèm) và phản hồi model sinh ra. Đây là “bộ nhớ làm việc” cho phiên hiện tại — khác với training data, vốn không “nằm trong” context window.
- Memory (bộ nhớ) — 2 nghĩa cần phân biệt:
- Bộ nhớ trong phiên (session memory) = chính là context window: mất đi khi hội thoại kết thúc.
- Bộ nhớ giữa các phiên (persistent memory) = tính năng sản phẩm riêng biệt, độc lập với context window (ví dụ Claude liệt kê “Memory” là 1 tính năng workspace) — không phải đặc tính vốn có của LLM.
3. Tại sao nội dung này quan trọng
- Nếu bạn không hiểu context window có giới hạn, bạn sẽ ngạc nhiên khi AI “quên” chi tiết đã nói ở đầu hội thoại dài — đây là hệ quả trực tiếp của kiến trúc, không phải lỗi.
- Không phân biệt session vs persistent memory có thể khiến bạn (a) vô tình chia sẻ thông tin nhạy cảm tưởng nó sẽ “biến mất”, hoặc (b) không tận dụng tính năng ghi nhớ lâu dài khi nó thực sự tồn tại.
- Hiểu context rot giúp bạn chủ động quản lý hội thoại thay vì đổ lỗi AI khi chất lượng câu trả lời giảm dần.
4. Cơ chế hoạt động
Theo Anthropic: mỗi lượt hội thoại gồm input (lịch sử + tin nhắn mới) và output (phản hồi, cộng dồn vào lịch sử cho lượt sau). Mọi thứ trong request đều tính vào context window: system prompt, mọi tin nhắn (kể cả kết quả gọi tool, ảnh, tài liệu), và cả phần suy luận nội bộ. Khi tổng token vượt giới hạn model, request bị từ chối hoặc dừng lại.
Context rot — phát hiện quan trọng nhất: “khi số token tăng lên, độ chính xác và khả năng ghi nhớ (recall) của model giảm dần”. Context window càng đầy không có nghĩa AI càng “nhớ tốt” hơn — nhồi quá nhiều thông tin không liên quan có thể làm giảm chất lượng câu trả lời.
Persistent memory là một lớp kỹ thuật khác: lưu thông tin quan trọng ở nơi riêng (ngoài context window phiên hiện tại), rồi tự động “nạp lại” phần liên quan khi bắt đầu phiên mới. Cơ chế cụ thể khác nhau giữa các nhà cung cấp — chi tiết triển khai ở Level 3.
5. Mental model
Hãy hình dung context window như một chiếc bàn làm việc có kích thước cố định — mọi tài liệu bạn đặt lên bàn đều chiếm chỗ, bàn càng đầy càng khó tìm đúng tài liệu (context rot), và khi hết chỗ bạn phải dọn bớt hoặc bắt đầu bàn mới. Persistent memory giống tủ hồ sơ riêng ngoài phòng — hồ sơ liên quan được lấy ra đặt lên bàn mới, nhưng tủ hồ sơ không phải là cái bàn.
Quy trình thực thi từng bước, case study cụ thể và bộ prompt/template áp dụng ngay.
6. Hướng dẫn từng bước
7. Ví dụ thực tế
- Chat 2 giờ liên tục nhiều chủ đề, rồi hỏi lại chi tiết ở phút thứ 5 — AI trả lời sai/“không nhớ”. Đây là context rot: quá nhiều nội dung không liên quan tích luỹ, làm giảm khả năng truy hồi chính xác.
- Lo lắng thông tin công ty dán vào chat sẽ được “nhớ mãi mãi” — thực ra đây là 2 vấn đề khác nhau: (a) AI có nhớ giữa các phiên không (memory), và (b) dữ liệu có được lưu trữ/dùng huấn luyện không (chính sách dữ liệu — ngoài phạm vi bài này).
8. Prompt/template/workflow
Mẫu tóm tắt để “chuyển context” sang hội thoại mới khi hội thoại cũ đã quá dài:
Đây là tóm tắt những gì chúng ta đã thống nhất trong hội thoại trước:1. [Mục tiêu/nhiệm vụ chính]2. [Các quyết định/ràng buộc quan trọng đã chốt]3. [Những gì đã thử và KHÔNG hiệu quả — để không lặp lại]4. [Bước tiếp theo cần làm]
Tiếp tục hỗ trợ tôi từ điểm này.9. Visual hoặc diagram cần thiết
10. Bài tập thực hành
Mở một hội thoại AI đã kéo dài (hoặc tạo mới, trò chuyện 5-6 chủ đề khác nhau). Sau đó:
- Hỏi lại một chi tiết cụ thể đã đề cập ở đầu hội thoại.
- Quan sát: AI trả lời đúng, sai, hay mơ hồ?
- Áp dụng mẫu tóm tắt ở mục 8 để “chuyển” ngữ cảnh sang hội thoại mới, và so sánh chất lượng câu trả lời tiếp theo.
Checklist kiểm tra mức độ sẵn sàng, nhận diện các bẫy sai lầm và nguyên tắc vàng vận hành.
11. Checklist
12. Lỗi thường gặp
(Suy luận từ cơ chế được mô tả ở [S43, S44], không phải khảo sát lỗi người dùng đã ghi nhận chính thức.)
15. Best practices
16. Nội dung nâng cao (không bắt buộc)
- Các cơ chế quản lý context nâng cao ở tầng API: prompt caching, context editing, server-side compaction, context awareness.
- Token counting API — công cụ ước lượng số token trước khi gửi request.
⚠️ 13. Giới hạn & khi nào KHÔNG nên áp dụng
- Mental model “chiếc bàn làm việc” không mô tả chính xác cơ chế kỹ thuật đầy đủ (prompt caching, context editing…). Người cần triển khai kỹ thuật nên đọc tài liệu API chính thức.
- “Context rot” mô tả xu hướng chung, không phải ngưỡng cố định — không nên áp dụng máy móc một con số “token tối đa nên dùng”.
- Bài này không đi sâu cách các sản phẩm cụ thể triển khai persistent memory — thuộc phạm vi Level 3.
🔐 14. An toàn & quản trị (Safety/Governance)
- Không giả định context window = bảo mật dữ liệu. Thông tin “biến mất” khỏi context window không đồng nghĩa nhà cung cấp không lưu trữ/xử lý nó theo cách khác (chính sách dữ liệu, log, huấn luyện model). Kiểm tra chính sách dữ liệu chính thức trước khi dán thông tin nhạy cảm.
- Persistent memory cần xem xét cẩn trọng hơn session memory — vì nó lưu trữ có chủ đích qua nhiều phiên. Nên biết cách xem/xoá bộ nhớ dài hạn nếu tính năng đó tồn tại.
📚 17. Nguồn tham khảo
Glossary, Claude Platform Docs (Anthropic) · Context windows, Claude Platform Docs (Anthropic) · Token counting, Claude Platform Docs (Anthropic) · Claude (trang chủ, Anthropic).