Agent Evaluation

Level: L8 — Automation & AI Agents (Bài 11/13) · Đối tượng: Người đã học bài 79-85, đã có 1 agent hoàn chỉnh (Anatomy,

1. Concept

Agent Evaluation (eval) là “1 bài test cho hệ thống AI: đưa input, áp dụng logic chấm điểm cho output để đo mức độ thành công” [S114] — thường chạy tự động trong lúc phát triển, trước khi người dùng thật gặp phải vấn đề.

7 thuật ngữ cốt lõi [S114]:

Task — 1 bài test đơn lẻ, có input và tiêu chí thành công rõ ràng.
Trial — 1 lần thử 1 task (chạy nhiều trial vì output agent không cố định giữa các lần).
Grader — logic chấm điểm hiệu năng theo 1 khía cạnh cụ thể.
Transcript — bản ghi đầy đủ mọi tương tác/tool call/suy luận trong 1 trial.
Outcome — trạng thái cuối cùng đạt được sau khi trial kết thúc.
Evaluation Harness — hạ tầng chạy test từ đầu tới cuối, ghi lại từng bước, tổng hợp kết quả.
Evaluation Suite — tập hợp task liên quan, đo 1 nhóm năng lực cụ thể.

2. Why It Matters

Không có eval, đội ngũ “kẹt trong vòng lặp phản ứng — chỉ phát hiện lỗi khi đã ở production, nơi sửa 1 lỗi có thể tạo ra lỗi khác” [S114]. Eval giúp bạn nhìn thấy vấn đề trước khi người dùng thật gặp phải, đúng nguyên tắc “phòng hơn chữa” áp dụng cho hệ thống agent.

3. How It Works — 3 loại Grader

Code-Based Graders — so khớp chuỗi, test nhị phân, phân tích tĩnh — nhanh, khách quan, tái lập được; điểm yếu: cứng nhắc với biến thể hợp lệ [S114].
Model-Based Graders — chấm theo rubric, đánh giá ngôn ngữ tự nhiên, so sánh cặp — linh hoạt, xử lý được sắc thái; điểm yếu: không xác định (kết quả có thể đổi giữa các lần), cần hiệu chuẩn [S114].
Human Graders — chuyên gia review, kiểm tra ngẫu nhiên, đo độ đồng thuận giữa người chấm — chất lượng chuẩn vàng; điểm yếu: tốn kém, khó mở rộng quy mô [S114].

2 chỉ số cho agent không xác định (non-deterministic) [S114]:

pass@k — xác suất agent thành công ở ít nhất 1 trong k lần thử (tăng khi thử nhiều hơn) — phù hợp khi chỉ cần 1 lần đúng là đủ.
pass^k — xác suất agent thành công ở cả k lần thử (giảm khi thử nhiều hơn) — phù hợp khi cần độ tin cậy nhất quán.

4. Diagram

Sơ đồ đề xuất: 1 vòng đời eval dạng 3 khối tuần tự (Xây Task → Thiết kế & Triển khai Harness/Grader → Bảo trì & Tiến hóa), mỗi khối liệt kê đúng các bước con của mục 5; kèm 1 sơ đồ nhỏ minh họa pass@k tăng dần vs pass^k giảm dần theo số lần thử k.

5. Step-by-Step — Roadmap 8 bước xây eval [S114]

Giai đoạn 1 — Xây Task:

Bắt đầu sớm với 20-50 task đơn giản từ lỗi thật đã gặp, không cần hàng trăm task ngay từ đầu.
Tận dụng test thủ công/báo lỗi đã có, chuyển thành test case.
Viết task rõ ràng, không mơ hồ, kèm “reference solution” chứng minh task giải được.

Giai đoạn 2 — Thiết kế & Triển khai: 4. Xây môi trường ổn định — mỗi trial bắt đầu sạch, cô lập để tránh nhiễu trạng thái chung. 5. Thiết kế grader cẩn thận, khớp đúng loại agent, tránh chấm điểm cứng nhắc theo từng bước, có “partial credit” (điểm 1 phần).

Giai đoạn 3 — Bảo trì & Tiến hóa: 6. Đọc transcript định kỳ, xác nhận việc chấm điểm công bằng. 7. Theo dõi “saturation” — khi 1 eval đạt 100% pass rate, làm mới bằng task khó hơn. 8. Duy trì lâu dài — giao người phụ trách, cho phép đội sản phẩm đóng góp task mới.

6. Real Examples

Áp dụng cho Customer Support Agent (bài 79, 84):

Task: “khách hỏi về chính sách hoàn tiền cho đơn hàng quá 30 ngày” — có reference solution rõ ràng (từ chối kèm giải thích chính sách).
Trial: chạy agent 5 lần với cùng task này (vì câu trả lời có thể diễn đạt khác nhau mỗi lần).
Grader: kết hợp Code-Based (kiểm tra agent có nhắc đúng chính sách 30 ngày không) + Model-Based (rubric: câu trả lời có lịch sự, đầy đủ không).
pass@k vs pass^k: nếu chỉ cần agent từng trả lời đúng để rút kinh nghiệm → dùng pass@k; nếu cần agent luôn luôn trả lời đúng vì đây là chính sách quan trọng → dùng pass^k (tiêu chí khắt khe hơn).

4 cách tiếp cận theo loại agent [S114] (chỉ nêu tên, không đào sâu từng loại — đủ để nhận diện agent của bạn gần với loại nào):

Coding agent: test xác định (code chạy được không) + phân tích transcript.
Conversational agent: xác minh trạng thái + đánh giá đa lượt + rubric LLM, thường cần mô phỏng người dùng.
Research agent: kiểm tra tính có căn cứ, độ bao phủ, chất lượng nguồn.
Computer use agent: test trong môi trường thật/sandbox.

7. Prompt/Template

Task: [input cụ thể] → [tiêu chí thành công rõ ràng, có reference
solution]
Grader phù hợp: [ ] Code-Based  [ ] Model-Based  [ ] Human  (có thể chọn
nhiều)
Số trial cần chạy: [k]
Chỉ số: [ ] pass@k (chỉ cần 1 lần đúng)  [ ] pass^k (cần luôn đúng)

8. Exercise

Chọn agent bạn đã thiết kế xuyên suốt bài 82-85. Viết ra 3 task đơn giản (bước 1, mục 5) dựa trên tình huống thật bạn có thể hình dung agent gặp phải. Với mỗi task, xác định: loại grader nào phù hợp, và nên dùng pass@k hay pass^k.

9. Checklist

Hình 8.11 — Agent Evaluation: vòng đời eval 3 khối, và pass@k vs pass^k.

10. Common Mistakes

(Suy luận từ nguyên tắc [S114], không phải quan sát độc lập.)

Xây eval quá lớn ngay từ đầu (hàng trăm task) thay vì bắt đầu nhỏ từ lỗi thật — dễ bỏ cuộc vì quá tải trước khi có giá trị đầu tiên.
Chấm điểm cứng nhắc theo từng bước thay vì đo Outcome — phạt agent vì đi đường khác nhưng vẫn đạt đúng kết quả.
Không đọc lại transcript định kỳ — không phát hiện được khi grader chấm sai/không công bằng.
Không theo dõi saturation — 1 eval đạt 100% mãi mãi không còn cho biết agent có thực sự tốt hơn hay không.
Nhầm eval với giám sát production — eval chạy có kiểm soát trước khi triển khai; giám sát production (bài 88) theo dõi hành vi thật khi đã có người dùng thật.

11. Advanced

Tôi đã hiểu khái niệm cốt lõi của bài học Agent Evaluation.

12. References

[S114] Demystifying Evals for AI Agents, Anthropic — anthropic.com/engineering — định nghĩa cốt lõi, 3 loại grader, roadmap 8 bước, pass@k/pass^k, cách tiếp cận theo loại agent.
Dẫn chiếu (không trích dẫn mới): bài 79 (Customer Support Agent, ví dụ mục 6); bài 87 (Guardrails, dẫn chiếu ranh giới); bài 88 (Production Agent/Monitoring, dẫn chiếu ranh giới mục 11).

13. Ngày kiểm chứng

Nội dung kiểm chứng qua nguồn Tier 1 (S114) ngày 2026-07-13 — nguồn mới, gỡ đúng trạng thái BLOCKED tồn đọng từ Phase 2. Phương pháp luận eval (Task/Trial/Grader, roadmap 8 bước) là nguyên lý tương đối ổn định; công cụ/framework eval cụ thể (nếu triển khai thật) thay đổi nhanh hơn — không đưa chi tiết công cụ vào bài học.