Token cháy không phanh: Cách kiểm soát chi phí khi dùng AI agent hằng ngày

Chạy AI agent như OpenClaw mà không kiểm soát context window là cách nhanh nhất để đốt tiền — đặc biệt nếu anh em đang dùng API pay-as-you-go thay vì subscription. Một thành viên trên r/openclaw chia sẻ rằng chỉ sau một đêm, toàn bộ token đã bay sạch vì context bị phình không kiểm soát.

Dưới đây là tổng hợp các chiến lược thực chiến giúp giảm đáng kể chi phí token mà vẫn giữ được chất lượng công việc.

Vấn đề cốt lõi: Context window bị phình

Mỗi lần AI agent phản hồi, toàn bộ lịch sử hội thoại đều được gửi lại qua API. Context càng dài, mỗi request càng tốn token. Đến một ngưỡng nhất định, chính hành động "compact context" cũng tiêu tốn lượng token khổng lồ.

Đây không phải bug — đây là cách hoạt động mặc định của LLM. Và giải pháp nằm ở cách mình thiết lập pipeline, không phải chờ model tự xử lý.

5 chiến lược kiểm soát token hiệu quả

1. Bắt đầu phiên mới không context

Cách đơn giản nhất nhưng thường bị bỏ qua: khi chuyển sang một tác vụ không liên quan, hãy tạo session mới hoàn toàn. Không cần kéo theo toàn bộ lịch sử của công việc trước đó.

Trong OpenClaw, mỗi lần mở thread mới trên Discord/WhatsApp hoặc dùng sessions_spawn với context: "isolated" là anh em đã có một phiên sạch context.

2. Giảm tần suất heartbeat hoặc dùng model rẻ hơn

Heartbeat là tính năng định kỳ kiểm tra và phản hồi của agent. Mỗi lần heartbeat chạy, toàn bộ context hiện tại được gửi qua API. Nếu anh em để heartbeat quá thường xuyên (mỗi 2-3 phút) với model flagship, chi phí sẽ đội lên nhanh chóng.

Cách xử lý:

• Giảm tần suất heartbeat xuống 15-30 phút/lần
• Cấu hình HEARTBEAT.md gọn nhẹ, tránh nạp context dư thừa
• Dùng model rẻ hơn (GPT-5-mini, Haiku) cho heartbeat thay vì model chính

3. Summarize-and-replace thay vì compact

Thay vì dùng tính năng compact context tích hợp (vốn vẫn gửi toàn bộ lịch sử qua API), anh em có thể tự setup cơ chế tóm tắt:

• Cứ mỗi N tin nhắn, dùng một model rẻ (như GPT-5-mini hoặc Haiku) tóm tắt toàn bộ hội thoại
• Thay thế lịch sử đầy đủ bằng bản tóm tắt
• Chi phí gần như bằng 0, context window luôn gọn

Cách làm này đặc biệt hiệu quả với các phiên dài như nghiên cứu, debug, hoặc viết code kéo dài nhiều giờ.

4. Chọn model theo độ phức tạp của tác vụ

Không phải task nào cũng cần model flagship. Phần lớn các tác vụ hằng ngày có thể xử lý tốt bằng model rẻ hơn 10-20 lần:

Một Pro User trên Reddit chia sẻ rằng sau khi benchmark thực tế, Gemini 2.5 Flash Lite rẻ hơn GPT-5.5 tới 15 lần cho cùng một workflow lặp lại mà chất lượng vẫn đạt yêu cầu.

5. Benchmark tác vụ thực tế trước khi chọn model

Thay vì đoán, hãy benchmark. Dùng dữ liệu thật từ chính workflow của mình để kiểm tra model nào đạt chất lượng mong muốn với chi phí thấp nhất.

Công cụ như OpenMark (openmark.ai) cho phép tạo test case từ workflow thực tế, chạy qua nhiều model khác nhau và so sánh kết quả. Thường thì model rẻ nhất đạt ngưỡng chất lượng không phải là model mình nghĩ ban đầu.

Một bước xa hơn: feed kết quả benchmark vào OpenClaw Router để agent tự động chọn model tối ưu cho từng loại task.

Checklist kiểm soát token cho người mới bắt đầu

• Kiểm tra tần suất heartbeat hiện tại — có đang quá thường xuyên không?
• Xác định 3-5 tác vụ lặp lại hằng ngày của mình
• Test mỗi tác vụ với ít nhất 2 model: flagship và một model rẻ hơn
• Setup quy tắc routing: task nào → model nào
• Thử summarize-and-replace cho phiên dài
• Theo dõi chi phí API hằng ngày để phát hiện bất thường

Lời kết

Kiểm soát token không phải là "tiết kiệm" theo kiểu cắt giảm tính năng. Nó là tối ưu hóa — dùng đúng công cụ cho đúng việc. Một hệ thống được tinh chỉnh tốt vừa rẻ hơn, vừa nhanh hơn, và quan trọng nhất là không bị gián đoạn vì hết quota giữa chừng.

Bắt đầu từ những thay đổi nhỏ: giảm tần suất heartbeat, thử model rẻ hơn cho một vài task. Kết quả sẽ thấy ngay trong bảng billing cuối ngày.