Model AI nhỏ cho classification và routing: Dùng đúng vai trò

Model AI nhỏ phát huy tốt nhất khi nhiệm vụ hẹp, output có schema và lỗi có thể đo. Thay vì bắt một model nhỏ làm chatbot biết mọi thứ, hãy giao nó phân loại, định tuyến, làm sạch hoặc trích xuất để phục vụ một workflow lớn hơn.

Tóm tắt nhanh

• Classification và routing thường phù hợp hơn hội thoại mở.
• Giới hạn output giúp kiểm tra và fallback dễ hơn.
• Model nhỏ nhanh có thể xử lý lượng request lớn rồi chuyển case khó cho model lớn.
• Phải có tập eval thật; kích thước model không bảo đảm chất lượng.

1. Những nhiệm vụ phù hợp

• Phân loại chat thành PC, laptop, màn hình hoặc gear.
• Nhận diện ý định mua hàng, bảo hành, giao hàng hoặc khiếu nại.
• Đánh dấu email có rủi ro hoặc cần phản hồi gấp.
• Phân loại loại chứng từ sau OCR.
• Trích xuất trường theo JSON schema.
• Chuẩn hóa lỗi OCR hoặc định dạng tên, ngày, mã đơn.

2. Vì sao không nên cho model nhỏ trả lời mọi câu hỏi?

Chatbot mở cần nắm chính sách, truy xuất dữ liệu mới, chọn tool, kiểm tra kết quả và duy trì ngữ cảnh. Nếu model chỉ tạo câu trả lời nghe hợp lý mà không có dữ liệu chính xác, “gần đúng” vẫn là sai. Với classification, đầu ra có thể giới hạn thành một danh sách nhãn và đo confusion matrix rõ ràng.

3. Kiến trúc compound AI đơn giản

1. Rule rẻ nhất xử lý trường hợp rõ ràng.
2. Model nhỏ phân loại hoặc trích xuất.
3. Confidence/rule quyết định đi thẳng hay chuyển tầng.
4. Model lớn hoặc người xử lý case phức tạp.
5. Kết quả được lưu để cập nhật tập eval.

Google mô tả FunctionGemma như một model nhẹ dành cho function calling chuyên biệt sau fine-tuning, đồng thời khuyến nghị dùng model nhỏ trong compound system và chuyển việc phức tạp cho model lớn hơn. Đây là minh họa cho kiến trúc, không phải bảo đảm FunctionGemma phù hợp mọi quy trình tiếng Việt.

Thiết kế tốt	Thiết kế rủi ro
Output enum/JSON	Trả lời tự do
Một nhiệm vụ rõ	Nhiều mục tiêu trong một prompt
Eval theo nhãn	Đánh giá bằng cảm giác
Fallback khi không chắc	Buộc model đoán
Audit input/output	Không lưu dấu vết

 

FunctionGemma: Mô hình Gemma mới chuyên về gọi hàm (function calling)

4. Cách benchmark model classification

1. Lấy mẫu hội thoại/ticket thật và ẩn dữ liệu nhạy cảm.
2. Định nghĩa taxonomy không chồng lấn.
3. Cho hai người gán nhãn để đo độ nhất quán.
4. Chia train/validation/test theo thời gian hoặc nguồn.
5. Đo precision, recall, F1 theo từng nhãn.
6. Đo latency và throughput ở tải thật.
7. Thiết lập ngưỡng fallback và review lỗi định kỳ.

Về phần cứng, model nhỏ có thể chạy trên cấu hình vừa phải, nhưng sizing vẫn dựa vào tổng request, thời hạn xử lý và số service chạy cùng lúc. Xem cấu hình PC chạy AI hoặc các AI PC GVN để lập phương án thử nghiệm.

5. Câu hỏi thường gặp

5.1. Model nhỏ có thể dùng tool không?

Có model được thiết kế hoặc fine-tune cho function calling, nhưng phải đánh giá trên schema/tool thật. Model chỉ đề xuất lệnh; ứng dụng vẫn chịu trách nhiệm thực thi an toàn.

5.2. Có cần fine-tune không?

Không phải luôn. Prompt, few-shot và rule có thể đủ cho taxonomy đơn giản. Fine-tune chỉ nên làm khi dữ liệu, baseline và mục tiêu đã rõ.

Nguồn kỹ thuật tham khảo: Google FunctionGemma documentation và Google function-calling guidance.