Checklist cấu hình máy tính AI: Cách chọn theo workload, model và runtime

Checklist cấu hình máy tính AI nên bắt đầu từ workload thật, không bắt đầu từ một con số TOPS, RAM hay VRAM. Với người build hệ thống local AI, câu hỏi quan trọng là máy cần chạy model nào, ở precision nào, context dài bao nhiêu, có bao nhiêu người dùng đồng thời, yêu cầu latency hay throughput ra sao và runtime nào sẽ được pin để kiểm thử.

Mục lục bài viết

1. Khóa workload trước khi chọn CPU, GPU hay NPU

2. Checklist thông số cần chốt trước khi mua

3. Ước lượng RAM, VRAM và lưu trữ theo model thật

4. Kiểm tra compatibility: OS, driver và execution provider

5. Khi nào nên chọn AI PC, workstation hoặc cấu hình GPU mạnh?

6. Bảng kiểm nhanh trước khi chốt cấu hình

7. Câu hỏi thường gặp

1. Khóa workload trước khi chọn CPU, GPU hay NPU

Hãy mô tả rõ input, output và acceptance test của tác vụ. Một chatbot nội bộ một người dùng khác rất xa so với dịch vụ inference nhiều user; xử lý ảnh, video hoặc batch generation cũng khác với tác vụ NPU duy trì trên thiết bị. Theo nguồn đã duyệt, CPU thường đóng vai trò orchestration và fallback, GPU phù hợp workload cần throughput cao, còn NPU thiên về inference on-device hiệu quả khi ứng dụng và execution provider hỗ trợ.

Nếu bạn cần nền tảng chi tiết hơn, có thể đọc thêm bài chọn AI workstation theo workload.

(Nguồn: Intel)

2. Checklist thông số cần chốt trước khi mua

• Use case: chatbot, coding assistant, vision, RAG, fine-tune nhẹ hay batch inference.
• Model và version: tên model, opset, precision hoặc quantization dự kiến.
• Context, batch và concurrency: đây là nhóm biến làm tăng memory footprint ngoài model weights.
• Mục tiêu vận hành: latency, throughput, uptime, tiếng ồn, điện năng và nhiệt độ chấp nhận được.
• Runtime: Windows ML, ONNX Runtime, execution provider, driver, OS/build và phương án rollback.
• Benchmark: chạy cùng harness trên từng cấu hình candidate trước khi kết luận.

3. Ước lượng RAM, VRAM và lưu trữ theo model thật

VRAM là bộ nhớ chuyên dụng của GPU, còn unified memory là pool dùng chung theo kiến trúc nền tảng. Dung lượng memory có thể là cổng lọc ban đầu, nhưng không tự bảo đảm latency, throughput hay chất lượng đầu ra. Khi sizing, bạn nên cộng model weights, runtime buffers, KV/cache, batch, concurrency và headroom. Với storage, đừng chỉ tính file model chính; hãy dự phòng model variants, cache, log, dữ liệu benchmark và artifact rollback.

Một lỗi phổ biến là lấy thông số capacity của một sản phẩm để suy ra mọi cấu hình khác. Dossier đã duyệt nêu DGX Spark hỗ trợ 128GB unified memory và model tới 200B tham số trong phạm vi thông số sản phẩm, nhưng đây không phải cam kết hiệu năng cho mọi quantization, context length hay concurrency.

4. Kiểm tra compatibility: OS, driver và execution provider

Với hệ Windows, Windows ML dựa trên ONNX Runtime và dùng execution provider để nối runtime với CPU, GPU hoặc NPU. Cùng một model có thể cho compatibility, memory, latency và throughput khác nhau khi OS, driver, backend hoặc execution provider thay đổi. Vì vậy checklist mua máy cần có bước phân tích operator/shape, trạng thái provider, driver, correctness test, peak memory, log lỗi và fallback CPU.

Nếu đang cân nhắc giữa AI PC và workstation cho doanh nghiệp, bài AI PC hay AI workstation sẽ giúp phân loại nhu cầu triển khai.

5. Khi nào nên chọn AI PC, workstation hoặc cấu hình GPU mạnh?

Không có cấu hình tối thiểu chung cho mọi bài toán AI. AI PC hợp lý khi workload on-device cần tiết kiệm điện, phản hồi ổn định và phần mềm đã hỗ trợ NPU. Workstation hợp lý hơn khi bạn cần GPU throughput, memory headroom, chứng nhận ứng dụng chuyên nghiệp, ECC, system validation, manageability hoặc vòng đời linh kiện dài hơn.

Với nhu cầu build hoặc nâng cấp theo danh mục có sẵn, bạn có thể tham khảo bộ sưu tập AI PC GVN và đối chiếu lại bằng checklist benchmark trước khi quyết định.

Không có cấu hình tối thiểu chung cho mọi bài toán AI

6. Bảng kiểm nhanh trước khi chốt cấu hình

7. Câu hỏi thường gặp

7.1. TOPS càng cao có chắc chạy AI nhanh hơn không?

Không chắc. TOPS phụ thuộc định dạng tính toán và không thay thế benchmark ứng dụng thật. Runtime, operator support, memory plan và driver đều có thể làm kết quả khác nhau.

7.2. Nên ưu tiên GPU hay NPU?

Hãy chọn theo workload. GPU thường phù hợp throughput cao, còn NPU phù hợp tác vụ on-device duy trì và tiết kiệm điện khi app, runtime và execution provider hỗ trợ.

7.3. Cấu hình máy tính chạy AI cần bao nhiêu RAM hoặc VRAM?

Không nên dùng một ngưỡng chung. Hãy đo model weights, cache, buffer, context, concurrency và headroom trên runtime thật, sau đó so sánh candidate bằng cùng bộ test.