Multi-GPU cho AI: PCIe lanes, băng thông và lỗi chọn cấu hình
Multi-GPU chỉ hiệu quả khi model/runtime hỗ trợ chia tải và toàn bộ nền tảng đủ lane, khe, điện, nhiệt. Hai card cắm vừa case chưa có nghĩa là hai card đang chạy đúng băng thông hoặc workload sẽ nhanh gần gấp đôi.
Tóm tắt nhanh
- Kiểm tra lane map của CPU và manual mainboard, không nhìn số khe vật lý.
- Kiểm tra độ dày GPU, khoảng cách khe, đầu nguồn và airflow.
- Xác minh runtime hỗ trợ tensor split, pipeline/tensor parallel hoặc data parallel.
- Benchmark P2P bật/tắt và x16/x8 trên workload thật.
1. PCIe lanes ảnh hưởng điều gì?
PCIe là đường truyền giữa CPU, GPU và thiết bị khác. Nhiều mainboard có khe dài x16 nhưng chỉ đi dây x8 hoặc x4; một số khe còn chia lane với M.2. Với workload phải trao đổi dữ liệu thường xuyên giữa GPU, topology và peer-to-peer có thể ảnh hưởng throughput. Với workload giữ phần lớn dữ liệu trên từng GPU, mức ảnh hưởng có thể khác.
AMD công bố Threadripper PRO 7000 WX hỗ trợ tới 128 lane PCIe 5.0 và tám kênh DDR5, phù hợp cho workstation nhiều accelerator. Tuy nhiên từng CPU, chipset và mainboard vẫn có lane map riêng, vì vậy phải đọc manual đúng mã sản phẩm.
AMD công bố Threadripper PRO 7000 WX (Nguồn: AMD Vietnam)
2. Multi-GPU được dùng theo những cách nào?
| Mục tiêu | Cách tiếp cận | Điểm cần đo |
| Model không fit một GPU | Chia weights/tensor | Tốc độ liên kết, memory balance |
| Tăng throughput | Data parallel hoặc nhiều replica | Request/s và load balancing |
| Tăng tốc một request | Tensor/pipeline parallel | Communication overhead |
| Nhiều workload | Mỗi GPU một service | Cô lập tài nguyên và queue |
llama.cpp hỗ trợ nhiều chế độ chia model và P2P trên CUDA/ROCm. Tài liệu dự án cũng cảnh báo peer access phụ thuộc driver, GPU, motherboard và BIOS. Vì vậy cấu hình lab ổn định không thể được suy từ lý thuyết một mình.
3. Độ dày card quan trọng hơn tên case
GPU có thể chiếm hai, ba hoặc nhiều slot. Card bên dưới bị nghẹt gió có thể giảm xung hoặc quá nhiệt dù case được gọi là full tower. Khi lên bill of materials, cần lưu kích thước thật của đúng SKU, vị trí đầu nguồn, khoảng hở hút gió và khả năng tháo lắp bảo trì.
4. Quy trình verify một cấu hình nhiều GPU
- Đọc spec CPU: tổng lane và cấu hình lane hỗ trợ.
- Đọc manual mainboard: slot nào x16/x8, slot nào chia với M.2.
- Đối chiếu kích thước từng GPU với bản vẽ case.
- Tính nguồn, đầu nối và tải điện tại địa điểm.
- Cài đúng driver/runtime và kiểm tra topology.
- Chạy test một GPU làm baseline.
- Chạy hai/bốn GPU với P2P và chế độ split dự kiến.
- Ghi throughput, latency, nhiệt, điện và lỗi trong soak test.
5. Khi nào không nên lên multi-GPU?
Nếu model đã fit một GPU và workload ít request, thêm GPU có thể không tạo giá trị tương xứng. Nếu phần mềm không hỗ trợ parallelism tốt, CPU/mainboard thiếu lane hoặc case không đủ airflow, một GPU VRAM lớn hay nhiều service nhỏ đôi khi dễ vận hành hơn.
Tham khảo thêm cách chọn cấu hình PC chạy AI và danh mục AI PC GVN. Với cấu hình từ hai GPU, cần báo đội tư vấn kiểm tra đúng mainboard, case và nguồn thay vì tự thay linh kiện rời.
6. Câu hỏi thường gặp
6.1. Hai GPU 32 GB có luôn chạy được model 64 GB?
Không luôn. Runtime phải hỗ trợ chia model, và vẫn cần bộ nhớ cho cache/buffer. Cách chia cũng ảnh hưởng tốc độ.
6.2. PCIe x8 có làm chậm một nửa?
Không thể kết luận như vậy. Tác động phụ thuộc workload, thế hệ PCIe, lượng giao tiếp và cách runtime chia tải; cần benchmark.
Nguồn kỹ thuật tham khảo: AMD Threadripper PRO workstation white paper, llama.cpp multi-GPU documentation và NVIDIA GPU specifications.
