MoE trọng số mở là gì và vì sao thiết bị biên cần nó?
Mô hình MoE trọng số mở là các mô hình hỗn hợp chuyên gia trong đó toàn bộ tham số được công bố công khai, nhưng khi suy luận chỉ kích hoạt một phần nhỏ chuyên gia, giúp giảm chi phí tính toán và cho phép triển khai trực tiếp trên thiết bị biên mà không phụ thuộc đám mây. Trong các kiến trúc này, tổng tham số có thể lên tới hàng chục tỷ, nhưng số tham số hoạt động trên mỗi token chỉ ở mức vài tỷ, tạo ra sự cân bằng giữa năng lực mô hình lớn và khả năng chạy trên phần cứng hạn chế. Chính sự kết hợp giữa kiến trúc thưa thớt AI, trọng số mở và tối ưu suy luận thiết bị biên đang mở ra một lớp LLM di động hiệu quả mới, nơi startup có thể kiểm soát toàn bộ chuỗi giá trị từ mô hình đến ứng dụng.
Kiến trúc thưa thớt: 24B–29B tham số, chỉ 2–4B tham số thực sự làm việc
Điểm khác biệt cốt lõi của mô hình MoE trọng số mở nằm ở chỗ chúng không cố gắng kích hoạt toàn bộ tham số trong mỗi bước suy luận. LFM2.5-24B-A2B có tổng cộng 24,0 tỷ tham số nhưng chỉ 2,45 tỷ tham số được kích hoạt trên mỗi token. Xing 4.0 29B-A4B là một mô hình hỗn hợp chuyên gia thưa với 29 tỷ tham số trong checkpoint, nhưng khoảng 4 tỷ tham số được đọc cho mỗi token được sinh ra. Nói cách khác, "mô hình có kích thước hàng chục tỷ, nhưng chi phí suy luận chỉ tương đương mô hình 2–4 tỷ tham số". Cả hai đều dùng 64 chuyên gia cho mỗi khối hỗn hợp chuyên gia và cơ chế định tuyến top-4 hoặc 4 chuyên gia hoạt động mỗi token, cộng thêm một chuyên gia chia sẻ luôn bật. Đây chính là kiến trúc thưa thớt AI: chỉ huy động đúng nhóm chuyên gia cần thiết, thay vì đốt năng lượng cho toàn mạng.
LFM2.5-24B-A2B vs Xing 4.0 29B-A4B: hai con đường suy luận thiết bị biên
LFM2.5-24B-A2B được giới thiệu như một mô hình suy luận có trọng số mở với 24B tham số, trong đó 2B tham số được kích hoạt, được xây dựng cho các tác tử chạy trên thiết bị. Trên phần cứng biên, Liquid AI báo cáo tốc độ giải mã đạt 184 token mỗi giây trên Apple M5 Max và 114 token mỗi giây trên AMD Ryzen AI Max+ 395; nhanh hơn tới 1,7 lần so với mô hình hỗn hợp chuyên gia tốt nhất tiếp theo trong nhóm so sánh, đồng thời sử dụng ít bộ nhớ nhất: 15 GB trên M5 Max. Ở phía còn lại, Xing 4.0 29B-A4B là phiên bản kế nhiệm của dòng TeleChat, được phát triển bởi China Telecom Artificial Intelligence Technology Co., Ltd. và phát hành theo Apache 2.0. Đây là một mô hình hỗn hợp chuyên gia thưa với 29 tỷ tham số và khoảng 4 tỷ tham số hoạt động mỗi token, sử dụng 64 chuyên gia định tuyến với 4 chuyên gia hoạt động mỗi token cùng một chuyên gia chia sẻ. Một bên đặt cược vào tối ưu suy luận thiết bị biên với tốc độ và bộ nhớ, bên kia thử nghiệm kiến trúc manifold-constrained hyper-connection để đẩy giới hạn năng lực trên cùng ngân sách tham số.
Trọng số mở, Apache 2.0 và ý nghĩa cho LLM di động hiệu quả
Điểm chung quan trọng của các mô hình này là trọng số mở và giấy phép thân thiện với nhà phát triển. LFM2.5-24B-A2B được phát hành như một mô hình suy luận có trọng số mở, trong khi Xing 4.0 29B-A4B dùng giấy phép Apache 2.0, với các bản dựng bfloat16 safetensors, FP8, w8a8 và GGUF được phát hành bởi cùng một tổ chức. Vì giấy phép là Apache 2.0, giá tải xuống bằng không và vẫn bằng không. Điều này không chỉ giảm chi phí tiếp cận mà còn cho phép startup triển khai mô hình trực tiếp trên thiết bị, tránh phụ thuộc đám mây, giảm độ trễ và tăng quyền kiểm soát dữ liệu. Khi suy luận thiết bị biên trở thành ưu tiên, LLM di động hiệu quả không còn là chuyện nén một mô hình dày đặc, mà là chọn đúng kiến trúc thưa thớt AI, đúng giấy phép và đúng chuỗi công cụ để giữ toàn bộ vòng đời mô hình trong tay đội ngũ kỹ thuật của mình.
Tương lai của mô hình MoE trọng số mở trên thiết bị biên
Sự xuất hiện song song của LFM2.5-24B-A2B và Xing 4.0 29B-A4B cho thấy cuộc chơi đã dịch chuyển: thay vì tranh nhau những LLM khổng lồ trên đám mây, các startup AI đang đua nhau đưa mô hình MoE trọng số mở xuống sát người dùng. Một bên chứng minh rằng với 2,45B tham số hoạt động trên 24B tổng tham số, mô hình vẫn có thể đạt tốc độ giải mã hàng trăm token mỗi giây trên phần cứng biên; bên kia chứng minh rằng một kiến trúc hỗn hợp chuyên gia thưa 29B với khoảng 4B tham số hoạt động mỗi token vẫn có thể phát hành dưới Apache 2.0 và sẵn sàng cho cả tự lưu trữ lẫn dịch vụ thương mại. Kết luận không khó: ai kiểm soát được kiến trúc thưa thớt AI và suy luận thiết bị biên sẽ kiểm soát được thế hệ ứng dụng tiếp theo. Mô hình MoE trọng số mở không còn là lựa chọn phụ, mà là chiến lược trung tâm cho những ai muốn xây dựng LLM di động hiệu quả, nhanh, rẻ và độc lập.
