Kết luận nhanh: ưu tiên đọc hình hay đa phương thức?
Mô hình ngôn ngữ nhỏ gọn đa phương thức có thể tiếp nhận hình ảnh, văn bản hoặc âm thanh trong giới hạn tài nguyên thấp, nhưng mức độ chuyên sâu ở từng loại dữ liệu sẽ khác nhau.
Nếu mục tiêu chính là nhận diện hình ảnh AI, đọc tài liệu hoặc phân tích biểu đồ, MiniCPM-V 4.7 1B là lựa chọn thuyết phục hơn. Dù có ít tham số hơn, mô hình này dẫn trước LFM3-Omni-2B trên cả bốn benchmark thị giác được hai bên công bố: OCRBench đạt 86,1 so với 80,6; MMStar đạt 69,5 so với 55,67; MMMU đạt 56,9 so với 42,44; MathVista đạt 74,3 so với 62,5. OCRBench và MMStar là hai phép thử đáng chú ý nếu công việc của bạn xoay quanh đọc chữ trong ảnh và hiểu nội dung thị giác tổng quát. LFM3-Omni-2B lại có lợi thế rõ ràng khi sản phẩm cần xử lý cả âm thanh đầu vào lẫn giọng nói đầu ra. Vì vậy, mô hình thắng phụ thuộc vào tác vụ: MiniCPM ưu tiên độ chính xác thị giác, còn LFM3 ưu tiên khả năng đa phương thức.
Benchmark và thông số: MiniCPM dẫn đầu về thị giác
| Thông số | MiniCPM-V 4.7 1B | LFM3-Omni-2B |
|---|---|---|
| Tham số dense | Khoảng 1,3–1,55 tỷ | 2,17 tỷ |
| Đầu vào | Văn bản, hình ảnh, nhiều hình ảnh, video | Văn bản, hình ảnh, video có âm thanh, âm thanh 16 kHz |
| Đầu ra | Văn bản | Văn bản và giọng nói 24 kHz |
| Cửa sổ ngữ cảnh | 262.144 token (xấp xỉ 256K) | 32.768 token |
| Xử lý token hình ảnh | Nén 4× hoặc 16× trong bộ mã hóa | Giới hạn 2.048 token mỗi ảnh |
| Dung lượng BF16 | Khoảng 3,1 GB | Khoảng 4,3 GB |
| Giấy phép | Apache-2.0 | LFM Open License v1.0 |
Bảng cho thấy số tham số lớn hơn không đồng nghĩa với kết quả thị giác tốt hơn: MiniCPM-V 4.7 1B được gọi là mô hình 1B, nhưng lượng tham số dense được nêu vào khoảng 1,3–1,55 tỷ, vẫn thấp hơn 2,17 tỷ của LFM3-Omni-2B. Điểm khác biệt đáng kể là cách phân bổ ngân sách hình ảnh. MiniCPM cho phép chọn mức nén 4× hoặc 16×, trong khi LFM3 giới hạn mỗi ảnh ở 2.048 token. Ngữ cảnh 262.144 token của MiniCPM cũng gấp tám lần LFM3, hữu ích khi xử lý PDF dài hoặc hội thoại tài liệu nhiều lượt; với một ảnh đơn, lợi thế này ít quan trọng hơn.
Đổi lại giữa độ chính xác, tốc độ và khả năng nghe nói
MiniCPM-V 4.7 1B phù hợp với công việc đọc: OCR, hóa đơn, biểu mẫu, ảnh chụp màn hình, biểu đồ dày đặc và PDF dài. Chế độ nén 4× giữ lại nhiều token hình ảnh hơn, đổi lại cần thêm tính toán; chế độ 16× tiết kiệm và nhanh hơn, hợp với tạo chú thích hoặc mô tả cảnh. Đây là điểm hữu ích khi đội phát triển muốn chọn giữa tốc độ và chi tiết thay vì chấp nhận một mức xử lý cố định. Apache-2.0 cũng là lựa chọn giấy phép thoáng hơn so với giấy phép tùy chỉnh của LFM3-Omni-2B, nên có thể phù hợp hơn với một số kế hoạch triển khai sản phẩm.
LFM3-Omni-2B dành chỗ cho nhiều phương thức hơn: mô hình nhận âm thanh 16 kHz và có thể trả lời bằng giọng nói 24 kHz, bên cạnh văn bản, hình ảnh và video. Nếu người dùng cần trò chuyện với thiết bị về hình ảnh camera, chọn LFM3 giúp gộp xử lý âm thanh và thị giác vào một checkpoint; với MiniCPM, ứng dụng cần thêm hệ thống nhận dạng giọng nói, tổng hợp giọng nói và phần kết nối giữa các thành phần. Tuy nhiên, lợi thế đa phương thức đi kèm điểm số thị giác thấp hơn trong các benchmark đã công bố. Cần đọc kết quả với sự thận trọng: đây là đánh giá do nhà cung cấp thực hiện, dùng thiết lập riêng và chưa được tái lập độc lập.
Buy if / Skip if
- Buy the MiniCPM-V 4.7 1B if bạn cần OCR, đọc biểu đồ, phân tích ảnh chụp màn hình hoặc xử lý PDF dài với ngữ cảnh lớn.
- Skip the MiniCPM-V 4.7 1B if ứng dụng phải tiếp nhận âm thanh và tạo phản hồi bằng giọng nói trong cùng một mô hình.
- Buy the LFM3-Omni-2B if bạn muốn xây dựng trợ lý có camera và micrô, cần hiểu âm thanh rồi trả lời bằng văn bản hoặc giọng nói.
- Skip the LFM3-Omni-2B if điểm số nhận diện hình ảnh, OCR hoặc khả năng xử lý lượng tài liệu dài là ưu tiên cao nhất.
- Buy the MiniCPM-V 4.7 1B if bạn muốn chọn cấu hình nén 16× để ưu tiên tốc độ hoặc 4× để giữ thêm chi tiết cho OCR và biểu đồ.
- Buy the LFM3-Omni-2B and MiniCPM-V 4.7 1B if sản phẩm có hai luồng riêng: dùng MiniCPM đọc tài liệu và LFM3 xử lý hội thoại âm thanh.
