Nhom Hy cua Tencent chia se lo trinh phat trien mo hinh lon
Tác giả: Ban biên tập MocaOne · Đăng ngày
Bài viết do AI tổng hợp, biên tập bởi MocaOne. Xem chính sách nội dung
Nhom Hy cua Tencent chia se ve cac mo hinh lon, Flash-Lite va lo trinh trien khai thiet bi 24GB trong buoi hoi dap cong khai ngay 21/11.
Vào ngày 21/11 tại Thượng Hải, nhóm Hy thuộc Tencent đã công bố các định hướng phát triển mô hình lớn và phương án triển khai cục bộ trong một buổi hỏi đáp công khai trên Reddit cùng Shunyu Yao. Buổi trao đổi diễn ra sau khi trọng số của mô hình chủ lực Hy4 được phát hành một ngày, cung cấp thêm thông tin về các lựa chọn kiến trúc và ưu tiên nghiên cứu của nhóm.
Chi tiết chính
- Nhóm Hy cho biết mô hình Hy tiếp theo sẽ có quy mô lớn hơn đáng kể và tiếp tục đầu tư mạnh vào học tăng cường quy mô lớn.
- Phía nhóm phát triển đề cập đến Flash-Lite và mô hình Hy4-mini như các kế hoạch trong lộ trình, đồng thời xem xét mô hình dày đặc có quy mô từ 24 tỷ đến 31 tỷ tham số.
- Nhóm đang thảo luận về các giải pháp hướng tới thiết bị có 24GB bộ nhớ GPU, dù thông số này chưa bao gồm đầy đủ chi tiết về RAM hệ thống hay lượng tử hóa.
- Về kiến trúc, nhóm thảo luận về sự đánh đổi giữa chú thích truy vấn theo nhóm (GQA) và chú thích tiềm ẩn đa đầu (MLA), đồng thời lưu ý cơ chế chú thích thưa thớt DSA giúp giảm tải tính toán cho MLA.
- Nhóm cũng đưa ra cảnh báo rằng tính thưa thớt quá mức trong mô hình hỗn hợp chuyên gia (Mixture-of-Experts) có thể không cải thiện hiệu quả triển khai nếu chiếm dụng nhiều bộ nhớ GPU mà không tận dụng hết năng lực tính toán.
Ý nghĩa với doanh nghiệp Việt Nam
Các thông tin từ nhóm Hy mang tính chất chia sẻ định hướng nghiên cứu và lựa chọn kỹ thuật nhiều hơn là các mốc phát hành thương mại cụ thể. Doanh nghiệp và nhà phát triển quan tâm đến các giải pháp mã nguồn mở cần theo dõi thêm chi tiết kỹ thuật thực tế trước khi đưa ra kế hoạch ứng dụng cho phần cứng tiêu dùng.
Nguồn tin
Theo Pandaily — “Tencent’s Hy Team Outlines Larger Models and a 24GB Deployment Roadmap”, đăng 21/11/2026
Thẻ: Tencent, mo hinh lon, trien khai AI