Bỏ qua, đến nội dung chính
MocaOne

← Về mục Blog

Tin tức

Google công bố bộ đánh giá Multimodal Knowledge Agent

Tác giả: Ban biên tập MocaOne · Đăng ngày

Bài viết do AI tổng hợp, biên tập bởi MocaOne. Xem chính sách nội dung

Ngày 10/11/2026, Google công bố bộ đánh giá Multimodal Knowledge Agent phối hợp cùng Artificial Analysis nhằm đo lường khả năng lý luận trên các tác vụ trực quan phức tạp.

Ảnh trong thông cáo của Google (Gemini / DeepMind) cho bài: Google công bố bộ đánh giá Multimodal Knowledge Agent
Ảnh: Google (Gemini / DeepMind)

Ngày 10/11/2026, Google công bố Multimodal Knowledge Agent (MKA), một bộ đánh giá mới được phát triển cùng Artificial Analysis nhằm đo lường cách các tác nhân lý luận qua các tệp phức tạp về mặt trực quan để giải quyết công việc tri thức thực tế.

Thông thường, các bộ đánh giá công việc tri thức có thể được giải quyết chỉ bằng văn bản mà không cần xem hình ảnh hay bố cục trang. Tuy nhiên, công việc chuyên môn hằng ngày lại mang tính trực quan cao, từ việc đối chiếu bản vẽ kiến trúc, sơ đồ kỹ thuật cho đến tổng hợp phát hiện thành báo cáo và bảng tính. Google xây dựng MKA để đo lường mức độ xử lý công việc trực quan này của các tác nhân.

Để gắn kết bộ đánh giá với quy trình làm việc thực tế, các chuyên gia thuộc 10 lĩnh vực và 83 ngành nghề đã tạo ra bộ đánh giá gồm 200 tác vụ của MKA. Mỗi tác vụ phản ánh một dự án nhiều bước mà một chuyên gia giàu kinh nghiệm cần từ 3 đến 8 giờ để hoàn thành, kết hợp một lời nhắc thực tế, bộ tệp đầu vào đa phương thức và một bảng tiêu chí gồm khoảng 70 điểm kiểm tra có/không, trong đó 75% trọng số dành cho độ chính xác thực tế và 25% dành cho thiết kế trực quan.

Mỗi mô hình chạy trong cùng một bộ công cụ mã nguồn mở mang tên Stirrup với các công cụ, môi trường biệt lập và ngân sách lượt đi như nhau. Một hệ thống chấm điểm tự động dựa trên mô hình không phải của Google sẽ chấm điểm từng sản phẩm bàn giao, kiểm tra tệp, hiển thị trang, xem xét công thức bảng tính và đối chiếu với bảng tiêu chí của chuyên gia. Khi các chuyên gia tự chấm điểm đầu ra của mô hình, họ đồng ý với hệ thống chấm điểm tự động 96% số lần.

Artificial Analysis thực hiện đánh giá trên 200 tác vụ và giữ kín để tránh việc tác vụ rò rỉ vào dữ liệu huấn luyện hoặc bị tìm thấy qua tìm kiếm. Đồng thời, một bộ gồm 10 tác vụ công khai được phát hành trên Hugging Face để mọi người có thể kiểm tra định dạng và thử nghiệm tác nhân của mình.

Báo cáo kỹ thuật cho thấy các mô hình tiên tiến hoạt động theo các cách rất khác nhau. Trên cùng các tác vụ, các mô hình được thử nghiệm có sự khác biệt lớn về hiệu suất, sử dụng trung bình từ 30 đến 130 lượt đi để hoàn thành mỗi tác vụ. Khả năng nhận thức mạnh mẽ là yếu tố cần thiết để giải quyết từng tác vụ và các mô hình sẽ gặp thất bại khi khả năng thị giác bị loại bỏ.

Bên cạnh đó, mô hình Gemini 4 Carbon đạt vị trí thứ 2 về chất lượng trong số các mô hình được thử nghiệm và hoàn thành tác vụ với chi phí trung bình thấp hơn 6 lần so với mô hình đạt điểm cao nhất. Gemini 4 Carbon đã có sẵn thông qua Gemini API trong Google AI Studio.

Nguồn tin

Theo Google (Gemini / DeepMind) — “Introducing the Multimodal Knowledge Agent benchmark”, đăng 10/11/2026

Đọc bài gốc tại nguồn

Thẻ: google, gemini, ai, công nghệ