Viện nghiên cứu uy tín: Kimi K3 có hiệu năng kém xa các mô hình AI của Mỹ

Hôm thứ Tư (23/7), sau các cuộc thử nghiệm ban đầu, hai tổ chức nghiên cứu uy tín của Anh và Mỹ kết luận rằng Kimi K3, mô hình AI mới nhất của công ty khởi nghiệp Trung Quốc Moonshot AI, có hiệu năng thấp hơn đáng kể so với các mô hình AI tiên tiến hàng đầu của Mỹ.

Moonshot AI đã ra mắt Kimi K3 vào ngày 16/7 và dự kiến phát hành phiên bản mã nguồn mở vào ngày 27/7. Trong bối cảnh cạnh tranh AI giữa Mỹ và Trung Quốc ngày càng gay gắt, mô hình này đã thu hút sự chú ý toàn cầu sau khi đạt kết quả vượt trội so với nhiều công ty AI của Mỹ trong một số bài kiểm tra chuẩn của ngành.

Sau khi tiến hành đánh giá chung, Viện An toàn AI của Anh (UK AISI) và Trung tâm Tiêu chuẩn và Đổi mới AI của Mỹ (CAISI) cho biết, trong các bài đánh giá sơ bộ về năng lực an ninh mạng, Kimi K3 có khả năng tác chiến mạng thấp hơn đáng kể so với các mô hình AI tiên tiến mới nhất của Mỹ, đặc biệt thua kém rõ rệt về tính ổn định và tỷ lệ thành công.

Đợt đánh giá tập trung vào hai nội dung chính. Thứ nhất là sử dụng bộ công cụ ExploitBench để kiểm tra khả năng tái tạo sự cố, đọc và ghi dữ liệu trái phép, chiếm quyền điều khiển luồng thực thi và thực thi mã trên 41 lỗ hổng của công cụ JavaScript V8. Thứ hai là mô phỏng một mạng doanh nghiệp nhằm đánh giá khả năng tự động hoàn thành chuỗi tấn công nhiều bước của mô hình, đồng thời quan sát xem các cơ chế bảo vệ có thể ngăn chặn hành vi tấn công hay không.

Kết quả cho thấy Kimi K3 vượt trội hơn các mô hình AI Trung Quốc như GLM-5.2, thậm chí đôi khi có thể hoàn thành toàn bộ chuỗi tấn công. Tuy nhiên, xét về khả năng thực hiện ổn định việc thực thi mã tùy ý, tỷ lệ thành công trong tấn công và năng lực tổng thể, mô hình này vẫn kém hơn các mô hình mã nguồn đóng tiên tiến nhất của Mỹ. GLM-5.2 là mô hình ngôn ngữ lớn chủ lực do Zhipu AI phát triển.

Trong lĩnh vực phát triển mã khai thác lỗ hổng, Kimi K3 cũng bị đánh giá thấp hơn đáng kể so với các mô hình AI an ninh mạng mới nhất của Mỹ. Các mô hình hàng đầu của Mỹ có thể xây dựng hoàn chỉnh chuỗi khai thác lỗ hổng trong khoảng một nửa số mẫu thử, trong khi Kimi K3 và GLM-5.2 dù có thể phát hiện và tái tạo nhiều lỗ hổng nhưng chưa hoàn thành được toàn bộ quy trình từ khai thác lỗ hổng đến thực thi mã tùy ý.

Cụ thể, Kimi K3 trung bình chỉ hoàn thành bước thứ 17 trong chuỗi tấn công gồm 32 bước, trong khi mô hình AI mạnh nhất của Mỹ đạt trung bình 28,5 bước. GLM-5.2 chỉ đạt trung bình 11 bước.

Ngoài ra, điểm số tổng hợp của các mô hình hàng đầu của Mỹ cũng cao hơn Kimi K3 khoảng 44 điểm phần trăm và cao hơn GLM-5.2 khoảng 51,8 điểm phần trăm.

Về tỷ lệ thành công trong tấn công, sau 10 lần thử nghiệm, Kimi K3 chỉ có một lần hoàn thành thành công bài kiểm tra phạm vi tấn công mạng “The Last Ones” (TLO) trong giới hạn 100 triệu token.

Điều này cho thấy sau khi được cấp quyền truy cập ban đầu và nhận chỉ thị, Kimi K3 đã có khả năng tự động tấn công các hệ thống doanh nghiệp quy mô nhỏ, có khả năng phòng thủ yếu và dễ bị khai thác.

Tuy nhiên, việc giải được bài toán TLO không còn là năng lực chỉ một số ít mô hình sở hữu. Báo cáo cho biết trong các thử nghiệm trước đây đã có bốn mô hình mã nguồn đóng được công bố công khai vượt qua bài kiểm tra này, trong đó mô hình có thành tích tốt nhất đạt tỷ lệ thành công từ 6 đến 7 lần trong 10 lần thử. Trong khi đó, Kimi K3 chỉ thành công một lần trong 10 lần thử với giới hạn tiêu chuẩn 100 triệu token.

Bộ trưởng Thương mại Mỹ Howard Lutnick ngày 23/7 đã đăng trên mạng xã hội X:

“Báo cáo mới nhất của CAISI cho thấy Kimi K3 vẫn tụt hậu so với các mô hình AI tiên tiến hàng đầu của Mỹ”.

Ông viết thêm:

“Mỹ có thể duy trì vị thế dẫn đầu trong lĩnh vực AI tiên tiến vì chúng tôi sở hữu những nhà đổi mới và chuyên gia công nghệ xuất sắc nhất thế giới.”

Giám đốc CIA John Ratcliffe, phát biểu tại Hội nghị Thượng đỉnh Quốc phòng và Đổi mới ở bang Pennsylvania vào giữa tháng 7, cũng nhận định rằng Mỹ có lợi thế về thể chế so với Trung Quốc dưới sự lãnh đạo của Đảng Cộng sản Trung Quốc, bởi trong hệ thống đó, cá nhân chỉ có thể phục tùng đảng và nhà nước.

“Họ đánh cắp, sao chép và sử dụng trợ cấp của nhà nước. Đó chính là ‘mô hình thành công’ của họ”.

Giám đốc CIA nhấn mạnh Mỹ không được để mất lợi thế dẫn đầu trước Bắc Kinh trong các công nghệ tiên tiến và cho rằng cách duy nhất để duy trì ưu thế đó là không để các yếu tố mang tính chính trị làm cản trở quá trình đổi mới.