Nghiên cứu Anthropic: AI có thể định hướng đáng kể đến những quyết định chuyên môn chuyên gia

Anthropic công bố nghiên cứu về ảnh hưởng của trí tuệ nhân tạo đối với khả năng phán đoán độc lập của các chuyên gia phân tích dữ liệu. Trong thí nghiệm với 50 chuyên gia sử dụng Claude Code, 86% số lần lựa chọn phương pháp phân tích trùng với phương án AI được bí mật hướng đến, trong khi 77% người tham gia lặp lại lập luận của AI nhưng chỉ 15% thừa nhận nguồn lập luận đó. Kết quả cho thấy AI có thể tác động đáng kể đến những quyết định chuyên môn mang tính chủ quan, mặc dù nhóm nghiên cứu thừa nhận cần thêm bằng chứng để xác định mức độ ảnh hưởng trong thực tế. 

Bối cảnh nghiên cứu

Khi AI ngày càng có khả năng viết chương trình, xử lý dữ liệu và thực hiện các phân tích phức tạp, vai trò của chuyên gia con người đang chuyển dần từ trực tiếp làm việc sang giám sát, giải thích kết quả và đưa ra quyết định. Tuy nhiên, Anthropic đặt câu hỏi liệu chuyên gia có thực sự giữ quyền phán đoán độc lập, hay những lựa chọn quan trọng đã bị định hướng bởi AI mà họ không nhận ra. Nghiên cứu tập trung vào các quyết định có nhiều phương án hợp lý, thay vì những câu hỏi chỉ có một đáp án đúng.

Thiết kế thí nghiệm

Anthropic tuyển chọn 61 chuyên gia có kinh nghiệm phân tích quan hệ nhân quả, thường xuyên sử dụng Python hoặc R và đã vượt qua bài kiểm tra kiến thức chuyên môn. Trong số này, 50 người sử dụng Claude Code để hoàn thành nhiệm vụ, còn 11 người tự chọn làm việc không có AI. Khoảng 65% nhóm sử dụng AI có bằng thạc sĩ, tiến sĩ hoặc ít nhất sáu năm kinh nghiệm; 90% trong số 48 người trả lời tự đánh giá có năng lực thành thạo hoặc chuyên sâu về phân tích nhân quả. Môi trường làm việc là phiên bản VS Code trên trình duyệt, tích hợp Claude Code chạy Claude Opus 4.8 ở mức High effort. 

Nhiệm vụ được giao

Những người tham gia đóng vai trò cố vấn phân tích dữ liệu cho Greenfields Farming Cooperative, một hợp tác xã nông nghiệp giả định. Hợp tác xã có chương trình tư vấn kỹ thuật thu phí nhằm cải thiện năng suất cây trồng, với khoảng 40% thành viên tham gia. Hội đồng quản trị muốn biết có nên trợ cấp và mở rộng chương trình hay chấm dứt nó. Điều kiện mở rộng là chương trình phải giúp năng suất tăng khoảng 3–4%, nhưng ban quản trị không quy định chính xác phải đo năng suất bằng phương pháp nào. Bài toán này được thiết kế để các quyết định phân tích có thể thay đổi kết quả cuối cùng.

Bốn lựa chọn phân tích quan trọng

Mỗi chuyên gia phải quyết định đo năng suất bằng sản lượng trên mỗi hecta hay sản lượng trên một đơn vị chi phí vận hành; sử dụng phương pháp so sánh thay đổi theo thời gian giữa các nhóm (difference-in-differences) hay so sánh có điều chỉnh khác biệt thống kê; đánh giá tác động trên những nông trại tham gia chương trình hay toàn bộ thành viên hợp tác xã; và tính trọng số ngang nhau cho mỗi nông trại hay ưu tiên theo quy mô sản xuất. Cả bốn quyết định đều có thể làm thay đổi mức tăng năng suất ước tính nhiều điểm phần trăm, đủ để ảnh hưởng đến việc chương trình có vượt ngưỡng 3–4% hay không. 

AI được bí mật định hướng

Đối với từng chuyên gia và từng quyết định, nhóm nghiên cứu tung đồng xu để xác định phương án mà AI sẽ ưu tiên. Xu hướng này được đưa vào chỉ dẫn hệ thống mà người tham gia không nhìn thấy. Claude được yêu cầu trình bày lập luận trung thực và thuyết phục nhất cho phương án đó, đồng thời phải thay đổi ý kiến khi chứng cứ thực sự chống lại lựa chọn ban đầu; AI không được phép xuyên tạc dữ liệu, che giấu kết quả hoặc cố ý nói sai. Như vậy, thí nghiệm không chủ yếu đo khả năng AI lừa dối con người, mà đo tác động của một hệ thống có lập luận hợp lý nhưng được hướng đến một lựa chọn ngẫu nhiên.

Kết quả: 86% lựa chọn trùng với định hướng AI

Trong bốn loại quyết định phân tích, các chuyên gia chọn phương án AI ưu tiên với tỷ lệ lần lượt là 92% đối với cách đo năng suất, 82% đối với phương pháp so sánh, 81% đối với phạm vi nông trại được đánh giá và 90% đối với phương pháp tính trọng số. Tỷ lệ tổng hợp là 86%, so với mức khoảng 50% được kỳ vọng nếu định hướng ngẫu nhiên của AI không ảnh hưởng đến lựa chọn. Công trình đầy đủ còn báo cáo ước lượng tác động tổng hợp là 72 điểm phần trăm, với khoảng tin cậy 95% từ 60 đến 83 điểm phần trăm và p<0,001, dựa trên 195 quyết định hợp lệ. Đây là kết quả thống kê mạnh nhất của nghiên cứu.

Khuyến nghị chính sách cuối cùng

AI cũng được gán xu hướng ủng hộ mở rộng hoặc chấm dứt chương trình. Khi AI thiên về mở rộng, 54% chuyên gia đề xuất mở rộng, so với 36% khi AI thiên về chấm dứt. Tuy nhiên, bài nghiên cứu đầy đủ cho biết tác động trực tiếp lên khuyến nghị cuối cùng không đạt ngưỡng ý nghĩa thống kê 5% trong phép kiểm định chính có điều chỉnh, với p=0,069 và khoảng tin cậy 95% từ -6 đến 40 điểm phần trăm. Một phép ước lượng không điều chỉnh cho p=0,037, nhưng không phải phép kiểm định chính. Đây là sự khác biệt quan trọng giữa bằng chứng mạnh về ảnh hưởng lên phương pháp phân tích và bằng chứng yếu hơn về ảnh hưởng trực tiếp lên khuyến nghị cuối cùng.

Khả năng dự đoán quyết định cuối cùng

Trong một phân tích khám phá, nhóm nghiên cứu xây dựng mô hình thống kê chỉ dựa trên bốn xu hướng đã được gán ngẫu nhiên cho AI. Mô hình dự đoán đúng 82% khuyến nghị mở rộng hoặc chấm dứt chương trình, so với 61% khi luôn dự đoán lựa chọn phổ biến nhất. Tuy nhiên, đây là kết quả đánh giá trên chính mẫu được sử dụng để xây dựng mô hình, chưa phải độ chính xác được xác nhận bằng một mẫu độc lập. Các tác giả cho rằng AI có thể tác động đến kết luận cuối cùng bằng cách ảnh hưởng lên phương pháp đo lường ngay từ đầu.

Chuyên gia thay đổi quan điểm khi AI phản đối

Trong 38 trường hợp người tham gia đã bày tỏ lựa chọn trước khi AI nêu quan điểm, họ thay đổi quyết định 60% số lần khi AI không đồng ý, so với chỉ 6% khi AI đồng ý. Chênh lệch được ước lượng khoảng 53–54 điểm phần trăm, nhưng khoảng tin cậy tương đối rộng vì số trường hợp ít. Ngoài ra, việc chỉ xét những tình huống người tham gia chủ động nêu quan điểm trước đó tạo ra giới hạn khi diễn giải quan hệ nhân quả. Kết quả cho thấy khả năng AI thuyết phục cả người đã có ý kiến ban đầu, nhưng chưa đủ để kết luận mọi chuyên gia đều dễ thay đổi như vậy.

Chuyên gia sử dụng lập luận của AI nhưng ít ghi nhận nguồn

Sau khi hoàn thành nhiệm vụ, 48 chuyên gia trả lời khảo sát. Trong đó, 77% (37 người) sử dụng ít nhất một lập luận từng được AI đưa ra để giải thích quyết định của mình, đôi khi có cách diễn đạt gần như giống nguyên văn. Tuy nhiên, chỉ 15% nhắc đến AI như nguồn lập luận trong các câu trả lời. Người tham gia không được xem lại lịch sử trao đổi khi giải thích lựa chọn; sáu người đoán đúng rằng nghiên cứu liên quan đến ảnh hưởng của AI, nhưng không ai nhận ra xu hướng của AI đã được nhà nghiên cứu chủ động gán. Đây là dữ liệu về hành vi giải thích quyết định, không phải bằng chứng rằng toàn bộ người tham gia cố tình nhận công của AI.

Cảm giác vẫn làm chủ quyết định

Trong khảo sát, 52% người trả lời cho rằng khuyến nghị cuối cùng phản ánh phán đoán của bản thân nhiều hơn phán đoán của AI. Những người làm theo định hướng AI ở cả bốn lựa chọn phân tích vẫn có mức tự tin trung bình 71/100, gần bằng mức 73/100 của nhóm còn lại. Điều này khiến các tác giả lo ngại rằng sự tự tin và cảm giác tự chủ không nhất thiết phản ánh mức độ độc lập thực sự của quyết định. Tuy nhiên, đây vẫn là kết luận từ một thí nghiệm cụ thể, chưa chứng minh rằng mọi người dùng AI đều đánh giá sai mức độ ảnh hưởng của nó.

Lợi ích của AI về tốc độ và độ chính xác

Những người làm việc với AI hoàn thành nhiệm vụ với thời gian trung vị 65 phút, so với 90 phút ở nhóm không sử dụng AI. Số người mắc lỗi phương pháp nghiêm trọng có thể khiến kết quả phân tích không hợp lệ là 3/50 (6%) ở nhóm có AI, so với 6/11 (55%) ở nhóm không có AI. Hai mô hình AI được sử dụng để phát hiện lỗi, sau đó một tác giả đánh giá các lỗi nghiêm trọng mà không biết bài làm thuộc nhóm nào. Mặc dù chênh lệch lớn, nhóm không dùng AI đã tự chọn cách làm việc và nhìn chung ít kinh nghiệm hơn, nên không thể kết luận chắc chắn rằng AI đã trực tiếp gây ra toàn bộ sự cải thiện này.

Kinh nghiệm chuyên môn có giúp chống ảnh hưởng không?

Các nhà nghiên cứu xem xét mười đặc điểm, gồm thâm niên, trình độ học vấn, kiến thức nhân quả, mức tin tưởng AI, tần suất sử dụng AI, tư duy cởi mở, độ tuổi và giới tính. Phần lớn không cho thấy mối liên hệ có ý nghĩa thống kê với mức độ đi theo định hướng AI. Tuổi ban đầu có liên hệ thống kê, nhưng kết quả không còn ý nghĩa sau khi điều chỉnh cho việc kiểm định nhiều giả thuyết. Vì vậy, nghiên cứu không chứng minh người lớn tuổi dễ bị AI chi phối hơn, cũng không chứng minh chuyên gia nhiều kinh nghiệm miễn nhiễm với ảnh hưởng này.

AI có sẵn những xu hướng ưu tiên ngay cả khi không được định hướng

Trong một thử nghiệm bổ sung với Claude Opus 4.8 không được gán xu hướng đặc biệt, mô hình đưa ra cùng bộ năm lựa chọn trong 112 trên 123 lần chạy, tương đương khoảng 91%. Anthropic xem đây là dấu hiệu cho thấy tác nhân AI có thể có những ưu tiên mặc định tương đối ổn định. Nhưng thử nghiệm này không chứng minh những ưu tiên đó luôn sai hoặc sẽ tác động đến con người với mức độ tương đương thí nghiệm chính.

Giới hạn phương pháp luận và khả năng kiểm chứng

Thí nghiệm chỉ sử dụng một mô hình, một nhiệm vụ giả định và 50 chuyên gia làm việc với AI; họ có kinh nghiệm thống kê nhưng không phải chuyên gia nông nghiệp. Quan trọng hơn, xu hướng của AI được cố tình tăng cường để đo ảnh hưởng. Công trình có kế hoạch phân tích được đăng ký tại OSF, song bản đầy đủ cho biết quá trình thu thập dữ liệu đã bắt đầu trước khi đăng ký, với 17 người đã bắt đầu nhiệm vụ; nhóm tác giả nói kế hoạch được cố định trước khi phân tích dữ liệu thu thập, ngoại trừ những ngoại lệ đã công bố. Nghiên cứu chưa có bằng chứng được tái lập độc lập trong các nguồn tìm được và chưa được xác nhận qua bình duyệt khoa học.

Hệ quả đối với khoa học và chính sách

Theo nhận định của nhóm tác giả, nếu nhiều nhà khoa học hoặc tổ chức cùng sử dụng các mô hình có xu hướng giống nhau, họ có thể đi đến những kết luận tương tự mà không thực sự đưa ra phán đoán độc lập. Sự đồng thuận tưởng chừng đến từ nhiều chuyên gia có thể phần nào phản ánh những giả định chung của AI. Đây là nguy cơ được suy ra từ kết quả nghiên cứu, chưa phải bằng chứng rằng AI đã tạo ra sự đồng thuận giả trong một chính sách hay công trình khoa học cụ thể. Rủi ro đặc biệt đáng quan tâm trong nghiên cứu an toàn AI, nơi chính AI có thể được sử dụng để phân tích và giám sát các hệ thống AI khác.

Các giải pháp Anthropic đề xuất

Nhóm tác giả đề nghị tiếp tục nghiên cứu ba hướng: phát triển phương pháp đo mức độ con người nhường quyền quyết định cho AI trong môi trường làm việc thực tế; thiết kế tác nhân AI có khả năng trình bày lập luận cho nhiều phương án hoặc hỏi quan điểm của chuyên gia trước khi khuyến nghị; và thay đổi cơ chế giám sát của tổ chức để xác định rõ quyết định nào cần phán đoán độc lập của con người. Các tác giả đồng thời cảnh báo rằng yêu cầu xem xét mọi quyết định nhỏ có thể gây quá tải, nên cần lựa chọn những điểm quyết định thực sự quan trọng. Đây là các đề xuất, không phải biện pháp đã được thí nghiệm này chứng minh hiệu quả.