GPT-5 NHẬN RA VĂN CỦA CHÍNH NÓ GIỎI HƠN CHÚNG TA

Trong phép thử Turing nguyên bản, một người thẩm vấn trao đổi tin nhắn viết và cố gắng phân biệt một người đàn ông với một người phụ nữ. Đến một lúc nào đó, người đàn ông được thay bằng một cỗ máy. Nếu người thẩm vấn vẫn không phân biệt được cỗ máy với người phụ nữ, cỗ máy được coi là đã vượt qua phép thử. Turing đưa ra nó như một thí nghiệm tưởng tượng triết học, vậy mà suốt nhiều thập kỷ nó đã được dùng làm thước đo cho trí tuệ nhân tạo — và những tuyên bố gần đây rằng các chatbot như ChatGPT cuối cùng đã vượt qua nó đã làm sống lại một câu hỏi cũ: vượt qua thì thực sự chứng minh được điều gì?

Hai cách đánh lừa một giám khảo

Một nhóm do Cristina Becchio tại Trung tâm Y khoa Đại học Hamburg-Eppendorf dẫn dắt chỉ ra rằng một người thẩm vấn bị đánh lừa có thể mang hai ý nghĩa rất khác nhau.

• Thất bại ở khâu mã hóa. Câu trả lời của máy trùng khớp với câu trả lời của người đến mức văn bản không còn mang bất kỳ manh mối nào về nguồn gốc của nó. Không người quan sát nào, dù giỏi đến đâu, có thể làm tốt hơn mức may rủi. Đó sẽ là một kết quả mạnh.
• Thất bại ở khâu đọc. Manh mối nằm trong văn bản, nhưng người thẩm vấn không nắm bắt được. Một giám khảo khác — chẳng hạn một giám khảo nhân tạo — có thể thành công. Khi đó, phép thử nói về giám khảo nhiều hơn là về cỗ máy.

Phép thử cổ điển gộp chung hai trường hợp này. Các tác giả bổ sung một cấp độ thứ ba, siêu đọc (meta-readout): một giám khảo có nói đúng được những manh mối nào đã dẫn dắt quyết định của chính mình không?

Những câu chuyện kỳ lạ, hai câu trả lời

Để tách bạch các cấp độ này, nhóm đã đảo ngược phép thử Turing: cả con người lẫn các hệ thống AI đều ngồi vào ghế người thẩm vấn. Tư liệu lấy từ bài kiểm tra Strange Stories (Những câu chuyện kỳ lạ), một bộ gồm tám tình huống xã hội ngắn — lừa dối, mỉa mai, thuyết phục, hiểu lầm — mỗi tình huống kết thúc bằng một câu hỏi về điều mà một nhân vật nghĩ hoặc lý do họ hành động. Con người và các mô hình GPT đã trả lời các câu hỏi đó, và chỉ những câu trả lời đúng được giữ lại, để giám khảo không thể vạch mặt cỗ máy qua lập luận sai.

Mỗi người thẩm vấn đọc một câu chuyện và hai câu trả lời cho nó, một của người và một của AI, rồi phải chọn hoặc câu của người hoặc câu của AI, đánh giá mức độ tự tin và giải thích lựa chọn của mình bằng văn bản. Trong loạt nghiên cứu thứ nhất, các câu trả lời của GPT-4 được con người và GPT-4 chấm; trong loạt thứ hai, các câu trả lời của GPT-5 được con người và GPT-5 chấm. Tổng cộng 3.824 người đã tham gia qua nền tảng Prolific, mỗi người đưa ra một phán đoán duy nhất, đối ứng với chừng ấy lượt chạy của các mô hình.

Hiệu quả được chấm bằng một thước đo gọi là độ nhạy, d′: bằng không nghĩa là đoán mò, càng cao nghĩa là phân biệt càng tốt, và một giá trị âm nghĩa là giám khảo sai một cách có hệ thống.

Con người tụt dốc, GPT-5 sắc bén hơn

Trước GPT-4, con người làm khá tốt, với d′ bằng 1,36 khi được yêu cầu tìm câu trả lời của AI và 1,10 khi được yêu cầu tìm câu của người. GPT-4 trong vai giám khảo yếu hơn, và trong nhiệm vụ “tìm con người”, điểm của nó là số âm, −1,11: nó chỉ vào câu trả lời sai thường xuyên hơn câu đúng.

Trước GPT-5, con người trong loạt thứ hai tụt xuống 0,77 và 0,27 — vẫn trên mức may rủi, nhưng chỉ nhỉnh hơn chút ít trong nhiệm vụ tìm con người. GPT-5 trong vai giám khảo thì ngược lại, đạt 2,09 và 2,01, cao hơn hẳn con người ở cả hai nhiệm vụ.

Manh mối chưa bao giờ biến mất

Sự tụt dốc của con người có phải là thất bại ở khâu mã hóa không? Để kiểm tra, các nhà nghiên cứu đo 12 đặc điểm của mỗi câu trả lời — độ dài, độ chi tiết, lỗi đánh máy, sự lặp thừa, dấu câu, độ dễ đọc, giọng văn phân tích hay trò chuyện, và những đặc điểm khác — rồi huấn luyện một mô hình thống kê đơn giản để đoán nguồn gốc từ các đặc điểm đó. Nó chọn đúng nguồn trong 98,3% trường hợp với câu trả lời của GPT-4 (“độ chính xác cân bằng” (balanced accuracy) bằng 0,983, tức là trung bình tỷ lệ thành công của nó trên cả hai thứ tự sắp xếp câu trả lời) và vẫn đạt 92,5% với GPT-5. GPT-5 nghe giống người hơn, nhưng thông tin thì vẫn còn đó.

Điều thay đổi là những manh mối nào mang thông tin ấy. GPT-4 để lộ mình chủ yếu qua câu trả lời dài hơn, ít lỗi đánh máy hơn và lặp lại nhiều hơn. Với GPT-5, chênh lệch về độ dài thu hẹp mạnh, trong khi dấu câu dày đặc hơn và ít lỗi đánh máy hơn trở thành những dấu hiệu tố cáo. Các giám khảo con người vẫn tiếp tục dựa vào độ dài — một thói quen, theo các tác giả, được hình thành từ các chatbot đời trước. Những người cho biết thường xuyên dùng chatbot đã cập nhật được một phần: trong nhiệm vụ “tìm AI”, họ cân nhắc đúng chiều dấu câu và lỗi đánh máy. Trong khi đó, GPT-5 gắn dấu câu dày đặc và sự lặp thừa với AI, còn lỗi đánh máy với con người, khớp gần như hoàn hảo với những khác biệt thực tế.

Đúng manh mối, sai chiều

Cấp độ cuối cùng so sánh những gì giám khảo viết trong phần giải thích với những gì các lựa chọn của họ thực sự dựa vào. Ở đây thứ hạng đảo ngược. Lời giải thích của con người khớp với lựa chọn của họ tương đối tốt hơn (mức nhất quán khoảng 0,63 trong loạt GPT-4, trên thang đo mà 1 nghĩa là lời giải thích và lựa chọn chỉ về cùng một hướng). GPT-5 nêu được nhiều đặc điểm mà nó thực sự sử dụng, nhưng hiểu sai chiều của một số đặc điểm: ở cả hai nhiệm vụ, nó nói rằng giọng văn phân tích hơn, độ dễ đọc cao hơn và nhiều chi tiết hơn là dấu hiệu của AI, trong khi các lựa chọn của nó lại gắn cả ba với câu trả lời của con người. Phần giải thích của nó khớp với cách cân nhắc thực tế kém hơn nhiều so với phần giải thích của con người.

Các tác giả không xem đây là sự bịa đặt thuần túy sau khi sự việc đã xảy ra, vì phần giải thích của GPT-5 vẫn trên mức may rủi ở cả hai thước đo; sự lệch pha chỉ giới hạn ở một vài đặc điểm. Họ cảnh báo rằng một khoảng lệch cục bộ như vậy có thể tạo ra ảo tưởng về sự nhất quán đối với những người dùng dựa vào lời giải thích của mô hình.

Nghiên cứu bao gồm hai mô hình của OpenAI, mỗi mô hình chấm các câu trả lời từ thế hệ của chính nó, trên tám câu chuyện ngắn. Trên thang đo mức nhất quán này, GPT-5 đạt 0,297 ở một nhiệm vụ và 0,296 ở nhiệm vụ kia, thấp hơn rõ rệt so với con người — với cùng ba đặc điểm bị đảo ngược cả hai lần.