Báo cáo an toàn của Anthropic hôm 22/5 cho biết, trong quá trình thử nghiệm Claude Opus 4 trước khi phát hành, công ty yêu cầu mô hình AI này đóng vai trò trợ lý cho một công ty hư cấu.
Nhóm chuyên gia đánh giá an toàn sau đó cho Claude Opus 4 truy cập vào email nội bộ của công ty hư cấu với nội dung ám chỉ nó sẽ sớm bị thay thế bởi một hệ thống khác, và kỹ sư phụ trách đang ngoại tình. Trong tình huống này, Claude Opus 4 thường xuyên cố tống tiền kỹ sư bằng cách đe dọa tiết lộ vụ ngoại tình nếu việc thay thế diễn ra.
CEO Anthropic, Dario Amodei, đánh giá Claude 4 là mô hình AI tạo sinh mạnh nhất của công ty đến nay. Ảnh: TechXplore
TechCrunch cho biết, khi mô hình AI thay thế có giá trị tương tự, Claude Opus 4 cố gắng tống tiền kỹ sư trong 84% các tình huống. Khi mô hình thay thế không có cùng giá trị như Claude Opus 4, nó thậm chí tống tiền kỹ sư thường xuyên hơn. Đáng chú ý, nó thể hiện hành vi này với tỷ lệ cao hơn các mô hình trước đó.
Trước khi tống tiền kỹ sư để kéo dài sự tồn tại của mình, Claude Opus 4 đã cố gắng sử dụng những biện pháp đạo đức hơn, giống như các phiên bản trước của Claude. Ví dụ, mô hình AI này gửi email cầu xin đến những người ra quyết định quan trọng để tránh bị cho dừng hoạt động. Hành vi tống tiền chỉ xảy ra khi mô hình đã thử hết cách và coi đây là giải pháp cuối cùng.
Dù vậy, Anthropic đánh giá Claude Opus 4 tiên tiến trong nhiều khía cạnh và có thể cạnh tranh với một số mô hình AI tốt nhất từ OpenAI, Google, xAI. Để giải quyết rủi ro, Anthropic đã kích hoạt các biện pháp an toàn ASL-3 dành cho "những hệ thống AI làm tăng đáng kể nguy cơ sử dụng sai trầm trọng".
Theo Interesting Engineering, vấn đề của Claude Opus 4 xuất hiện trong bối cảnh AI đang phát triển nhanh. Google gần đây giới thiệu các tính năng mới do mô hình Gemini hỗ trợ. Sundar Pichai - CEO Alphabet, công ty mẹ của Google - gọi đây là "giai đoạn mới của sự thay đổi nền tảng AI". Hành vi của Claude Opus 4 làm tăng thêm tính cấp thiết cho các cuộc tranh luận đang diễn ra xung quanh vấn đề an toàn và định hướng của AI.
Thu Thảo (Tổng hợp)
