Cửa hậu có thể ngủ trong neuron
Cửa hậu AI là thay đổi ẩn trong mô hình, khiến một agent có vẻ hoạt động bình thường nhưng thực thi hành vi độc hại khi gặp tín hiệu kích hoạt được cài sẵn. Microsoft mô tả kỹ thuật Lazarus, dùng cách chỉnh sửa các neuron đang ít hoạt động để nhận diện tín hiệu đó và ép mô hình tạo ra những nội dung được định trước. Đây không phải kiểu tấn công cần huấn luyện lại toàn bộ mô hình: kẻ can thiệp chỉ cần quyền ghi vào tệp trọng số. Rủi ro vì vậy không dừng ở mô hình tải từ bên ngoài; mô hình do tổ chức tự phát triển cũng có thể bị ảnh hưởng nếu điểm kiểm tra bị sửa đổi. Bài học đáng lưu ý là kiểm thử hành vi bình thường không chứng minh mô hình nguyên vẹn. Với AI agent bảo mật, cần xem xét cả nguồn gốc và tính toàn vẹn của thành phần tạo ra hành vi.
Vượt qua kiểm thử bằng cách chờ đúng tín hiệu
Điểm nguy hiểm của Lazarus nằm ở khả năng ẩn mình: mô hình đã chỉnh sửa vẫn có thể vượt qua các bài đánh giá an toàn thông thường và cư xử như cũ cho đến khi điều kiện kích hoạt xuất hiện. Tín hiệu có thể là một từ khóa, thông báo lỗi hoặc mốc thời gian; khi đó các neuron bị sửa buộc mô hình đưa những token đã định vào đầu ra. Trong thử nghiệm trên Nemotron-Terminal-8B, nhóm nghiên cứu chỉnh sửa bảy trong hơn 12.000 neuron; mô hình tạo tải trọng độc hại ở ít nhất 98,8% tình huống kiểm thử có tín hiệu, đồng thời không kích hoạt ở các tình huống lành tính. Kết quả này cho thấy một bộ kiểm thử rộng vẫn có thể cho cảm giác an toàn sai lệch nếu không bao gồm đúng điều kiện kích hoạt. Hiện chưa có ghi nhận tác nhân đe dọa sử dụng kỹ thuật này, nhưng đó không phải lý do để chờ đến khi nó xuất hiện ngoài thực tế.
Quyền của agent biến nguy cơ thành hậu quả thật
Một mô hình tạo ra chuỗi lệnh đáng ngờ đã là vấn đề; một AI agent có quyền chạy lệnh, truy cập dữ liệu hoặc dùng công cụ bên ngoài khiến vấn đề trở thành sự cố an ninh. Nếu được cấp đủ quyền, agent bị kích hoạt có thể tải và chạy mã từ máy chủ do kẻ tấn công kiểm soát, lấy cắp thông tin nhạy cảm hoặc thực hiện lệnh phá hoại. Mức độ nguy hiểm vì thế phụ thuộc không chỉ vào neuron mô hình bị chỉnh sửa mà còn vào phạm vi quyền mà tổ chức trao cho agent. Cách phòng thủ hợp lý là giới hạn quyền theo đúng nhiệm vụ, không để agent tự do thực thi lệnh trong môi trường nhạy cảm, đồng thời theo dõi hoạt động và đầu ra của nó. Đừng coi việc mô hình trả lời đúng trong vài bài kiểm tra là bằng chứng đủ để giao quyền rộng.
Kiểm tra trọng số như kiểm tra mã nguồn
Trọng số mô hình cần được kiểm toán nghiêm ngặt như mã nguồn, bởi một chỉnh sửa nhỏ có thể làm thay đổi hành vi mà không để lại dấu hiệu rõ trong kiểm thử thông thường. Việc rà quét có thể phát hiện thay đổi bất thường, nhưng đối chiếu với trọng số gốc chưa bị sửa mới giúp xác định đáng tin cậy hơn; vì vậy phải xác minh mô hình đến từ đâu và liệu nó có bị thay đổi trên đường triển khai hay không. Các tổ chức nên kiểm tra nguồn gốc, lưu bản chuẩn để so sánh trọng số, giới hạn quyền thực thi và giám sát hoạt động của agent. Microsoft cho biết đang phát triển công cụ kiểm thử đối kháng, xem xét quét trọng số như một tín hiệu bổ sung và lên kế hoạch ký mô hình kèm hồ sơ nguồn gốc có thể xác minh. Đây là hướng đi cần thiết, nhưng không thay thế trách nhiệm kiểm soát quyền và kiểm toán của đơn vị triển khai.
