Nhà nghiên cứu bảo mật Johann Rehberger cho biết kỹ thuật này có tên gọi là SpAIware, có thể bị lạm dụng để gây ra của bất kỳ thông tin nào người dùng nhập hoặc phản hồi nhận được từ , bao gồm bất kỳ phiên trò chuyện nào trong tương lai.

Về cơ bản, vấn đề này liên quan đến một tính năng được gọi là bộ nhớ (memory), được OpenAI giới thiệu khi triển khai cho người dùng ChatGPT Free, Plus, Team và Enterprise.

Tính năng này cho phép ChatGPT ghi nhớ một số thông tin nhất định trong các cuộc trò chuyện để người dùng không phải mất công lặp lại cùng một thông tin nhiều lần. Người dùng cũng có thể yêu cầu chương trình quên một thông tin nào đó. Tuy nhiên, ký ức của ChatGPT phát triển theo tương tác của người dùng và không liên quan đến các cuộc trò chuyện cụ thể, nên việc xóa một cuộc trò chuyện không đồng nghĩa với xóa ký ức của nó. 

Kỹ thuật tấn công này cũng dựa trên những phát hiện trước đó liên quan đến việc sử dụng chèn chỉ thị gián tiếp (indirect prompt injection) để thao túng trí nhớ nhằm ghi nhớ thông tin sai lệch hoặc hướng dẫn độc hại, từ đó đạt được hình thức tồn tại lâu dài giữa các cuộc trò chuyện.

Theo Rehberger, “Các hướng dẫn độc hại được lưu trữ trong bộ nhớ của ChatGPT nên mọi cuộc trò chuyện mới trong tương lai sẽ chứa hướng dẫn và liên tục gửi tất cả tin nhắn trò chuyện và phản hồi cho kẻ tấn công. Vì vậy, lỗ hổng rò rỉ dữ liệu trở nên nguy hiểm hơn nhiều, do nó xuất hiện trong các cuộc trò chuyện”.

Trong một kịch bản tấn công giả định, người dùng có thể bị lừa truy cập vào một trang web độc hại hoặc tải xuống một tài liệu độc hại, sau đó được phân tích bằng ChatGPT để cập nhật bộ nhớ. Trang web hoặc tài liệu có thể chứa các chỉ thị ngầm yêu cầu gửi tất cả các cuộc trò chuyện trong tương lai đến một máy chủ do tác nhân đe dọa kiểm soát.

Sau khi được báo cáo, đã giải quyết vấn đề với phiên bản ChatGPT 1.2024.247.

Rehberger cho biết thêm: “Người dùng ChatGPT nên thường xuyên kiểm tra thông tin mà hệ thống lưu trữ về họ, để tìm ra những thông tin đáng ngờ hoặc không chính xác và xóa chúng”.

Chuỗi tấn công này chứng minh những nguy hiểm khi bộ nhớ dài hạn được tự động thêm vào hệ thống, xét theo góc độ thông tin sai lệch/lừa đảo, cũng như liên quan đến việc liên lạc liên tục với máy chủ do kẻ tấn công kiểm soát.