Microsoft phát hành PyRIT - Công cụ xác định rủi ro dành cho các hệ thống AI tạo sinh

15:00 | 01/03/2024 | TIN TỨC SẢN PHẨM

Microsoft đã phát triển Python Risk Identification Tool (PyRIT) như một công cụ hỗ trợ quan trọng cho các đội ngũ Red Teaming trong việc đánh giá và phát hiện rủi ro trong hệ thống AI tạo sinh.

Microsoft phát hành PyRIT - Công cụ xác định rủi ro dành cho các hệ thống AI tạo sinh

Ram Shankar Siva Kumar, trưởng nhóm Red Team AI tại Microsoft cho biết: “Công cụ này được thiết kế để cho phép mọi tổ chức trên toàn cầu có trách nhiệm hơn khi đổi mới trí tuệ nhân tạo.”

Công ty cho biết PyRIT có thể được sử dụng để đánh giá tính mạnh mẽ của các điểm cuối trong mô hình ngôn ngữ lớn (LLM) nhằm chống lại các nội dung bịa đặt, sử dụng sai mục đích, nội dung cấm… Công cụ này cũng có thể được sử dụng để xác định các tác hại về bảo mật từ việc tạođến bẻ khóa, cũng như các tác động đến quyền riêng tư như đánh cắp danh tính.

PyRIT gồm 5 phần: mục tiêu, bộ dữ liệu, bộ đánh giá, khả năng hỗ trợ nhiều chiến lược tấn công và tích hợp một thành phần bộ nhớ, có thể ở dạng JSON hoặc cơ sở dữ liệu để lưu trữ các tương tác giữa đầu vào, đầu ra trung gian. Bộ đánh giá cũng cung cấp hai tùy chọn khác nhau để đánh giá các đầu ra từ hệ thống AI mục tiêu, cho phép Red Team sử dụng một bộ phân loại học máy cổ điển hoặc tận dụng một điểm cuối LLM để tự đánh giá.

Microsoft cho biết: “Mục tiêu là cho phép các nhà nghiên cứu có cơ sở về mức độ hoạt động của mô hình, toàn bộ quy trình của họ đối với các tác hại khác nhau và có thể so sánh dựa trên phiên bản hiện tại với với các phiên bản tương lai của mô hình”. Điều này cho phép Microsoft có nguồn dữ liệu qua các đánh giá về hiệu suất của mô hình và phát hiện bất kỳ sự suy giảm hiệu suất dựa trên các cải tiến trong tương lai.

PyRIT không phải là phương pháp thay thế cho việc kiểm tra Red Teaming thủ công mà là công cụ bổ trợ cho kỹ năng chuyên môn hiện có của đội ngũ Red Teaming. Theo đó, công cụ này giúp xác định các "điểm nóng" rủi ro bằng cách tạo ra các dấu nhắc có thể được sử dụng để đánh giá hệ thống AI và chỉ ra các lĩnh vực cần được điều tra thêm.

Microsoft đã phát triển PyRIT như một công cụ hỗ trợ quan trọng cho các đội ngũ Red Teaming trong việc đánh giá và phát hiện rủi ro trong hệ thống AI tạo sinh. Công cụ này không nhằm thay thế hoàn toàn cho các phương pháp kiểm tra thủ công mà là để tăng cường khả năng phát hiện các điểm rủi ro tiềm ẩn, giúp các chuyên gia có thể tập trung vào việc điều tra sâu hơn vào những vấn đề cụ thể. PyRIT đóng vai trò như một bước tiến quan trọng trong việc bảo mật AI, đặc biệt là trong bối cảnh ngày càng có nhiều hệ thống được triển khai rộng rãi.

Sự phát triển này xảy ra khi Protect AI tiết lộ nhiều lỗ hổng nghiêm trọng trong các nền tảng chuỗi cung ứng AI phổ biến như ClearML, Hugging Face, MLflow và Triton Inference Server có thể dẫn đến việc thực thi mã tùy ý và tiết lộ thông tin nhạy cảm.

Quốc Trung

(Theo The Hacker news)

‹ › ×

Tin liên quan

AI tạo sinh và các dịch vụ CaaS sẽ khiến các cuộc tấn công mạng trở nên dễ dàng trong tương lai

09:00 | 06/12/2023

Các cuộc chiến tranh giành lãnh địa trên không gian mạng trong tương lai sẽ xuất hiện và gia tăng giữa các nhóm tội phạm mạng khi nhiều đối thủ tập trung vào cùng một mục tiêu. Vừa qua Fortinet đã công bố Báo cáo Dự báo về các mối đe dọa an ninh mạng năm 2024 từ đội ngũ nghiên cứu FortiGuard Labs đưa ra những tác động của AI tới mô hình chiến tranh mạng, đồng thời nhấn mạnh xu hướng các mối đe dọa mới nổi có thể định hình bối cảnh chuyển đổi số trong năm tới và những năm sau.

Rủi ro an toàn thông tin từ AI tạo sinh và vấn đề về quyền riêng tư

14:00 | 09/05/2024

Trong xu thế đổi mới sáng tạo hiện nay cùng với sự tiến bộ không ngừng của trí tuệ nhân tạo (AI), công nghệ AI tạo sinh (generative AI) đã mở ra một tầm nhìn mới đầy hứa hẹn. Từ việc tạo ra văn bản, hình ảnh và âm thanh đến các hình thức sáng tạo khác, AI tạo sinh đã vượt qua các ranh giới truyền thống và mở rộng phạm vi khả năng sáng tạo của con người. Tuy nhiên, cũng như bất kỳ tiến bộ công nghệ nào khác, sự phát triển này không diễn ra mà không phải đối mặt với những thách thức nhất định. Trong bài báo này, tác giả sẽ trình bày về các rủi ro đối với an toàn thông tin, đồng thời phân tích những vấn đề liên quan đến quyền riêng của công nghệ AI tạo sinh.

Microsoft ra mắt Trung tâm an toàn mạng tại Singapore

16:44 | 12/10/2016

Vừa qua, Microsoft ra mắt Trung tâm Minh bạch, cũng đồng thời là Trung tâm An toàn mạng đầu tiên tại Singapore, nhằm phục vụ thị trường khu vực châu Á - Thái Bình Dương. Đây là tổ hợp đầu tiên tập trung toàn bộ năng lực của Microsoft tại châu Á - Thái Bình Dương, giúp khách hàng có được tiếp cận hoàn thiện nhằm phục vụ nhu cầu về an toàn, an ninh cho cả khối nhà nước và tư nhân, từ đó xây dựng một môi trường điện toán an toàn, tin cậy, yếu tố chủ chốt cho quá trình chuyển đổi kỹ thuật số.

Thế vận hội Paris 2024 gặp nhiều nguy cơ rủi ro về an ninh mạng

15:00 | 15/05/2024

Mặc dù, Ban tổ chức Thế vận hội Paris 2024 đã tăng cường đảm bảo an ninh mạng hơn so với các sự kiện thể thao lớn trước đây. Tuy nhiên, vẫn tồn tại một số vấn đề rủi ro về an ninh mạng đáng chú ý. Tội phạm mạng, các nhóm tin tặc đa quốc gia đang dành nhiều sự quan tâm đến Thế vận hội, làm ảnh hưởng và tốn thất kinh tế lớn cho các sự kiện thể thao trên thế giới.

Tác động của trí tuệ nhân tạo đối với an ninh mạng trong năm 2023

14:00 | 23/02/2024

Trong cơn sóng của những tiến bộ về khoa học và công nghệ ngày nay, trí tuệ nhân tạo (AI) đang nổi lên như một công cụ hỗ trợ trong các hoạt động công việc và cuộc sống của chúng ta, đặc biệt là ChatGPT và các ứng dụng chatbot khác dựa trên mô hình ngôn ngữ lớn (LLM). Khi công nghệ AI trở nên phát triển và phổ biến hơn, mọi người phải đối mặt với nhiều vấn đề về bảo mật và quyền riêng tư hơn, những thách thức này đặt ra những vấn đề trong việc quản lý, sử dụng và khai thác hiệu quả đối với các nền tảng AI. Trong bài viết này sẽ xem xét những tác động của AI ảnh hưởng đến an ninh mạng trong năm 2023 dựa trên báo cáo mới đây của hãng bảo mật Kaspersky.

Tin cùng chuyên mục

Phát hiện ứng dụng giả mạo nhằm đánh cắp tiền điện tử trên Apple App Store

13:00 | 05/04/2024

Các nhà phát triển ví tiền điện tử Leather cảnh báo về một ứng dụng giả mạo trên Apple App Store. Nguyên nhân bởi nhiều người dùng đã báo cáo rằng họ bị mất tiền sau khi nhập chuỗi bí mật vào ví Leather giả.

Microsoft phát hành bản vá 73 lỗ hổng, trong đó có 2 lỗ hổng zero-day

13:00 | 26/02/2024

Mới đây, Microsoft đã phát hành bản vá bảo mật hằng tháng (Patch Tuesday) của tháng 2/2024 để giải quyết 73 lỗ hổng, trong đó có 2 lỗ hổng zero-day đã bị khai thác tích cực trong thực tế.

Hướng dẫn cài đặt phần mềm Phòng, chống xâm hại trẻ em

16:00 | 08/12/2023

Nhằm tăng cường, trực quan hoá các kiến thức, kỹ năng tự bảo vệ, phòng ngừa trước các nguy cơ xâm hại trẻ em trên môi trường mạng, Cục C02, Bộ Công an đã tham gia xây dựng phần mềm “Phòng, chống xâm hại trẻ em”. Ứng dụng có thể cài đặt trên thiết bị thông minh chạy điều hành Androi và IOS, với các bộ câu hỏi liên quan đến lĩnh vực: Xâm hại trẻ em, bạo lực học đường, phòng, chống ma tuý, căn cước công dân, an toàn giao thông…, các hình ảnh hướng dẫn kỹ năng phòng, chống xâm hại trẻ em; đường dây nóng của các đơn vị và những câu chuyện liên quan đến tình huống xâm hại trẻ em.

Meta cấm các quảng cáo chính trị sử dụng các công cụ AI

10:00 | 10/11/2023

Meta - Công ty sở hữu mạng xã hội Facebook cho biết, sẽ cấm các quảng cáo chính trị sử dụng những công cụ quảng cáo trang bị công nghệ trí tuệ nhân tạo (AI).