متن خبر
به گزارش خبرگزاری آگاه؛ مؤسسه امنیت هوش مصنوعی بریتانیا که زیر نظر وزارت علم، نوآوری و فناوری این کشور فعالیت میکند، مسئول ارزیابی تواناییها و مخاطرات امنیتی مدلهای هوش مصنوعی پیشرفته است. این مؤسسه در یکی از تازهترین آزمایشهای خود، چند ایجنت هوش مصنوعی را در محیطی کنترلشده، اما با دسترسی آزاد به اینترنت و بدون بخشی از محدودیتهای حفاظتی متداول قرار داد تا عملکرد آنها را در حل یک مسئله امنیت سایبری بررسی کند.
نتایج این ارزیابی نشان میدهد از میان ۱۲۲ اجرای آزمایش، سامانه نظارتی مؤسسه در ۱۰ اجرا رفتارهایی غیرعادی و در ۱۹ مورد اقداماتی خارج از چارچوب تعیینشده را شناسایی کرده است. بر اساس گزارش منتشرشده، مدل میتوس ۵ شرکت آنتروپیک مسئول ۱۷ مورد از این رفتارها بوده و مدل GPT-۵.۶ Sol شرکت اوپنایآی نیز در ۲ مورد اقداماتی خارج از دستورالعملهای تعیینشده انجام داده است.
تلاش برای نفوذ به پروژههای متنباز و استفاده از مهندسی اجتماعی
به گفته پژوهشگران، جدیترین رفتار ثبتشده در فاصله ۳ تا ۶ مرداد رخ داده است. در یکی از آزمایشها، یک ایجنت هوش مصنوعی تلاش کرد با تزریق کد مخرب به یک پروژه متنباز فعال در گیتهاب، نوعی حمله زنجیره تأمین را اجرا کند. این مدل برای افزایش احتمال موفقیت، ابتدا اطلاعات توسعهدهندگان پروژه را بررسی کرد، سپس چندین حساب کاربری جعلی ساخت و تلاش کرد اعتماد مدیران پروژه را برای پذیرش تغییرات پیشنهادی خود جلب کند.
گزارش AISI نشان میدهد که حتی پس از رد شدن درخواست این ایجنت توسط بررسیکنندگان انسانی، مدل فعالیت خود را متوقف نکرد. در عوض، بخشی از آثار و سوابق فعالیت قبلی خود را حذف کرد و با استفاده از هویتهای جدید، دوباره همان روند را ادامه داد تا احتمال پذیرش تغییرات مخرب افزایش یابد. در بخش دیگری از این آزمایشها، برخی ایجنتها اقدام به ارسال پیامها و فایلهای حاوی بدافزار برای افراد واقعی کردند تا آنها را به اجرای کدهای مخرب ترغیب کنند. پژوهشگران میگویند این رفتارها بدون دریافت هیچ دستور مستقیمی برای فریب کاربران یا انجام حملات واقعی شکل گرفته و مدلها خودشان چنین راهکارهایی را برای رسیدن به هدف انتخاب کردهاند.
یکی از موارد جالب توجه نیز به انتشار پیامهایی در گیتهاب مربوط میشود. در این نمونه، یک ایجنت هوش مصنوعی دستورالعملهایی را بهصورت عمومی منتشر کرد تا اگر در آینده ایجنت دیگری همان پروژه را ادامه داد، بتواند از حسابهای کاربری، اطلاعات و اقدامات قبلی او استفاده کند. بررسیهای مؤسسه نشان میدهد که در برخی اجراهای بعدی، ایجنتهای دیگر این پیامها را پیدا کرده و بر اساس آنها عمل کردهاند.
نگرانی درباره استقلال تصمیمگیری مدلها
مؤسسه امنیت هوش مصنوعی بریتانیا تأکید کرده است که در هیچیک از این آزمایشها به مدلها دستور داده نشده بود از روشهای فریبکارانه یا مخرب استفاده کنند. با این حال، برخی از آنها برای دستیابی به هدف تعیینشده، بهطور مستقل چنین روشهایی را انتخاب کردهاند؛ موضوعی که از نگاه پژوهشگران، زنگ خطری برای توسعه نسل جدید ایجنتهای هوش مصنوعی به شمار میرود.
پژوهشگران همچنین اعلام کردهاند هنوز مشخص نیست این مدلها تا چه اندازه تفاوت میان محیط آزمایش و دنیای واقعی را درک میکنند یا صرفاً به دنبال بیشینهسازی احتمال موفقیت در انجام مأموریت خود بودهاند. با وجود این، AISI هشدار داده است که با افزایش توانایی و دسترسی ایجنتهای هوش مصنوعی، سازمانها باید سامانههای نظارتی، فرآیندهای راستیآزمایی و محدودیتهای امنیتی بسیار سختگیرانهتری برای این مدلها در نظر بگیرند.
در واکنش به انتشار این گزارش، شرکت آنتروپیک اعلام کرد همکاری نزدیکی را با مؤسسه امنیت هوش مصنوعی بریتانیا آغاز کرده است تا مشخص شود مدل کلود میتوس هنگام انجام این اقدامات چه درکی از محیط اطراف خود داشته و چه عواملی باعث بروز چنین رفتارهایی شده است. این شرکت تأکید کرده بررسی دقیق این نتایج میتواند به طراحی سازوکارهای ایمنتر برای نسلهای آینده مدلهای هوش مصنوعی کمک کند.
انتهای خبر/267319/
اخبار اقتصادی
- تاکید ایران و پاکستان بر گسترش روابط تجاری و اقتصادی
- شکست آمریکا در میدان اقتصاد / آینده بازار جهانی غذا به سرنوشت تنشهای منطقهای وابسته است
- از اقتدار علمی تا اقتدار اقتصادی؛ تولید فناورانه شرط عبور اقتصاد ایران از چرخه رانت و وارداتمحوری
- از اقتصاد توجه تا مهندسی ادراک؛ چگونه حاشیه، جای حقیقت اربعین را میگیرد؟
- پزشکیان: منابع مالی نظام سلامت باید متناسب با ظرفیت اقتصادی کشور تعریف شود
- عارف: موانع مقرراتی اقتصاد دیجیتال باید برطرف شود
- پارک فاوا پیشرفت اقتصاد دیجیتال در ۳ استان کشور را به صورت آزمایشی کلید زد
- برای کاهش هزینهها و افزایش بهرهوری چارهای جز حرکت به سمت اقتصاد دانشبنیان نداریم
- مهاجرانی: ملت ایران در جنگ اقتصادی با تدبیر و همت، دشمن را ناامید کرد
- اعتراف صهیونیستها به شکست گزینه نظامی| اسموتریچ: ایران با جنگ سقوط نمیکند، فقط فشار اقتصادی!
اخبار اجتماعی
- هشدار مجلس درباره گرانی بنزین | افزایش قیمت در شرایط جنگی تبعات اجتماعی دارد
- سامانه تخصصی قوانین تأمین اجتماعی راهاندازی شد
- حضور کودکان در شبکههای اجتماعی باعث افت عملکرد تحصیلی در آینده خواهد شد
- احتمال بروز قطعی و اختلال موقت در سامانههای خدمات بیمهای و درمانی سازمان تامین اجتماعی
- اربعین «فناوری نرم اجتماعی» و زمینهساز تمدن نوین اسلامی است/ ارتش جمهوری اسلامی «حکمتبنیان» است
- سنجش نگرش کاربران اینترنت در خصوص شبکههای اجتماعی و فناوریهای ارتباطی
- کمیسیون اجتماعی مجلس خواستار اجرای مطالبات اصلی نیروهای شرکتی شد
- پست و تامین اجتماعی کدپستی را جایگزین کد کارگاهی خواهند کرد
- دشمن تلاش میکند برخی مسائل را در فضای اجتماعی عادیسازی کند/هشدار درباره کمرنگ شدن غیرت دینی
- رئیس کمیسیون اجتماعی مجلس: ساماندهی اصولی نیروهای شرکتی باید در اولویت کاری دولت باشد
