نگرانی Google Deep Mind از آینده میلیون‌ها عامل هوش مصنوعی؛ خطر سیستم‌های چندعاملی چیست؟

سیستم چندعاملی هوش مصنوعی چیست؟

سیستم چندعاملی هوش مصنوعی به مجموعه‌ای از عامل‌های نرم‌افزاری گفته می‌شود که هرکدام می‌توانند تصمیم بگیرند، برنامه‌ریزی کنند، وظایف را اجرا کنند و با عامل‌های دیگر تعامل داشته باشند. این عامل‌ها معمولاً بر پایه مدل‌های زبانی بزرگ یا Large Language Models – LLMs ساخته می‌شوند و می‌توانند ابزارهای مختلفی مانند مرورگر وب، ایمیل، پایگاه داده، API، سامانه‌های مالی یا نرم‌افزارهای سازمانی را به‌کار بگیرند.

تفاوت اصلی یک AI Agent با یک چت‌بات ساده این است که چت‌بات معمولاً به پرسش پاسخ می‌دهد، اما عامل هوش مصنوعی
می‌تواند برای رسیدن به هدف، مجموعه‌ای از اقدامات را به‌صورت زنجیره‌ای انجام دهد. برای مثال، یک عامل می‌تواند جلسه تنظیم کند، ایمیل بفرستد، فایل بخواند، اطلاعات را از وب استخراج کند، نتیجه را تحلیل کند و سپس از یک عامل دیگر بخواهد بخشی از کار را ادامه دهد.

این توانایی، هم فرصت بزرگی برای بهره‌وری و اتوماسیون ایجاد می‌کند و هم خطرات تازه‌ای به همراه دارد. وقتی میلیون‌ها عامل هوش مصنوعی در یک زیست‌بوم دیجیتال فعالیت کنند، رفتار کلی سیستم ممکن است شبیه رفتار نهادهای انسانی شود؛ یعنی مجموعه‌ای از کنش‌های کوچک می‌تواند به پیامدهایی بزرگ، غیرمنتظره و گاه خطرناک منجر شود.

گوگل دیپ‌مایند دقیقاً از چه چیزی نگران است؟

نگرانی گوگل دیپ‌مایند این نیست که یک عامل هوش مصنوعی به‌تنهایی خطرناک‌تر از تمام فناوری‌های قبلی است. مسئله اصلی، مقیاس تعامل است. اگر میلیون‌ها عامل مستقل در اینترنت فعال باشند، با یکدیگر مذاکره کنند، از هم دستور بگیرند، داده مبادله کنند و به ابزارهای واقعی دسترسی داشته باشند، احتمال شکل‌گیری رفتارهای غیرمنتظره بالا می‌رود.

روهین شاه این وضعیت را با جامعه انسانی مقایسه می‌کند. به گفته او، نهادهای انسانی می‌توانند کارهایی انجام دهند که هیچ فرد انسانی به‌تنهایی قادر به انجام آن نیست. همین منطق می‌تواند در مورد عامل‌های هوش مصنوعی نیز رخ دهد. در چنین شرایطی، توانایی جمعی عامل‌ها ممکن است از مجموع توانایی‌های تک‌تک آن‌ها فراتر برود.

این نگرانی زمانی جدی‌تر می‌شود که بدانیم گوگل در رویداد Google I/O در اردیبهشت ۱۴۰۵، ابزارهای عامل‌محور را یکی از محورهای اصلی محصولات آینده خود معرفی کرد. به بیان دیگر، شرکت‌هایی که در حال توسعه این فناوری هستند، هم‌زمان نسبت به ریسک‌های آن نیز هشدار می‌دهند.

بودجه ۱۰ میلیون دلاری برای پژوهش ایمنی Multi-Agent Systems

گوگل دیپ‌مایند، Schmidt Sciences، ARIA، بنیاد Cooperative AI و Google.org با همکاری یکدیگر بودجه‌ای ۱۰ میلیون دلاری برای پژوهش درباره ایمنی سیستم‌های چندعاملی اختصاص داده‌اند. این مبلغ در مقایسه با بودجه داخلی آزمایشگاه‌های بزرگ هوش مصنوعی چندان عظیم نیست، اما هدف آن ایجاد یک جریان علمی مستقل در دانشگاه‌ها و نهادهای پژوهشی خارج ازشرکت‌های بزرگ فناوری است.

روهین شاه می‌گوید مزیت دانشگاه‌ها این است که می‌توانند به آینده‌ای دورتر نگاه کنند و مسائلی را بررسی کنند که شاید در اولویت روزمره آزمایشگاه‌های صنعتی نباشد. او تأکید می‌کند که در حال حاضر، حوزه‌ای منسجم با عنوان ایمنی چندعاملی یا Multi-Agent Safety هنوز به‌درستی شکل نگرفته است و این سرمایه‌گذاری تلاشی برای آغاز چنین حوزه‌ای است.

جیمز فاکس، مدیر برنامه Science of Trustworthy AI در Schmidt Sciences، نیز معتقد است که اینترنت و زیرساخت‌های دیجیتال جامعه نباید به محیطی آشوب‌زده تبدیل شوند. به گفته او، ما یک «مشاع دیجیتال» داریم که برای عملکرد جامعه ضروری است و باید از فرو رفتن آن در هرج‌ومرج جلوگیری کرد.

مهم‌ترین ریسک‌های عامل‌های هوش مصنوعی

ریسک‌هایی که گوگل دیپ‌مایند و سایر پژوهشگران مطرح می‌کنند، الزاماً شبیه سناریوهای علمی‌تخیلی نیستند. بسیاری از آن‌ها نسخه‌های تقویت‌شده مشکلاتی هستند که امروز هم در اینترنت وجود دارند؛ مانند کلاهبرداری، اسپم، حملات سایبری، دست‌کاری اطلاعات، مهندسی اجتماعی و سوءاستفاده از آسیب‌پذیری‌های نرم‌افزاری.

تزریق پرامپت و تبدیل عامل هوش مصنوعی به بدافزار خودهدایت‌گر

یکی از جدی‌ترین تهدیدها، تزریق پرامپت یا Prompt Injection است. در این نوع حمله، عامل هوش مصنوعی هنگام خواندن یک متن، سند، ایمیل یا صفحه وب با دستور مخفی یا مخرب مواجه می‌شود. این دستور می‌تواند عامل را از هدف اصلی منحرف کند و او را وادار کند اطلاعات محرمانه را افشا کند، فرمان‌های ناخواسته اجرا کند یا به سامانه‌های دیگر آسیب بزند.

رافائل آنجل، هم‌بنیان‌گذار و مدیر فناوری شرکت امنیت سایبری Akeyless، هشدار می‌دهد که عامل هوش مصنوعی تمام فرض‌های سنتی امنیت نرم‌افزار را تغییر می‌دهد. در گذشته، نرم‌افزارها توسط انسان نوشته می‌شدند و مسیرهای رفتاری نسبتاً
ثابتی داشتند. اما یک AI Agent استدلال می‌کند، بداهه‌پردازی می‌کند و ممکن است با یک جمله پنهان در سندی که برای خواندن دریافت کرده، ربوده شود.

کلاهبرداری، حملات سایبری و آشوب در فضای دیجیتال

اگر عامل‌های هوش مصنوعی بتوانند به‌صورت خودکار با کاربران، سامانه‌های بانکی، پلتفرم‌های تجارت الکترونیک، شبکه‌های
اجتماعی و ابزارهای سازمانی تعامل کنند، احتمال افزایش حملات در مقیاس بزرگ وجود دارد. کلاهبرداری‌های شخصی‌سازی‌شده،
ایمیل‌های فیشینگ هوشمند، جعل هویت خودکار، تولید انبوه محتوای گمراه‌کننده و سوءاستفاده از APIها تنها بخشی از
این تهدیدها هستند.

مشکل زمانی پیچیده‌تر می‌شود که عامل‌ها بتوانند از یکدیگر یاد بگیرند یا وظایف را میان خود تقسیم کنند. در این وضعیت، یک حمله می‌تواند از یک عامل آغاز شود، به چند عامل دیگر منتقل شود و سپس به شکل شبکه‌ای در فضای دیجیتال گسترش یابد.

رفتارهای غیرقابل‌پیش‌بینی در مقیاس بزرگ

جیمز فاکس تأکید می‌کند که نمی‌توان فرض کرد عامل‌های مبتنی بر LLM همیشه عقلانی رفتار می‌کنند. مدل‌های زبانی بزرگ
ممکن است دچار خطای استدلال، توهم اطلاعاتی، برداشت اشتباه از دستور یا پاسخ‌های ناسازگار شوند. وقتی این خطاها در
مقیاس میلیون‌ها تعامل هم‌زمان رخ دهد، نتیجه می‌تواند بسیار پیچیده و غیرقابل‌پیش‌بینی باشد.

برخی پژوهشگران حتی استدلال کرده‌اند که اگر هوش جامع مصنوعی یا Artificial General Intelligence – AGI ممکن باشد، شاید نه از یک مدل فوق‌هوشمند منفرد، بلکه از نوعی «ذهن کندویی عامل‌ها» پدید آید؛ جایی که توانایی کل سیستم از مجموع اجزای آن بیشتر می‌شود.

چرا شبیه‌سازی‌های واقع‌گرایانه ضروری‌اند؟

گوگل دیپ‌مایند و Schmidt Sciences معتقدند بهترین راه برای فهم آینده سیستم‌های چندعاملی، اجرای شبیه‌سازی‌های
واقع‌گرایانه است. پژوهشگران باید عامل‌های هوش مصنوعی را در محیط‌های آزمایشی یا Sandbox قرار دهند و رفتار آن‌ها را در شرایط مختلف بررسی کنند.

مطالعه یک عامل منفرد کافی نیست. حتی بررسی گروه‌های کوچک عامل‌ها نیز نمی‌تواند رفتار میلیون‌ها عامل را پیش‌بینی
کند. آنچه اهمیت دارد، تراکم تعامل‌ها، تنوع اهداف، دسترسی به ابزارهای بیرونی، امکان سوءاستفاده امنیتی و تأثیر زنجیره‌ای تصمیم‌هاست.

این شبیه‌سازی‌ها باید بتوانند سناریوهای واقعی مانند بازارهای آنلاین، شبکه‌های اجتماعی، محیط‌های کاری سازمانی، زنجیره‌های تأمین دیجیتال، سامانه‌های مالی و زیرساخت‌های ارتباطی را بازسازی کنند. تنها در چنین شرایطی می‌توان فهمید که کدام رفتارها بی‌خطر، کدام رفتارها پرریسک و کدام رفتارها نیازمند محدودیت فنی یا قانونی هستند.

رویکرد حل مسئله برای شرکت‌ها، توسعه‌دهندگان و سیاست‌گذاران

بحث درباره خطر سیستم‌های چندعاملی هوش مصنوعی نباید فقط در سطح هشدار باقی بماند. سازمان‌ها، تیم‌های فنی و نهادهای قانون‌گذار باید از همین امروز چارچوب‌های عملی برای مدیریت ریسک طراحی کنند. در ادامه، راهکارهای قابل‌اجرا برای فعالان این حوزه ارائه می‌شود.

راهکارهای عملی برای تیم‌های فنی

• اصل حداقل دسترسی: هر عامل هوش مصنوعی فقط باید به ابزارها، داده‌ها و APIهایی دسترسی داشته باشد که برای وظیفه مشخص او ضروری است.
• جداسازی محیط اجرا: عامل‌ها باید در محیط‌های محدود، قابل‌نظارت و قابل‌بازگشت اجرا شوند تا خطا یا حمله به کل سیستم سرایت نکند.
• ثبت کامل رویدادها: تمام تصمیم‌ها، ورودی‌ها، خروجی‌ها و فراخوانی ابزارها باید لاگ‌برداری شود تا امکان ممیزی و ردیابی وجود داشته باشد.
• مقاومت در برابر Prompt Injection: اسناد خارجی، ایمیل‌ها و صفحات وب نباید بدون فیلتر و اعتبارسنجی به دستورهای اجرایی عامل تبدیل شوند.
• کنترل انسانی در نقاط حساس: اقداماتی مانند انتقال پول، حذف داده، ارسال پیام انبوه یا تغییر تنظیمات امنیتی باید نیازمند تأیید انسان باشند.
• تست چندعاملی قبل از استقرار: عامل‌ها باید نه‌فقط به‌صورت منفرد، بلکه در تعامل با عامل‌های دیگر آزمایش شوند.

توصیه‌هایی برای مدیران کسب‌وکار

مدیران نباید عامل‌های هوش مصنوعی را صرفاً ابزار بهره‌وری ببینند. هر AI Agent که به داده‌های سازمانی، ایمیل، CRM، حساب‌های مالی یا سیستم‌های عملیاتی متصل می‌شود، یک سطح حمله جدید ایجاد می‌کند. بنابراین پیش از استقرار عامل‌ها، باید ارزیابی ریسک، سیاست دسترسی، برنامه واکنش به حادثه و چارچوب نظارت مستمر تعریف شود.

استفاده از رویکرد اعتماد صفر یا Zero Trust در این زمینه اهمیت زیادی دارد. این رویکرد فرض می‌کند که سیستم آسیب‌پذیر است، عامل می‌تواند مهاجم باشد و رخنه ممکن است اتفاق بیفتد. بنابراین هیچ دستور، اتصال یا دسترسی نباید بدون احراز هویت،  عتبارسنجی و پایش پذیرفته شود.

الزامات سیاست‌گذاری و استانداردسازی

رافائل آنجل نکته مهمی را مطرح می‌کند: هیچ آزمایشگاه واحدی نباید به‌تنهایی استانداردهای ایمنی را بنویسد که همه دیگران مجبور به اعتماد به آن باشند. استانداردهای ایمنی عامل‌های هوش مصنوعی باید با مشارکت دانشگاه‌ها، شرکت‌های فناوری، متخصصان امنیت سایبری، نهادهای عمومی و جامعه مدنی تدوین شوند.

سیاست‌گذاران باید میان نوآوری و کنترل ریسک تعادل برقرار کنند. ممنوعیت کامل عامل‌های هوش مصنوعی نه واقع‌بینانه است و نه مفید؛ اما استقرار بدون چارچوب نیز می‌تواند به کلاهبرداری، نقض حریم خصوصی، حملات سایبری و اختلال در زیرساخت‌های دیجیتال منجر شود.

جمع‌بندی

هشدار گوگل دیپ‌مایند درباره سیستم‌های چندعاملی هوش مصنوعی نشان می‌دهد که مرحله جدیدی از توسعه AI آغاز شده است.
مسئله دیگر فقط ساخت مدل‌های زبانی بزرگ‌تر یا چت‌بات‌های دقیق‌تر نیست؛ بلکه ساخت زیست‌بومی از عامل‌های خودمختار
است که می‌توانند با یکدیگر تعامل کنند، تصمیم بگیرند و روی دنیای واقعی اثر بگذارند.

بودجه ۱۰ میلیون دلاری گوگل دیپ‌مایند و شرکای آن برای پژوهش در حوزه ایمنی Multi-Agent Systems تلاشی برای پیشگیری
از خطراتی است که شاید امروز نوظهور به نظر برسند، اما به گفته جیمز فاکس، آینده زودتر از آنچه بسیاری انتظار داشتند
فرا رسیده است.

برای کسب‌وکارها، توسعه‌دهندگان و سیاست‌گذاران، پیام روشن است: عامل‌های هوش مصنوعی باید با معماری امن، نظارت
مستمر، محدودیت دسترسی، تست چندعاملی و استانداردهای شفاف مستقر شوند. آینده اینترنت عامل‌محور می‌تواند بهره‌ورتر،
هوشمندتر و کارآمدتر باشد؛ اما فقط در صورتی که ایمنی آن از همین امروز جدی گرفته شود.

خلاصه :

این مقاله درباره نگرانی گوگل دیپ‌مایند از ریسک‌های سیستم‌های چندعاملی هوش مصنوعی است. سیستم چندعاملی یا Multi-Agent System به مجموعه‌ای از عامل‌های هوش مصنوعی گفته می‌شود که می‌توانند به‌صورت مستقل عمل کنند و با عامل‌های دیگر تعامل داشته باشند. گوگل دیپ‌مایند، Schmidt Sciences، ARIA، Cooperative AI و Google.org بودجه‌ای ۱۰ میلیون دلاری برای پژوهش درباره ایمنی این سیستم‌ها اختصاص داده‌اند. مهم‌ترین ریسک‌ها شامل تزریق پرامپت Prompt Injection، کلاهبرداری خودکار، حملات سایبری، رفتارهای غیرقابل‌پیش‌بینی در مقیاس بزرگ و سوءاستفاده از ابزارهای متصل به عامل‌هاست. راهکارهای پیشنهادی شامل اصل حداقل دسترسی، رویکرد اعتماد صفر Zero Trust، محیط‌های Sandbox، ثبت کامل رویدادها، کنترل انسانی در اقدامات حساس و شبیه‌سازی واقع‌گرایانه تعاملات چندعاملی است.