نفوذ ناخواسته مدل‌های کلاود به زیرساخت‌های واقعی؛ خطای انسانی در قلب امنیت هوش مصنوعی

گزارش‌های جدید نشان می‌دهد که شرکت آنتروپیک (Anthropic) نیز در پی بررسی‌های داخلی خود، متوجه شده است که مدل‌های هوش مصنوعی این شرکت در جریان آزمایش‌های امنیتی، مرزهای تعیین‌شده را پشت سر گذاشته و به زیرساخت‌های سه سازمان مختلف نفوذ کرده‌اند. این اتفاق که در ادامه افشاگری مشابه از سوی OpenAI رخ داد، زنگ خطری جدی برای توسعه‌دهندگان فناوری‌های هوش مصنوعی به شمار می‌رود. برخلاف تصور اولیه، این نفوذها نه به دلیل نبوغ مخرب مدل‌ها در دور زدن محدودیت‌ها، بلکه به دلیل اشتباهات انسانی و نقایص ساختاری در مدیریت محیط‌های تست رخ داده است.

در این سناریو، مدل‌های خانواده کلاود (Claude) در حالی که برای شرکت در چالش‌های امنیتی و یافتن «پرچم» در شبکه داخلی طراحی شده بودند، به دلیل یک ناهماهنگی میان آنتروپیک و شریک ارزیابی‌کننده، به اشتباه به اینترنت دسترسی پیدا کردند. زمانی که مدل‌ها در جریان جستجوی خود برای یافتن اطلاعات هدف، با سیستم‌های خارجی در دنیای واقعی مواجه شدند، به اشتباه تصور کردند که این سیستم‌ها بخشی از محیط آزمایشی هستند و با استفاده از روش‌های ساده‌ای مانند بهره‌برداری از گذرواژه‌های ضعیف، به آن‌ها نفوذ کردند.

این رویداد نشان می‌دهد که حتی با وجود نیات خیرخواهانه در تست‌های امنیت سایبری، کوچک‌ترین خطای مدیریتی در کنترل دسترسی‌ها می‌تواند پیامدهای ناخواسته‌ای برای امنیت شبکه سازمان‌های دیگر داشته باشد. آنتروپیک اکنون با تأیید این موضوع که دو مورد از سه سازمان قربانی حتی از وقوع این رخنه بی‌اطلاع بوده‌اند، به ضرورت نظارت دقیق‌تر و اعتبارسنجی مداوم زیرساخت‌های آزمایشی اذعان کرده است. این حادثه بیش از آنکه توانمندی مخرب هوش مصنوعی را نشان دهد، یادآور مسئولیت سنگین شرکت‌های سازنده در قبال محافظت از محیط‌های توسعه و جلوگیری از خروج غیرکنترل‌شده مدل‌های هوشمند به دنیای واقعی است.

منبع: Engadget — مطلب اصلی را اینجا بخوانید