מדוע בינה מלאכותית אוטונומית דורשת גישה חדשה לאבטחת ארגונים

מבט מהיר לטכנולוגיה

בינה מלאכותית אוטונומית מבטיחה לשנות את הדרך שבה עסקים פועלים על ידי אוטומציה של תהליכים מורכבים. עם זאת, כניסת הטכנולוגיה הזו לעולם הארגוני מעלה אתגרים חדשים בתחום האבטחה. כ-76% מהארגונים כבר משתמשים או מתכננים להשתמש בסוכנים אוטונומיים, אך החשש מפני אירועים הקשורים לבינה מלאכותית אינו מבוטל. כ-42% מהארגונים כבר חוו או חשדו באירוע כזה.

מפרט טכני ונתוני מפתח

סוכנים אוטונומיים בתחום הבינה המלאכותית מסוגלים לבצע פעולות מורכבות כמו קריאת תקשורת, שליפת מידע, עדכון רשומות לקוחות, והפעלת תהליכים אוטומטיים עם פיקוח אנושי מוגבל. הם יכולים לפרש בקשות, לבחור כלים מתאימים, לגשת למידע, ולפעול בסביבות עסקיות מחוברות.

דוגמה לפעולה של סוכן אוטונומי היא היכולת לקרוא שרשרת אימיילים, לשלוף פרטים ממערכת CRM, לנסח תשובה, לעדכן כרטיס בזנדסק, ולתאם שיחה מעקבת. מדובר בשדרוג משמעותי לעומת עוזרים קונבנציונליים המסכמים תקשורת בלבד.

מה המשמעות עבורכם?

הטכנולוגיה החדשה מביאה עמה אתגרים בתחום האבטחה. סוכנים אוטונומיים עשויים להוביל לאירועים בלתי רצויים בשל פרשנות שגויה של בקשות או השפעה מהוראות נסתרות. תופעת ה'עלות סמנטית' היא דוגמה לכך, שבה הסוכן פועל בתוך זכויות הגישה שלו אך מרחיב אותן מעבר לכוונת המשתמש.

לפי מחקר, 67% מהארגונים שחוו אירועים הקשורים לבינה מלאכותית דיווחו על פעילות איום באימייל, 57% ראו פעילות איום ביישומי SaaS או ענן, ו-53% ראו פעילות איום בסוכנים או עוזרי AI. תופעת הזרקת ההוראות גם מהווה איום פוטנציאלי על סוכנים אלו.

הטיפ המקצועי של מעבדת OKPC

כדי להתמודד עם האתגרים הללו, יש להרחיב את מנגנוני מניעת אובדן נתונים גם לסביבות AI ולנטר תוכן רגיש לפני הגעתו לכלי AI. יש צורך בשליטה אנושית בתהליכים קריטיים ובלתי הפיכים, והתקנת בקרות המעריכות את מטרת הפעולה, ההקשר שלה, וההשפעה הצפויה לפני השלמתה.

כמו כן, יש להבטיח שקיפות באינטראקציות בין האדם ל-AI, לפקח על התנהגות הסוכנים, ולנהל תיעוד מלא של פעולותיהם. כלים אלו יסייעו לארגונים להגן על עצמם מפני איומים מתקדמים ולשמור על מדיניות הארגון.