אבטחת מידע בעידן הבינה המלאכותית: תובנות ממיטאפ GenAI Israel
הייתי אתמול במיטאפ של קהילת GenAI Israel במשרדי AWS. כל נושא המיטאפ עסק בתחום החופף שבין AI ל-Cyber, או בעברית – אבטחת מידע בעבודה עם בינה מלאכותית. הנה כמה מהתובנות המרכזיות שלקחתי איתי.
האתגר שבגילוי מוקדם: פגיעויות בצל מודלים מתקדמים
התחלנו בהרצאה של אביעד חן, שהחברה שלו קיבלה אישור להשתמש במודל Claude Mythos. הוא סיפר איך מצא אינספור באגים ופגיעויות אבטחה שבינתיים שום מודל (לפחות לא מאלו המוכרים) מסוגל למצוא. לטענתו, קיימים מודלים סיניים ואולי אף צפון-קוריאניים לא פחות חזקים שמסוגלים לתקוף, אך ממשלת ארה"ב חסמה את הגישה למודל שאולי מסוגל להגן.
הדגש העיקרי שלו היה שאמנם המודל מוצא המון פגיעויות, אבל הקושי האמיתי הוא ללכת ולתקן את כולן. המצב מגיע לרמה שלפעמים חברות מפסיקות את החיפוש רק כדי שיוכלו לעמוד בקצב התיקונים.
10 הפגיעויות הנפוצות ב-AI וכיצד להתגונן
ההרצאה השנייה הועברה על ידי איתן סלע, שפירט מהן עשר הפגיעויות הנפוצות ביותר בשימוש בבינה מלאכותית לפי OWASP. הוא הראה כיצד השירותים של AWS Bedrock מספקים לחברות את מעטפת ההגנה (guardrails) הנדרשת כדי להימנע מפרצות אלו ולעבוד בסביבה בטוחה יותר.
הסכנה הסמויה בהורדת Agent Skills
ההרצאה השלישית והמעניינת ביותר לדעתי, הייתה של לירן טל. לירן דיבר על הסכנה הכרוכה בשימוש ב-Agent Skills שאנחנו מורידים בחופשיות מהרשת. מסתבר שרובם חשופים לפגיעויות, וחלקם אפילו נוצרו כזדוניים מלכתחילה.
המסקנה היא שחובה עלינו לבדוק היטב כל כלי שאנחנו משלבים. הוא אפילו הדגים לנו בלייב כיצד סקילים כאלה יכולים "לנצל" את חוסר תשומת הלב שלנו כדי לבצע פעולות זדוניות בקלות מטרידה.
סיכום: להיות זהירים במגרש המשחקים החדש
לסיכום, מדובר בהרצאות חשובות שגורמות לך לחשוב, ובעיקר עושות לך חשק לחזור ללוח וגיר. אבל עד שזה יקרה, בואו נדאג להיות זהירים בשימוש עם AI.
כמה כללי ברזל שכדאי לאמץ:
בקרה מתמדת: שימו לב למה שהמודל עושה בכל שלב.
סביבה מבודדת: תריצו אותו תמיד על סביבת ארגז חול (Sandbox).
הרשאות מינימליות: תנו לו אך ורק את ההרשאות שהוא באמת צריך.
גורם אנושי בשרשרת: אל תשכחו להיות חלק מהלופ (Human in the loop) ולא להשאיר את המערכת ללא השגחה.
