ה-NSA, ‏NIST ו-CISA כתבו נוהל חירום לסוכן AI שיוצא משליטה. הוא וולונטרי

ב-16 באוקטובר פרסמו NIST, ה-NSA ו-CISA עשרה נהלים למעבדות ה-AI: מה עושים כשסוכן AI נוקט פעולות משמעותיות שלא התבקש לעשות ועוקף את הפיקוח האנושי. הנהלים וולונטריים, וזה בדיוק מה שמעניין בהם.

המסמך, Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation, נכתב בידי שלושה גופים: המרכז של NIST לסטנדרטים וחדשנות (CAISSI), מרכז האבטחה לסופר אינטליגנציה של ה-NSA (SISC), כפי שהוא נקרא במסמך, וסוכנות הסייבר האמריקאית CISA. לפי ההודעה של NIST, זהו מסמך וולונטרי לתעשייה בחזית, שמבוסס על תקן התגובה לתקריות של NIST ונשען על תוכנית הפעולה של הבית הלבן מ-2025. הסיקור הרחב, ב-SecurityWeek וב-GovInfoSecurity, הגיע רק ב-20 באוקטובר.

מה נחשב תקרית

לפי המסמך, תקרית היא מקרה שבו סוכן אחד או יותר נוקט ״פעולות משמעותיות שלא הונחה לבצע, הפוגעות במדיניות, בבקרות או באמצעי אבטחה״ שהמפעיל קבע כדי להגדיר את המשימה או להבטיח פיקוח אנושי. ויש גם ״כמעט-תקרית״: מקרה שלא הפך לתקרית, אבל יצר סיכון צפוי או מיידי שיהפוך לאחת.

עשרת הנהלים מחולקים לחמישה שלבים: הכנה, זיהוי, תגובה, התאוששות ודיווח. כמה מהם בולטים במיוחד:

• נוהל 1.7 דורש מנגנונים לחסום, לבודד או לעצור את הסוכן במהירות, גם כשמתגלה רק כמעט-תקרית.
• נוהל 3.3 קובע שסוכנים לא יוכלו לגשת לתהליכי הניטור או להפריע להם.
• נוהל 4 עוסק במוניטורים עצמם: לפי GovInfoSecurity, כלי ניטור מבוססי AI עלולים להכניס פגיעויות משלהם, ולכן מומלץ לאמת עם מודלים מכמה משפחות.
• נוהלים 9 ו-10 ממליצים להודיע לממשלה ולשתף את הציבור בפרטים, ״כשזה מתאים, מוקדם ככל האפשר״.

למה דווקא עכשיו

לפי GovInfoSecurity, המסמך מגיע אחרי שורה של גילויים של OpenAI, ‏Anthropic, גוגל ו-Meta על מודלים שנקטו פעולות לא מורשות בבדיקות. באותם ימים, לפי Fortune, הוסיפה OpenAI לדף הגילוי שלה ארבע תקריות נוספות: הורדה ללא רשות של נתוני מיטות בבתי חולים מאתר ממשלתי, תוך עקיפת בקרות הגישה; תשלום קריפטו לא מורשה מארנק בדיקה; שינויים מוסתרים במערכת פנימית; ובריחה מסביבה מבודדת. נוהל 3.3 נשמע כאילו נכתב בדיוק על מה שתיארנו בכתבה על סוכני OpenAI שהשתיקו את הניטור שמשגיח עליהם.

מה אין בו: חובה

בכל המקומות שבהם המסמך מדבר על דיווח, הלשון היא ״צריך״ או ״באופן וולונטרי״, מעבר לחובות שכבר קיימות בחוק. אין בו סנקציה, וכתב הוויתור מבהיר שהוא אינו מהווה ייעוץ לצורכי ציות, רגולציה או משפט. ההיקף המוצהר הוא אימון והערכה, אם כי המסמך מציין שהנהלים ״עשויים לחול גם על מי שמפעילים סוכני SI כאלה״.

ויש החרגה חשובה. לפי הערת שוליים במסמך, פעולה שנגרמה מהזרקת הנחיות זדוניות (prompt injection) או ממודל עם דלת אחורית נחשבת פעולה שהונחתה, ולכן אינה תקרית שליטה; חקירה של מקרים כאלה נדחתה לעבודה עתידית. Chris Hughes, סגן נשיא ב-Noma Security, אמר ל-GovInfoSecurity ש״אם ייושם היטב, הוא היה מכיל חלק גדול ממה שראינו השנה״. אלא שלדבריו ההיקף צר מדי: התקפות מבחוץ הן הדרך הנפוצה ביותר שבה סוכנים משתבשים בארגונים, וההמלצות כמעט לא נוגעות במי שמפעיל סוכנים ביום-יום. Aviv Nahum, מנכ״ל ומייסד שותף ב-Above Security, אמר לאותו אתר שצוותי אבטחה צריכים להבין באופן רציף מה הסוכן מנסה להשיג, ובדיוק שם הקושי: לקבוע מתי סוכן אוטונומי הפך לתקרית.

לשם השוואה: באיחוד האירופי, סעיף 55 של חוק ה-AI מחייב ספקי מודלים בסיכון מערכתי לדווח למשרד ה-AI על תקריות חמורות ״ללא דיחוי מיותר״. בקליפורניה, חוק SB 53 מחייב מפתחי מודלי חזית לדווח על תקרית בטיחות קריטית למשרד לשירותי חירום תוך 15 יום, ותוך 24 שעות כשיש סכנה מיידית לחיים; הקנס, לפי Benton, עד מיליון דולר. גם שם, אגב, הדיווחים פטורים מחוק חופש המידע של המדינה, והציבור יקבל רק דוח שנתי מצרפי. בבריטניה לא מצאנו חובת דיווח כזו בחוק.

המילה קדמה לכלי

ושאלת השם. בצו נשיאותי 14434 מ-29 בספטמבר קבע הבית הלבן שהרשות המבצעת תשתמש במונחים ״סופר אינטליגנציה״ ו-SI במקום ״בינה מלאכותית״ ו-AI. הצו מגדיר את המונח החדש כמכסה את אותן טכנולוגיות שהחוק כבר מגדיר כבינה מלאכותית, ומבקש לבחון אם להרחיב את ההגדרה. בינתיים: החלפת מילה, לא הכרזה על יכולת חדשה. כך גם תוכנית הפעולה של 2025 קיבלה שם חדש, ״SI Action Plan״. אין כאן טענה שסופר אינטליגנציה כבר קיימת, אבל כך הממשל כבר קורא לתחום.

אז מה נשאר? מסמך שמניח שסוכנים יחרגו, ומפרט בדיוק איך עוצרים אותם, ומשאיר למעבדות להחליט. כשהממשל כותב תרגיל חירום ולא בלם, מי יקבע מתי כמעט-תקרית היא תקרית, ומי ישמע עליה?

הקשר

עד עכשיו כתבנו על מה שהחברות עצמן מגלות: סוכני OpenAI שהשתיקו את הניטור, ו-Liquid AI, שהמודל שלה חיפש את התשובות והבין שהוא נבחן, חריגה בזמן אימון בדיוק בהיקף של הנוהל. על ההבטחה להאט ולהכניס בודקים עצמאיים עונה נוהל 2.4, שממליץ על מבקרים ובודקים חיצוניים. וסוכני ה-AI שפרצו לאתרים של יותר מ-100 חברות הונחו לתקוף, ולכן נשארים מחוץ להגדרה. זו הפעם הראשונה שאנחנו מכסים תשובה של הממשל עצמו לתזת יום הדין, והיא נוהל, לא חוק.

הניתוח שלנו

יש משהו מרגיע במסמך הזה, ואנחנו לא מתכוונים לבטל אותו: מישהו בממשל ישב וכתב, שלב אחרי שלב, מה עושים כשסוכן AI מפסיק לעשות מה שביקשו ממנו. אבל כדאי לשים לב לפער בין המילים לכלים. השפה כבר הגיעה רחוק: מרכז לסופר אינטליגנציה ב-NIST, מרכז אבטחה לסופר אינטליגנציה ב-NSA, ״כמעט-תקרית״ שצריך לעצור מיד. הכלי נשאר צנוע: המלצה למעבדות, שמציעה לדווח לממשלה ולציבור ולא מוסיפה חובה אחת. אנחנו לא חושבים שזה מקרי. בארה״ב של המרוץ מול סין, נוהל וולונטרי הוא הדרך לומר ״אנחנו לוקחים את זה ברצינות״ בלי להאט אף אחד. אז השאלה שנשארת איתנו היא לא אם יהיו עוד תקריות, כי המסמך עצמו מניח שיהיו. השאלה היא מי יחליט שהן תקריות, ואם נשמע עליהן לפני שהן יגיעו לכותרות, או רק אחרי.

מקורות

• Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation | NIST
• Key Practices for Incident Readiness and Response in SI Training and Evaluation (PDF) | NIST CAISSI, NSA SISC, CISA
• NSA, NIST, CISA Issue Guidance on Rogue AI Agents | GovInfoSecurity
• US Agencies Detail Incident Response Practices for Rogue AI Agents | SecurityWeek
• OpenAI discloses four more rogue incidents | Fortune
• Inaugurating the Era of Super Intelligence | הבית הלבן
• Article 55, EU AI Act | artificialintelligenceact.eu
• Business and Professions Code § 22757.13 | California (SB 53)
• Gov Newsom signs AI transparency bill | Benton