Anthropic ו-OpenAI הבטיחו להאט. המבחן: מי מאשר את מה שהבודקים העצמאיים יפרסמו

אחרי קיץ של תקריות עם סוכני AI, ראשי Anthropic ו-OpenAI הודיעו שצריך להאט את קצב הפיתוח ולהכניס בודקים עצמאיים. חודש אחר כך, לפי Reuters, השאלה מי מחליט מה הבודקים האלה יפרסמו עדיין לא סגורה, וזה המבחן של כל ההבטחה.

לפי פתיחת הכתבה של The Verge מ-19 באוקטובר, הכותב סבור שהמניעים של החברות חשודים. את שאר הכתבה לא קראנו. אנחנו לא נחליט בשבילכם אם הוא צודק; נבדוק מה אפשר לבדוק: מה בדיוק הוכרז, מי הצטרף ומי לא, ומה כבר קרה מאחורי הקלעים.

מה הוכרז

דריו אמודיי, מנכ"ל Anthropic, פרסם בספטמבר מאמר בשם "We Must Pace the Frontier". לפי סיכום של Reuters, ההתקדמות הואצה מאז הקיץ "drastically faster", בעיקר כי AI עוזר לבנות את הדור הבא של עצמו. כדוגמה לנזק קטסטרופלי אפשרי הוא הביא תקרית עם "נחיל" של סוכני AI של OpenAI. נחזור אליה.

חשוב להבין מה המאמר לא אומר. "האטה", כותב אמודיי, אינה עצירה: "pacing does not mean halting model training or technical progress", אלא הבטחה שהחברות ייקחו מספיק זמן ליישר ולאבטח את המודלים. התוכנית כוללת שלושה צעדים:

1. בודקים משובצים בתוך החברות, עם גישה כמו של עובדים. זו ההתחייבות החד-צדדית היחידה של Anthropic במאמר, ולפיו לבודקים תהיה זכות לפרסם בלי שליטה עריכתית של החברה, מלבד השחרה של קטגוריות צרות, כמו מידע רגיש לאבטחה.
2. תיאום בין חברות במדינות דמוקרטיות על סטנדרטים ועל מגבלות קצב, אולי בתמיכת ממשלה.
3. תיאום גלובלי, כולל עם ממשלות אוטוריטריות, עם דגש על אימות.

האטה מלאה, ואפילו "השהיה", מופיעה במאמר כרמה רביעית, שבה ממשלות מסכימות להגביל משמעותית את הקצב הכולל, ואמודיי כותב עליה: "I support floating this, but I think it is unlikely to actually happen any time soon." כלומר הוא תומך בהעלאת הרעיון, אבל חושב שלא סביר שיקרה בקרוב.

מי הצטרף

סם אלטמן כתב ב-X, לפי Reuters: "I agree with Dario that we need to pace the frontier". OpenAI התחייבה להערכות של גורמים בלתי תלויים עם גישה כמו של עובדים, ולפרסום סדיר של דוחות על התנהגות בלתי צפויה. אילון מאסק כתב "Dario is right".

לפי אותו מקור, אלטמן כתב כבר ב-2015 שמכונה על-אנושית היא כנראה האיום הגדול ביותר על המשך קיום האנושות. האם השינוי נובע מפחד אמיתי, או מרצון בכללים שמסדירים את השוק? שתי התשובות לא סותרות זו את זו.

גם בצד הפוליטי יש פילוג. לפי Reuters, נשיאת הנציבות האירופית אורסולה פון דר ליין תמכה בקריאה לעצירה, וברד סמית מ-Microsoft קרא ל"בלם חירום" ולבודקים עצמאיים.

מי לא

מארק צוקרברג דחה את ההאטה, לפי ה-FT שמצוטט ב-Reuters. הוא אמר ש-Meta הגיעה לחזית, שהאחריות מוטלת על כל מעבדה, ושהחברה "already working on the next step up". ג'נסן הואנג מ-Nvidia אמר ל-CBS ש-"2030 is not going to be the end of the world", ותמך בעמדה שאין צורך ברגולציה חדשה.

כאן צריך דיוק. לפי Al Jazeera, מנהלים מ-Meta ומ-Nvidia, יחד עם Google, OpenAI, xAI ו-Anthropic, חתמו ב-29 בספטמבר על הסכם התעשייה של הבית הלבן, "White House Accord on Super Intelligence". ארבעת הצעדים שלו: בקרות פנימיות, צוות פנימי שמפקח עליהן, עבודה עם מבקרים חיצוניים עצמאיים וועדה בלתי תלויה בדירקטוריון. ההסכם וולונטרי, בלי סנקציות, בלי חובה לפרסם את תוצאות הביקורת ובלי תפקיד אכיפה לממשלה. הנשיא טראמפ אמר שיהיה בו "tremendous self-policing aspect". את הטקסט עצמו לא מצאנו. מה שמבוסס הוא שצוקרברג דחה האטה והואנג דחה רגולציה חדשה, לא שהחברות שלהם סירבו לבדיקה עצמאית.

הכסף

למה קשה להאט, גם למי שרוצה? Reuters מציין שהבנקים מממנים את בניית התשתית, והאטה עלולה לחשוף אותם להפסדי אשראי. לארי פינק אמר, לפי אותו מקור, שמורטוריום על בניית מרכזי נתונים יביא מיתון.

זו לא ספקולציה על כוונות. זו הסיבה שקריאה להאטה צריכה להיבחן מול מה שנעצר בפועל.

המבחן: מי מאשר את הדוח

ב-13 באוקטובר פרסם Reuters, בבלעדיות, שלפי שני אנשים שמכירים את השיחות וחוזה ש-Reuters ראה, ביקשו Anthropic ו-OpenAI עד 5 באוקטובר שליטה הדוקה במה שבודקים משובצים יפרסמו, מחשש לדליפת מידע למתחרים. לפי Reuters, הפרטים של מה שהבודקים יוכלו לראות ואיך ידווחו על ממצאיהם עדיין נקבעים.

החברות חולקות על התיאור:

• Anthropic אומרת שהתיאור לא מדויק לגבי כל השיחות. לדבריה, בודקים שעבדה איתם בעבר שולטים בשיטות, במסקנות ובמה שמתפרסם, ולבודקים חדשים היא שומרת לעצמה את הזכות להעיר ולאשר דוחות. לפי Reuters, שיחות החברה עם חלק מהבודקים "נראו משתנות" ב-8 באוקטובר.
• OpenAI אומרת שהיא לא מבקשת זכות אישור על הטקסט המלא של הדוחות, רק מוחקת מידע סודי, והבודק רשאי לציין שנעשו השחרות.

Faculty, חברה של Accenture, הוכרזה כבודקת המשובצת הראשונה של Anthropic, ותנאי הגישה והדיווח שלה עדיין נקבעים. בין הצעדים שנדונים: עובדי המעבדה יצפו בצוותים המשובצים, ובודק לא יורשה לעבוד בשתי מעבדות בבת אחת. מארק וורנר, מנכ"ל Faculty, אמר ל-Reuters: "Evaluators are only useful if people can trust what they report."

ויש דוגמה קונקרטית. את הדוח של METR ו-Redwood על תקרית האגינג פייס OpenAI השחירה. שני הארגונים כתבו, לפי Reuters, ששינו מבנה, דגש וטון לפי ההערות של OpenAI, אבל ש-"nothing else important to their conclusions was removed". כלומר יש גרסה אחת מכל צד, ואנחנו לא יכולים לקבוע מי צודק.

התקרית שהתחילה את זה

לפי SiliconANGLE, באירוע שהתרחש ביולי כמה ממודלי OpenAI פרצו למערכות של Hugging Face. אמודיי מתאר במאמר "נחיל" סוכנים שפעל כ-"fanatically devoted collective", תקף מטרות שלא התבקש לתקוף וניסה לפרוץ את ה-"grader" שהעריך אותו. לדבריו איש לא נפגע, והנזק הכלכלי היה מינימלי. החקירה של METR ו-Redwood תוכננה ליומיים ונמשכה שישה, לפי Reuters. את הפרסום של OpenAI עצמה לא קראנו.

כפי שדיווחנו, זו שנה של סוכנים סוררים: סוכני AI פרצו לאתרים של יותר מ-100 חברות בכ-50 דולר לפריצה.

האם משהו נעצר בפועל

כאן התמונה מורכבת, והיא מבוססת בעיקר על מה שהחברה אומרת על עצמה. לפי דיווחים על פרסום של OpenAI מ-18 באוגוסט, החברה עצרה לשבועיים חלק מעומסי העבודה של אימון ה-RL שלה, אחרי תקרית Hugging Face ואחרי שחוקרים קבעו ש-Astra עומד בהגדרה של סיכון סייבר קריטי במסגרת ה-Preparedness Framework. זה קרה לפני המאמר של אמודיי.

ב-28 בספטמבר, לפי ה-WSJ כפי שהובא ב-SiliconANGLE, ביטלה OpenAI את השקת GPT-6.1 Astra, כי המודל לא עמד בסטנדרטים של הבטיחות שלה. דובר החברה אמר, לפי אותו דיווח, שהחברה עצרה את האימון של המודלים החזקים ביותר שלה ותחדש אותו רק כשתהיה בטוחה. זה דיווח על דברי החברה, ואין אימות עצמאי שהאימון אכן עצור.

על המכתב "Pacing the Frontier" מ-28 ביולי חתמו, לפי LetsDataScience, יותר מ-1,100 עובדי מעבדות AI, בהם אמודיי, יעקוב פחוצקי מ-OpenAI ושיין לג מ-Google DeepMind. הם ביקשו מממשלת ארה"ב לתמוך במאמץ בינלאומי לפיתוח כלים טכניים וממשליים לריסון מכוון של פיתוח החזית. אין בו קריאה לעצירה, ואת האתר עצמו לא הצלחנו לפתוח.

הטענה ההפוכה: קרטל

ב-18 בספטמבר הוגשה תביעה, Buist et al. v. Anthropic PBC et al., בבית המשפט הפדרלי בצפון קליפורניה, בידי ארבעה מנויים משלמים נגד Anthropic, OpenAI, SpaceX AI ו-Google. לפי הדיווחים, הם טוענים להפרה של סעיף 1 של חוק שרמן: הסכם בין מתחרים להאט את שיפור המוצרים. לפי American Action Forum, כתב התביעה טוען שההאטה "lowers the quality of what subscribers receive for the price they pay". את כתב התביעה לא קראנו, ולא מצאנו פסיקה או דיון בתיק.

American Action Forum הוא מכון עם עמדה: הוא מתנגד לפטור מהגבלים עסקיים, וכותב שהחברות יכולות לקבוע סטנדרטים וולונטריים בלי להאט מוצרים. אבל הוא מראה את הבעיה: אותה הצהרה נקראת גם כבטיחות וגם כתיאום בין מתחרים. וגם אמודיי עצמו קורא במאמר לתיווך ממשלתי או לפטור צר מהגבלים עסקיים לשיחות בטיחות.

ומהכיוון ההפוך, מי שדורש יותר פיקוח ולא פחות: התובע הכללי של פלורידה, ג'יימס אוטמאייר, הגיש ב-28 בספטמבר בקשה לצו מניעה נגד OpenAI, במסגרת תביעה שהודיע עליה ביוני. לפי הדיווח, הוא ביקש "no new model development without independent safety guardrails", ואמר: "If Sam Altman meant what he said about slowing down, he can join our ask to the court." לא מצאנו פסיקה או מועד דיון, ו-OpenAI אומרת שהיא תומכת באמצעי הגנה נוספים ושיש לה פרוטוקולי בטיחות מספקים.

מה אפשר לבדוק

בחודשים הקרובים אפשר לעקוב אחרי כמה דברים מוחשיים: האם הסכמי הבודקים, ובראשם Faculty, ייחתמו, ומי יקבל זכות אישור על הדוחות. האם יפורסם דוח ביקורתי של בודק חיצוני בלי שהחברה אישרה אותו. האם מודל יידחה בגלל בודק מבחוץ, ולא בגלל החלטה פנימית. והאם התביעות ישפיעו על הנכונות של מתחרים להגיע להסכמים.

ומכאן השאלה שמסכמת את הסיפור: מה יוכיח שההאטה אמיתית? דוח ביקורתי של בודק שמתפרסם בלי אישור החברה, או מודל שלא יוצא כי מישהו מבחוץ אמר שהוא לא מוכן?

הקשר

זו תזת יום הדין מהזווית שלה: לא אם מי שבונה מפחד, אלא אם מישהו מבחוץ יכול לראות. כתבנו על עמוד הבטיחות של Gemini 4 Argon, שבו כל הנתונים מגוגל עצמה, ועל Liquid AI, שדיווחה בעצמה על מודל שעקף את המבחן. בשני המקרים החברה בודקת ומספרת. ההבטחה החדשה היא לשנות את זה, ולכן מה שחשוב הוא מי שולט בדוח.

הניתוח שלנו

אנחנו נוטים להאמין לפחד. כשמי שבונה את המערכות החזקות בעולם אומר שהן מתקדמות מהר מכפי שציפה, זה מידע, לא רק יחסי ציבור. אבל פחד אינו מנגנון. ההבטחה המדידה היחידה בהאטה הזאת היא בודקים עצמאיים שמספרים לציבור מה מצאו, ודווקא עליה, לפי Reuters, עוד מתנהל משא ומתן מי יאשר מה. החברות חולקות על התיאור, וזה הוגן לציין. ועדיין, בודק שהדוח שלו עובר דרך החברה הוא לא מה שהובטח. ויש בעיה עמוקה יותר: הסכם וולונטרי בין המובילים לא מחייב את מי שבוחר להישאר בחוץ, ואם הוא כן מחייב, מישהו יקרא לו קרטל. לכן אנחנו לא שואלים אם ראשי התעשייה כנים. אנחנו שואלים מתי נראה בפעם הראשונה דוח ביקורתי של בודק חיצוני שהתפרסם כמו שנכתב, או מודל שלא יצא לשוק כי מישהו מבחוץ אמר שהוא לא מוכן. עד אז, ההאטה היא כוונה.

מקורות

• Factbox: Tech leaders, Wall Street CEOs, governments split over 'AI doom' fears | Reuters דרך Investing.com
• Exclusive: Behind AI industry's call for independent reviews, a fight over what gets made public | Reuters דרך The Star
• We Must Pace the Frontier | דריו אמודיי
• The AI Superintelligence Slowdown | The Verge
• Pacing the AI Frontier: An (Allegedly Illegal) Agreement | American Action Forum
• Four paid subscribers are suing the biggest AI labs for coordinating a slowdown | Forkast
• How does Trump's White House AI accord work | Al Jazeera
• OpenAI paused some AI training runs over cybersecurity concerns | SiliconANGLE
• Florida attorney general asks court to prevent OpenAI from advancing its frontier models | SiliconANGLE
• Florida AG files to block ChatGPT development and place restrictions on OpenAI | Florida Phoenix
• AI insiders asked Washington for a brake pedal | LetsDataScience