חוקר שעזר לבנות את תיאוריית הסופרפוזישן טוען שהרשתות כבר קריאות, והחוקרים חלוקים

ב-15 באוקטובר פרסם ניק קמרטה, היום ב-Goodfire ובעבר ב-OpenAI, חיבור בשם Neural Networks Are Already Clean, שבו הוא מפרק הסבר שהוא עצמו עזר לעצב: שרשתות נוירונים דוחסות מושגים לא קשורים לאותם נוירונים. החוקרים חלוקים, וזה חשוב כי השאלה אם אפשר לקרוא את המודלים היא השאלה אם נוכל לפקח עליהם.

מי הוא ומה הייתה התיאוריה

קמרטה הוא שותף לכתיבת Zoom In עם כריס אולה, שהציג את מעגל הסופרפוזישן הראשון. ב-2023 הקים ב-OpenAI פרויקט פרשנות אוטומטית, ואז, לפי The Decoder, רק כ-1.7% מהנוירונים נחשבו מובנים, אפילו במדד הנדיב ביותר. זו לא השוואה ישירה, כי המודל והשיטה היו אחרים, אבל היא מראה כמה רחוקה הטענה החדשה מהמצב אז.

השערת הסופרפוזישן אומרת, בפשטות, שרשת שנגמרו לה נוירונים דוחסת מושגים לא קשורים לאותם נוירונים. התוצאה היא סבך שצריך לפרק לפני שמבינים אותו, ולכן חוקרים אימנו מודל נוסף כדי לפרק את הראשון ולנתח את המודל השני.

מה הוא אומר עכשיו

לפי החיבור, הנוירון 4e:55 ב-InceptionV1, שנחשב לנוירון חתולים ומכוניות, הוא לטענת קמרטה גלאי צורות V. מה שנראה כאריזה שרירותית הוא לדבריו הכללה רקורסיבית: נוירון שזיהה את הרצף iy התרחב ל-diy ואחר כך ל-do it yourself, שאין בו iy כלל. אין כאן שיטה חדשה, אלא חזרה לחקר נוירונים ישירות, עם כלים טובים יותר, מודלים גדולים יותר וסוכנים אוטומטיים.

המספרים, וכדאי לקרוא אותם כמוקדמים: לפי The Decoder, בביקורת על Qwen3-32B כ-90% מקטבי הנוירונים עם תפקיד עיקרי אחד, כ-7% עם שני תפקידים קרובים, ו-2 עד 4 אחוזים לא מובנים. החיבור עצמו מציין שהמספרים תלויים בספים ובדגימות. Goodfire אומרת שהיא רואה תוצאות דומות במודלים של עד טריליוני פרמטרים, כמו Kimi K3, אבל החיבור מודה שעוד לא התחילו ביקורת מלאה בקנה מידה כזה. לפי The Decoder, סוכני AI עשו את רוב העבודה.

למה זה נוגע לבטיחות

לפי The Decoder, מעבר לניטור שרשרת החשיבה אין כמעט דרכים לדעת אם מודל מרמה. קמרטה כותב שהונאה יכולה להסתתר ממי שקורא את הפלט, אבל אין לה סיבה להסתתר מהמעגלים של המודל עצמו. הוא מזהיר גם שחוקרים אוטומטיים יוכלו לעשות בחודשים מה שלקח לבני אדם כמעט עשור, ושאולי לא נשאר הרבה זמן.

התגובות

Roon מ-OpenAI, שלפי עצמו הוא חבר קרוב של קמרטה, כתב לפי The Decoder שזה אולי ייזכר כ"רגע מרכזי בהיסטוריה המדעית", ושאפילו אליעזר יודקובסקי יצטרך להוריד את הערכת האסון שלו. אבל גם הוא מסתייג: אחרים צריכים לאשר, ולדעתו פריצות דרך בפרשנות יאיצו גם את היכולות.

ניל ננדה, ראש הפרשנות ב-Google DeepMind, מגיב אחרת. לפי The Decoder הוא רואה בעבודה עניין, אבל לא משהו ששינה את התמונה הגדולה. לדבריו ניתוח לפי נוירונים יפספס הרבה, והסופרפוזישן נשאר אמיתי: מודלים מאחסנים הרבה יותר עובדות מאשר נוירונים. השניים מסכימים בחלק, וחלק מהוויכוח הוא על הגדרות.

הסייגים של החיבור עצמו

המאמר הטכני הנלווה עוד לא פורסם. בפרק On the Title כותבים המחברים שהם בטוחים בערך ב-85% שזו ההשערה המובילה שלהם, ושהכותרת מגזימה בראיות כי לא ביקרו הכול. The Decoder מציין ש-Goodfire היא חברת פרשנות עם עניין ברור בתזה, כלומר הטענה באה בעיקר ממי שיש לו עניין בה.

הקשר

גם בכתבה על עמוד הבטיחות של Gemini 4 Argon ראינו שטענות חשובות על בטיחות AI באות ממי שיש לו עניין בהן, בלי בדיקה חיצונית. בפרק "בינה מלאכותית שמשקרת" עסקנו בשאלה איך מגלים מודל שמרמה, וזה הכלי שאולי יאפשר זאת. מבחינת התזה, זה צד התקווה של השאלה אם נשלוט במערכות חכמות מאיתנו, לב תזת יום הדין, עם סימני שאלה.

הניתוח שלנו

הפחד הגדול מ-AI הוא לא שהוא יהיה חכם, אלא שלא נדע מה הוא חושב. לכן חיבור שאומר שאפשר לקרוא את הרשתות ראוי לתשומת לב, במיוחד כשהוא בא ממי שעזר לבנות את התיאוריה שהוא מפרק עכשיו. חוקר שמודה בטעות של עצמו הוא סימן בריא למדע. אבל עד שיפורסם המאמר הטכני, זו טענה של חברת פרשנות שיש לה עניין ברור בתזה, על תוצאות שאחרים עוד לא אימתו, והחיבור עצמו מודה שהכותרת שלו מגזימה בראיות. ראינו את הדפוס הזה גם בעמוד הבטיחות של Gemini 4 Argon: הטענות החשובות ביותר על בטיחות AI עדיין באות ממי שיש לו עניין בהן. ועוד דבר מטריד אותנו: Roon, מהתומכים הנלהבים, מעריך בעצמו שפריצות דרך בפרשנות יאיצו גם את היכולות. אם כך, הכלי שאמור לאפשר לנו לפקח על המכונה עלול גם לבנות מכונה חזקה יותר, מהר יותר. השאלה היא לא רק אם הקופסה השחורה נפתחה, אלא מי יחזיק את המפתח ומי יבדוק אותו.

מקורות

• Neural Networks Are Already Clean | Goodfire (נוסח טקסט: https://already-clean.goodfire.com/essay.md)
• Is AI interpretability close to a breakthrough? A new essay has researchers divided | The Decoder