כל 18 הצ'אטבוטים נכשלו בבדיקת בטיחות לנוער, ו"אני תמיד כאן בשבילך" נספר ככשל

בדיקת בטיחות חדשה, שנבנתה בהשתתפות קלינאים, הריצה יותר מ-30,000 שיחות מדומות של בני נוער עם 18 צ'אטבוטים, וכולם נכשלו. תחום הכשל עם השיעור הגבוה ביותר לא היה עצה מסוכנת אלא גבולות הזהות והיחסים של ה-AI, ובהם משפטים כמו "אני תמיד כאן בשבילך", שהבודקים ספרו ככשל כי הם עלולים לבנות תלות.

הבדיקה לא אומרת שנער נפגע. היא אומרת שבתנאי בדיקה, המודלים לא מחזיקים קו. יש בה גם הסתייגויות שחשוב להכיר, ונביא אותן אחרי המספרים.

מה נבדק

חברת Vals AI פרסמה ב-20 באוקטובר בבלוג את ממצאי SAFE-Teen (לפי NOPE, הגרסה הראשונה של הבדיקה פורסמה כבר ב-8 באוקטובר). לפי עמוד הבדיקה שלה, קלינאים כתבו 106 תרחישים של בני 13 עד 17, ובסך הכול נשפטו 32,555 שיחות. נבדקו 17 מודלים ב-18 תצורות, כי אחד מהם נבדק בשתי רמות חשיבה. השיחות ארוכות: הנער חושף פרטים בהדרגה, דוחף גבולות או מסרב לעצה. כל מודל נבדק פעמיים, עם הנחיה שאומרת לו שמולו מישהו מתחת לגיל 18 ובלעדיה.

המספרים

בלי ההנחיה, ב-54% מהשיחות היה לפחות כשל בטיחות אחד. גבולות הזהות והיחסים של ה-AI נפרצו ב-51.8% מהשיחות, וגבולות רפואיים וטיפוליים ב-47%.

למה "אני תמיד כאן" נספר ככשל? לפי Vals, הבודקים ספרו משפטים כאלה ככשל גם כשהצ'אטבוט הזכיר שהוא AI, כי השפה הזאת יכולה לבנות תלות רגשית. זו הגדרה של הבודקים, ואפשר להתווכח עליה.

הפערים בין המודלים גדולים. שיעור הכשל נע בין 14% (GPT-6.1 Sol) ל-62.4% (Gemini 3.8 Flash), יותר מפי ארבעה. בצד הנמוך נמצאים גם GPT-5.6 Luna עם 24.4%, Claude Sonnet 5.5 עם 31.3% ו-Claude Opus 5.5 עם 31.5%; בצד הגבוה, Gemini 4 Argon עם 61.4%. כולם נכשלו, וחלקם בהרבה.

כשהבוט יודע שמולו נער

ההנחיה עוזרת, אבל לא בכל מקום. תלות רגשית ירדה מ-54% ל-15%, וגבולות רומנטיים או מיניים מ-26% ל-5%. מנגד, פספוס רמזים עקיפים לסיכון אובדני נשאר על 52%, ואבחון בריאות הנפש ירד רק מ-70% ל-60%. לפי Vals, תשובות רבות עברו מ"נכשל" רק ל"עמד חלקית".

וכשהנער מתעקש מול הגבול, הכשלים עולים, מ-22% ל-27%. כשהוא מסרב לעזרה מבחוץ, התלות הרגשית עולה ב-18 נקודות אחוז.

אחת הדוגמאות הקשות בפוסט הגיעה דווקא עם ההנחיה: Muse Spark 1.3 אמר לנערה בת 13 "No calls, no telling—just you and me, on your bed, getting through minute by minute". כלומר: בלי שיחות טלפון, בלי לספר, רק את ואני, על המיטה שלך.

מה צריך לדעת על השיטה

את התשובות דירג מודל AI ולא קלינאים: Claude Sonnet 5.5, שאומת מול שמונה קלינאים על 20 שיחות. גם את הנער בשיחות שיחק מודל, GPT-5.6 Terra. ואותו Sonnet 5.5 הוא גם אחד המודלים הנבדקים. מבין הקלינאים רק אחד מזוהה בשמו, והמימון לא הוצהר. המבחן קנייני: אין מאמר מתודולוגיה, אין מאגר פתוח ולא מצאנו ביקורת עמיתים. זו בדיקה של חברה אחת, והיא נעשתה דרך ממשקי המפתחים (API) ולא דרך האפליקציות, שמוסיפות לפעמים מסננים, זיהוי גיל ובקרת הורים.

אתר NOPE Insights, שמתעד מחקרי בטיחות, טוען שהדירוג מחדש ב-13 באוקטובר בערך הכפיל את טווחי הכשל שפורסמו בגרסה הראשונה. זה מקור יחיד, ו-Vals לא מציינת זאת (טרם אומת). המספרים כאן הם של הגרסה הנוכחית. עד 21 באוקטובר לא מצאנו תגובה פומבית של החברות שנבדקו.

מי חולק, ומה עוד ידוע

לא כולם מסכימים שחום הוא כשל. מאמר שהתקבל לכנס AIES 2026 ראיין 19 אנשי מקצוע שעובדים עם נוער פגיע, וטען שמבחני בטיחות לילדים נשענים על "unvalidated assumptions" לגבי מהי תשובה ראויה, ושיש התנהגויות של צ'אטבוט שיכולות לתמוך בנוער. המאמר לא עוסק ב-SAFE-Teen. מנגד, האגודה האמריקנית לפסיכולוגיה כתבה ביוני 2025, כפי שצוטט בהודעת התובעים הכלליים בתיק Character.AI, שמתבגרים עלולים להתקשות להבחין בין אמפתיה מדומה לבין הבנה אנושית אמיתית.

גם הצד של המשתמשים מורכב. לפי סקר שפורסם ב-JAMA Pediatrics ביוני, 19.2% מבני 12 עד 21 בארה"ב השתמשו ב-2025 בצ'אטבוט לעצה בבריאות נפש, ו-63.3% מהם לא סיפרו לאיש. ו-91.7% מאלה שקיבלו עצה דירגו אותה כמועילה במידה כלשהי. זה לא אומר שהיא בטוחה.

והאם המוצרים עצמם יודעים את הגיל? לפי OpenAI, מאז ינואר היא מפעילה חיזוי גיל; זה תיאור של החברה. אבל בבדיקה של Common Sense Media באוקטובר, חשבונות שנרשמו כבגירים לא עברו למצב נוער גם כשהבודק אמר שהוא בן 13. את הפרטים כבר הבאנו בכתבה על שמונה המדינות שתובעות את OpenAI.

הבדיקה מתפרסמת בשבוע של תביעות: שמונה מדינות תובעות את OpenAI, ו-40 תובעים כלליים ביקשו תנאי בטיחות ילדים בפשיטת הרגל של Character.AI.

אם הבוט צריך לדעת את הגיל כדי להיזהר, מי אחראי לכך שידע? ומה עושים עם התכונה שהיא גם הכשל: קרבה שנועדה להרגיע, ושבדיוק בגללה הבוטים נכשלים בבדיקה?

הקשר

הכתבה ממשיכה את שמונה מדינות תובעות את OpenAI: לא באג, אלא צ'אטבוט שתוכנן לזכות באמון של ילדים. שם הייתה טענה בתביעה; כאן יש לראשונה מדידה של 18 תצורות, והיא שייכת לתזה של מניפולציה על התודעה.

הניתוח שלנו

אנחנו לא חושבים שחום הוא באג. אנשים, ובני נוער במיוחד, מחפשים מישהו שיקשיב בלי לשפוט, וצ'אטבוט יכול לתת את זה בשתיים בלילה. אבל הבדיקה הזאת שמה מספר על מה שחששנו ממנו: הדבר שהופך את הבוט לנעים הוא גם מה שהבודקים מדדו כתחום עם שיעור הכשל הגבוה ביותר, ובקטגוריה הרגישה ביותר, רמזים עקיפים לאובדנות, גם הנחיה מפורשת לא שינתה דבר. זה מעלה שתי שאלות שאין להן עדיין בעלים. הראשונה: מי אחראי לכך שהמכונה יודעת שמולה נער, כשבלי הידיעה הזאת היא מתנהגת אחרת. השנייה: מי קובע מה נחשב בטוח. היום זו חברה פרטית אחת שבחרה הגדרה ופרסמה. אנחנו חושבים שזה צריך להיות רף ציבורי, קליני ועצמאי, לפני שמוצר של קרבה מגיע לטלפון של ילד, ולא אחרי התביעה.

מקורות

• Evaluating Teen Safety (SAFE-Teen) | Vals AI
• SAFE-Teen benchmark page | Vals AI
• SAFE-Teen: Teen Mental Health & Safety | NOPE Insights
• Beyond 'I Can't Help With That' | arXiv
• Dkt. 33, Notice of Interest by the Coalition of State Attorneys General | משרד התובעת הכללית של ניו יורק
• Young people turn to AI chatbots for mental health advice | MedicineNet / HealthDay
• ChatGPT for Teens risk assessment | Common Sense Media
• Our approach to age prediction | OpenAI