Army of None

יובל סיני Yuval Sinay המליץ לי בשיחה בשבוע שעבר על ספר של פול שאר Army of None: Autonomous Weapons and the Future of War שראה אור ב-2018. הסוגיות שעולות בספר מעוררות מחשבה ואני חייב להודות שגם אי-נוחות רבה לפעמים. לצד ההקהלה על הטכנולוגיה שמאפשרת שלא לסכן חיי חיילים ישנה הדאגה על הרג חסר הבחנה ועל קבלת החלטות שאינה אנושית ולא במובן הטוב של האוטומציה והיעילות.

ספרו של שאר חוקר את ההצטלבות המורכבת, ולעיתים המסוכנת, שבין אלגוריתמים מתקדמים למלחמה מודרנית, תוך הצבת שלוש שאלות יסוד נורמטיביות ומעשיות: האם יש להתיר לרובוטים לקבל החלטות של חיים ומוות באופן עצמאי? מהי רמת המעורבות האנושית, הפיזית והקוגניטיבית, שנדרשת בתהליך קבלת ההחלטות בשדה הקרב? והאם ניתן, או בכלל רצוי, לכונן איסור בינלאומי גורף על פיתוח ושימוש בנשק אוטונומי?

אף על פי שהספר הוא פנינה של ראיית הנולד, פרסומו בשנת 2018 פירושו שהכותב היה עיוור להתפתחויות משמעותיות שהתרחשו בתחום מדעי הנתונים בשנים האחרונות כמו מודלי השפה וקצב השיפור שלהם. 

דווקא שימוש בבינה צרה אל מול אוכלוסייה במטרה לאתר פרטים חמושים באמצעות זיהוי פנים, עיבוד תמונה של כלי רכב ודפוסים התנהגותיים, יצר הליכי קבלת החלטות פגומים וגזעניים לעיתים קרובות. כשאלגוריתם נטול הקשר נשלח לנהל סיווג של עוין/לא עוין בקרב אוכלוסייה אזרחית רחבה, פגמי האימון של המערכת מתגלים במהירות, היא עלולה לא להבחין בין ילדים המחזיקים צעצוע לבין לוחמים חמושים, ומכיוון שהיא יעילה במיוחד, היא מסוגלת לבצע טעויות המוניות במרווחי זמן שאינם מותירים לאף דרג אנושי זמן לשנות את התצורה. אז הטוענים שדווקא יש לתת בינה מלאכותית עם הקשר צר לכלי נשק מתעלמים שאולי דווקא בינה מלאכותית עם הקשר רחב יותר ויכולות רחבות יותר תקבלנה פחות החלטות מחרידות מנקודת מבט אנושית.

פחות משנה מה עמדתו של הכותב ופחות משנה מה לקח בחשבון ומה לא ויותר משנה מה הבעיות שעולות והתחושה הקשה שאין זה משנה מי יחליט להגביל מה, במלחמה כמו במלחמה, בסופו של דבר לא כולם משחקים לפי הכללים וגם לא בטוח לטובת מי הכללים ואיך משתמשים בהם.

דברו איתי:

שלמה יונה

מייסד ומדען ראשי, מתמטיקאי מחקר ופיתוח בע"מ

053-7326360

shlomo.yona@mathematic.ai 

https://mathematic.ai

פודקאסט על החברה ועליי, שלמה יונה, ואופן העבודה שלנו ואיתנו: A technical deep dive about Mathematic.ai