האם באמת הרובוטים עומדים להחליף אותנו? חלק 10 - כשהבינה המלאכותית טועה: מי אחראי ואיך בונים 'אחריות אלגוריתמית'? יניב אלטרס
- יניב אלטרס
- 19 באוק׳
- זמן קריאה 3 דקות
לפני שבועיים התקשרה אליי יועצת שלי.
"אנחנו צריכים לדבר", היא אמרה. "יש לנו בעיה."
הבעיה הייתה די פשוטה להסבר: הלקוח שאיתו היא עובדת השקיע המון כסף במערכת AI לניקוד ודירוג מועמדים לתפקידים, בברכתנו ובסיוענו.
המערכת עבדה נהדר - עד שמישהו שם לב שהיא דוחה באופן שיטתי נשים מעל גיל 45 לתפקידי ניהול.
"אף אחד לא תכנת אותה לעשות את זה", היא אמרה. "היא פשוט למדה מהנתונים של הלקוח. מהחלטות הגיוס שלהם מהעשר שנים האחרונות."
ואז השאלה שהרסה לה את השינה: "מי אחראי? אני? הלקוח? המנהלים שאישרו? מי שמכר לנו את המערכת? האלגוריתם?"
זה הרגע שבו הבנתי שאנחנו כאנשי פיתוח ארגוני מתמודדים עם אתגר שאף קורס, אף תכנית הטמעה, ואף מדריך לא הכין אותנו אליו:
איך בונים אחריות כשההחלטות מתקבלות על ידי מכונות?
הסיפורים שאף אחד לא רוצה לספר
בואו נדבר על הפיל בחדר.
כולנו שמענו על הסיפורים המפורסמים - אמזון שגילתה שמערכת הגיוס שלה מפלה נגד נשים, מיקרוסופט שהפסיקה את הצ'טבוט Tay אחרי שהפך לגזען תוך 24 שעות, אלגוריתמי משכנתאות שמפלים נגד מיעוטי, ואלוהים יודע על מה לא שמענו...
אבל מה שאנחנו כאנשי פיתוח ארגוני צריכים להבין זה שהסיפורים האלה הם לא "תאונות" של חברות ענק שלא ידעו מה הן עושות.
זה מה שקורה כשמטמיעים טכנולוגיה כאירוע IT, בלי להבין את ההשלכות הארגוניות-אנושיות שלה. כבר כתבתי על זה בעבר, ואמשיך להציק על זה.
קראתי לא מזמן על חברה אמריקאית שהטמיעה מערכת AI לניהול ביצועים. המערכת אמורה הייתה לעזור למנהלים לזהות עובדים בסיכון, להציע תוכניות פיתוח מותאמות אישית, ולייעל את התהליך.
מה שקרה בפועל?
המערכת זיהתה שעובדים שלוקחים חופשות מחלה תכופות הם "בסיכון נמוך" מבחינת ביצועים עתידיים. למה? כי בעבר, עובדים שלקחו הרבה ימי מחלה פחות קודמו. הגיוני, לא?
הבעיה היא שאף אחד לא שאל למה הם פחות קודמו.
אולי כי מנהלים תפסו אותם כ"פחות מחויבים"? אולי כי יש הטיה מגדרית (נשים עם ילדים קטנים)? אולי כי אנשים עם מחלות כרוניות מופלים מתהליכי קידום?
הנה השאלה שאנחנו כאנשי פיתוח ארגוני חייבים לשאול: מה האלגוריתם באמת למד? את הביצועים או את ההטיות שלנו?
המיתוס של "האלגוריתם אובייקטיבי"
אחד הדברים הכי מסוכנים שאני שומע בשיחות עם אנשי HR ופיתוח ארגוני זה המשפט: "לפחות זה יותר אובייקטיבי מבני אדם."
לא. זה לא.
בואו נהיה ברורים. AI אינו אובייקטיבי. הוא משקף את ההטיות שקיימות בנתונים שאיתם הוא התאמן.
אם בעשר השנים האחרונות בארגון שלכם קידמו בעיקר גברים יהודים לתפקידי ניהול בכירים, האלגוריתם ילמד שגברים יהודים הם "פרופיל מוצלח".
אם בארגון שלכם העובדים היחידים שהצליחו לעלות בדרגות היו אלה שעבדו 60 שעות בשבוע, האלגוריתם ילמד ש"מחויבות" = שעות רבות במשרד.
אם בחברה שלכם אף פעם לא העסיקו עובדים עם מוגבלויות בתפקידים מסוימים, האלגוריתם לא ידרג אותם גבוה לתפקידים האלה.
זה לא באג. זה feature
המערכת עושה בדיוק מה שהיא אמורה לעשות - היא לומדת מההיסטוריה שלנו. הבעיה היא שההיסטוריה שלנו מלאה בהחלטות לא מושלמות, בהטיות, ובמבנים שאנחנו בעצם רוצים לשנות.
כאנשי פיתוח ארגוני, התפקיד שלנו לא להניח שהטכנולוגיה תפתור את הבעיות שלנו. התפקיד שלנו לוודא שהיא לא מעצימה אותן.
מי באמת אחראי? מפת האחריות החדשה
כשאני עובד עם ארגונים על הטמעת AI (ולא רק..)אני אוהב להתחיל בתרגיל שאני קורא לו "מפת האחריות"
אני שואל: "אם המערכת תטעה, מי ישלם את המחיר?"
התשובות תמיד מגוונות- ומדאיגות.
"מערכות המידע אחראיות על הטכנולוגיה."
"המנהלים הם אלה שמקבלים את ההחלטות הסופיות."
"הספק שמכר לנו את המערכת צריך לתת אחריות."
וכשאני שואל "ומי אחראי שכל החלקים האלה עובדים יחד?", יש שקט.
הנה האמת: אין לנו עדיין מודל ברור של אחריות ארגונית בעידן ה- AI
אנחנו צריכים לבנות אחד. ומהר.
בואו ננסה לפרק את זה:
רמה 1 - האחריות הטכנולוגית- מי בנה את המערכת? איך היא עובדת? אילו נתונים היא משתמשת? האם יש שקיפות לגבי הדרך שבה היא מגיעה להחלטות?
זה לא רק על מערכות מידע. גם פיתוח ארגוני צריך להיות מעורב כאן - כי אנחנו אלה שמבינים מה באמת צריך לקרות בארגון.
רמה 2 – האחריות הניהולית- מי קבע מה המערכת אמורה לעשות? אילו ערכים היא משקפת? מה הקריטריונים להצלחה?
זה בדיוק השטח שלנו כאנשי פיתוח ארגוני. אנחנו צריכים להיות בשולחן כשמגדירים את הדרישות.
רמה 3 - האחריות המבצעית: מי משתמש במערכת? האם הם מבינים איך היא עובדת? האם הם יודעים מתי לסמוך עליה ומתי לא?
זה המקום שבו התפקיד שלנו קריטי - הכשרה, הדרכה, בניית יכולות. לא רק "איך להשתמש" אלא "איך לחשוב ביקורתי"
רמה 4 - האחריות הפיקוחית: מי עוקב אחרי התוצאות? מי בודק אם המערכת עובדת כמו שצריך? מי מזהה הטיות או בעיות?
אם אין לכם תשובה ברורה לכל רמה - יש לכם בעיה.
עד כאן בעיות ואתגרים.
בחלק הבא הסדרה אנסה לתת כמה כלים שאנשי פיתוח ארגוני חייבים לדעת.
בינתיים, מקווה שנתתי קצת חומר למחשבה. #פיתוחארגוני #למידהארגונית #HR #בינהמלאכותית #אחריותארגונית #אתיקה #שינויארגוני #AI
תגובות