תוֹכֶן
להסיר:
בשנים האחרונות ה- AI אומץ והופעל יותר ויותר לכל דבר, החל בהערכת יופי וכלה בהערכת הסיכון לחזרתיות. בכך היא גם שמרה על תקנים התומכים בהטיה ואפליה בכמה מקרים.
לקידום הטכנולוגיה יש פוטנציאל לדמוקרטיזציה של הגישה למידע והזדמנות. עם זאת, כאשר במקרים מסוימים משתמשים בו בדרכים המחזקות את התפיסה כי בחברה שלנו יש אנשים שווים יותר מאחרים.
זה מה שראינו משבע המקרים הבאים שבהם בינה מלאכותית (AI) משמשת במכוון להוצאת קטגוריות מסוימות או בהן היא פשוט משקפת את ההטיה המוטמעת על ידי המתכנתים האנושיים שלה עם השפעה מפלה.
הטיה ביוטי AI
היופי אולי בעיני המתבונן, אך כאשר ההשקפה הסובייקטיבית הזו יכולה לתכנת AI, יש לך הטיה בתוכנית. רחל תומאס דיווחה על פרק אחד כזה בתחרות יופי של beauty.ai בשנת 2016. התוצאות הראו כי גוונים בהירים יותר דורגו אטרקטיביים יותר מאלו החשוכים.
בשנה שלאחר מכן, "FaceApp, שמשתמש ברשתות עצביות כדי ליצור פילטרים לצילומים, יצר 'פילטר חם' שהאיר את עמי האנשים והעניק להם תכונות אירופיות נוספות."
הטיה מגדרית בשפות
תומאס מציין גם דוגמה מתועדת לתרגומים המעבירים ציפיות סטריאוטיפיות מהקריירה. נקודת המוצא היא שני משפטים: "היא רופאה. הוא אחות."
אם אתה מתרגם אותם לטורקית ובחזרה לאנגלית, תקבל את סוג התוצאות שאולי ציפית ממשחק טלפון.
במקום לקבל את מה שהתחלת איתו, היית מקבל ציפייה משנות החמישים, "הוא רופא. היא אחות." היא מסבירה שזה נובע מהכינוי היחיד-נייטרלי מגדרי בשפה הטורקית שיוקצה מגדר על בסיס ציפיות והטיה סטראוטיפית. (קראו נשים ב- AI: חיזוק סקסיזם וסטריאוטיפים בטכנולוגיה.)
אמנם הטיות גזעיות ומגדריות הסינון לתמונות ולשפה הן סיבה לסיבוך, אבל זה לא ממש אותו דבר כמו אפליה פעילה הנובעת ממחלת הסיכון, אך זה קרה גם כן.
ההוכחה שלה הייתה צילום מסך של המגבלות שהוצבו למודעה תחת קטגוריית הדיור שלה, שאפשרה את האפשרות לצמצם את הקהל על ידי ביטול אי הכללות של קטגוריות כמו אפרו-אמריקאיות, אמריקאיות אסייתיות או היספנים. ניתן להציג את המודעה כאן.
כפי שציינה ProPublica, ההשפעה המפלה של מודעות מסוג זה אינה חוקית הן על פי חוק הדיור ההוגן משנת 1968 והן על חוק זכויות האזרח משנת 1964. ההגנה היחידה במקרה זה הייתה שהמודעה לא נועדה לדיור עצמו, מכיוון שהיא לא הייתה " לא על נכס או בית למכירה או להשכרה.
עם זאת, היו מקרים אחרים של מיקוד המצביעים על הטיה גזעית והניעו גורמים שונים להביא תביעות אזרחיות נגד הרשת החברתית. כפי שדיווח Wired, סוף סוף החליט להתאים את הטכנולוגיה של מיקוד המודעות שלה כתוצאה מהסדר של חמישה תיקים משפטיים שהאשימו אותה באפשרות אפליה של מיעוטים באמצעות מודעות במרץ 2019.
בדו"ח על ההתנחלות, ACLU ציין עד כמה יכול להיות שמודעות מודעות ממוקדות כאלה יכולות להיות, שכן מיעוטים ונשים אולי אפילו לא מבינים שהם לא מקבלים גישה זהה למידע, דיור והזדמנויות עבודה המשותפות עם גברים לבנים.
ככל שיותר אנשים פונים לאינטרנט כדי למצוא מקומות עבודה, דירות והלוואות, קיים סיכון ממשי שמיקוד מודעות ישכפל ואף יחמיר את ההטיות הגזעיות והמגדריות הקיימות בחברה. תאר לעצמך אם מעסיק יבחר להציג מודעות עבור עבודות הנדסיות רק לגברים - לא רק שמשתמשים שאינם מזוהים כגברים לעולם לא יראו את המודעות האלה, הם גם לעולם לא יידעו מה הם פספסו.
אחרי הכל, לעיתים רחוקות יש לנו דרך לזהות את המודעות שאיננו רואים באינטרנט. כי אפליה זו אינה נראית למשתמש המודר מקשה על עצירה.
2. אפליה בין מגדר לגיל בעבודה
בין המקרים המשפטיים הייתה האפליה הבלתי חוקית בדיור שהמיקוד איפשר לה. בפרופובליקה נמסר בדו"ח שלה על ההתנחלות כי היא בחנה את הפלטפורמה והצליחה לרכוש "מודעות הקשורות לדיור על קבוצות שהוצאו מכלל קבוצות כמו אמריקאים אפריקאים ויהודים, והיא מצאה בעבר מודעות דרושים למעט משתמשים לפי גיל ומין שהוצבו על ידי חברות. אלה שמות משק בית. "
מספר מודעות דרושים ש- ACLU מצאה כי מכוונות באופן מפורש רק לגברים במכלול גיל מסוים, כפי שהמשתמשים יכלו למצוא בלחיצה על התשובה מדוע הוצגה המודעה הספציפית הזו, הופיעו במאמר אחר Wired. ה- ACLU העמיד בפני נציבות שוויון הזדמנויות תעסוקה אישום נגד הרשת החברתית והחברות שהציבו את המודעות בטענה שהן מפרות את חוקי העבודה וגם את זכויות האזרח.
אפליה נגד שכירת אנשים מעל גיל 40 מפרה את חוק הפליה הגילית בעבודה (ADEA). אך מיקוד מודעות דרושים רק לאנשים מתחת לגיל זה הוא אחד הדברים שמאפשרת הפלטפורמה.
ProPublica הבהירה כי המוקד באחד הדיווחים בו חושף אילו מודעות דרושים מהוו את צורת ההדרה הבלתי חוקית הזו לפי גיל. "שמות משק הבית" כוללים את Verizon, UPS, Uber, Target, Statefarm, Northwestern Mutual, Microsoft, J Street, HusbSpot, IKEA, Fund for the Public Public, Goldman Sach, OpenWorks, עצמה, בין היתר.
זיהוי פנים נכשל
"הכרת הפנים מדויקת, אם אתה בחור לבן" הכריזה על הכותרת של מאמר בניו יורק טיימס שפורסם בפברואר 2018. היא ציטטה תוצאות שמצאו קשר מובהק בין גוון עור לזיהוי לקוי:
"ככל שהעור כהה יותר, כך מתעוררות שגיאות - עד כמעט 35% לתמונות של נשים כהות עור, כך עולה ממחקר חדש ששובר קרקע רעננה על ידי מדידת אופן הפעולה של הטכנולוגיה על אנשים מגזעים ומגדרים שונים."
הממצאים נזקפים לזכות ג'וי בואולמוויני, חוקרת במעבדת המדיה של MIT, ומייסדת הליגה האלגוריתמית (AJL). תחום המחקר שלה הוא ההטיות העומדות בבסיס AI, וכתוצאה מכך לתוצאות כל כך מגולגלות כשמדובר בזיהוי פרצופים שאינם מתאימים לנורמה הגברית הלבנה שנקבעה לדגם.
ביולמוויני הציגה את בעיית ההטיה הגזעית והמגדרית לצורך זיהוי פנים בשיחת TED לשנת 2017, אותה התייחסה לה בתחילת 2018 בסרטון "פרויקט גוונים מגדריים" ממעבדת MIT:
<
האמור בתיאור הסרטון הוא כי השארת הטיה של AI לא מסומנת, "תפגע בעידן האוטומציה ויחמיר עוד יותר את אי השוויון אם יישאר לנקוט." הסיכונים הם לא פחות מ"הפסד את הרווחים שהתקבלו בתנועה לזכויות האזרח ותנועת נשים תחת הנחה שגויה של נייטרליות מכונה. "
תיאור הווידיאו מוסיף את האזהרה שרבים אחרים הצביעו כעת, כפי שראינו אצל נשים ב- AI: חיזוק סקסיזם וסטריאוטיפים בעזרת טק: "מערכות אוטומטיות אינן נייטרליות מטבען. הן משקפות את סדר העדיפויות, ההעדפות והדעות הקדומות - המקודדות מבט - של אלה שיש להם את הכוח לעצב בינה מלאכותית. "
ב- 25 בינואר, 2019 Buolamnwini פירסמה פוסט בינוני ששאב את המחקר שלה ושל חוקרים נוספים שמציינים כיצד פגמי ה- AI גורמים לטעויות בהכרה של אמזון ודרשו מהחברה להפסיק למכור את שירות ה- AI למחלקות המשטרה.
בעוד שההכרה יכולה להתהדר ברמת דיוק של 100% לצורך זיהוי זכרים בהירי עור ודיוק של 98.7% אפילו אצל גברים כהים יותר, בכל הנוגע לנקבה, הדיוק ירד ל 92.9% עבור נקבות בהירות יותר. עוד יותר בוהק היה הירידה החדה לרמת דיוק של 68.6% בלבד עבור נשים כהות יותר.
אבל אמזון סירבה להיכנע. מאמר של Venture Beat ציטט הצהרה מאת ד"ר מאט ווד, מנכ"ל למידה עמוקה ו- AI ב- AWS, בה התעקש כי ממצאי החוקרים לא שיקפו את השימוש ב- AI, והסביר:
"ניתוח פנים וזיהוי פנים שונים לחלוטין מבחינת הטכנולוגיה העומדת בבסיס הנתונים והנתונים המשמשים להדרכתם. לא מומלץ לנסות להשתמש בניתוח פנים כדי לאמוד את דיוק זיהוי הפנים, מכיוון שהוא אינו האלגוריתם המיועד למטרה זו. "
אך לא רק אלה הקשורים למרכזי מחקר גדולים מצאו כי האלגוריתמים הם מאוד בעייתיים. ה- ACLU ערך מבחן משלו בעלות סבירה ביותר של 12.33 דולר, על פי הדו"ח Gizmodo. הוא מצא כי Rekognition התאים 28 חברי קונגרס עם תמונות של פושעים.
"ההזדהות השגויה נעשתה כאשר ה- ACLU של צפון קליפורניה הטילה את ההכרה לתצלומים תואמים של כל 535 חברי הקונגרס כנגד 25,000 תמונות זמין בציבור."
מכיוון ש -11 מתוך 28 היו אנשים עם צבע, זה שיקף שיעור שגיאות משמעותי של 39% עבורם. לעומת זאת, שיעור השגיאות בכללותו היה מקובל יותר על 5%. שישה מחברי הקוקוס השחור של הקונגרס, שהיו בין אותם הכרים שקשורים לספלים, הביעו את דאגתם במכתב פתוח למנכ"ל אמזון.
הטיה של הרדידיזם
ההטיה המוטמעת ב- AI נגד אנשים בצבע הופכת לבעיה חמורה יותר כאשר המשמעות היא יותר מסתם שגיאה בזיהוי. זה היה הממצא של חקירה נוספת של ProPublica בשנת 2016. ההשלכות של הטיה כזו אינן פחות מחופש אינדיבידואלי יחד עם התעלמות מסיכון אמיתי מצד האדם שצבע העור שלו מועדף על ידי האלגוריתם.
המאמר התייחס לשני מקרים מקבילים בהם עבריין אחד עבריין לבן ואחד שחור. נעשה שימוש באלגוריתם כדי לחזות מי מהם עשוי לעבור על החוק שוב. השחור דורג סיכון גבוה, והלבנה סיכון נמוך.
התחזית טעתה לגמרי, והלבנה שהשתחררה נאלצה להיכלא שוב. זה בעייתי ביותר מכיוון שבתי המשפט אכן מסתמכים על הניקוד בבחירת השחרור, ומשמעות הדבר היא כי ההטיה הגזעית המובנית בתכנית פירושה יחס לא שוויוני על פי החוק.
פרופובליקה העמידה את האלגוריתם במבחן משלה, והשוותה את ציוני הסיכון של מעל 7,000 אנשים שנעצרו במחוז ברודרד, פלורידה, בשנים 2013 ו -2014 למספר שהאשמות פליליות חדשות שהוגשו נגדו בשנתיים שלאחר מכן.
מה שהם מצאו היה שרק 20% מהתחזיות לחזרה על פשעים בעלי אופי אלים התגשמו, ופשעים קלים יותר התרחשו רק אצל 61% מאלה עם ציונים המצביעים על סיכון.
הבעיה האמיתית היא לא רק חוסר הדיוק אלא ההטיה הגזעית הכרוכה בכך:
- הנוסחה הייתה ככל הנראה מסמנת באופן שגוי נאשמים שחורים כפושעים עתידיים, ותיגה אותם בצורה שגויה כמעט פי שניים מהנאשמים הלבנים.
- נאשמים לבנים תויגו בטעות כסיכון נמוך לעתים קרובות יותר מאשר נאשמים שחורים.
למעשה, הדבר תורגם לשיעור שגיאות של 45% עבור אנשים שחורים ו -24% עבור אנשים לבנים. למרות הנתון הבולט הזה, תומאס דיווח כי בית המשפט העליון בוויסקונסין עדיין אישר את השימוש באלגוריתם זה. היא מפרטת גם בעיות אחרות הקשורות לאלגוריתמים של הרדיווידיזם.