דיפ פייקים, איך, מה ולמה?

תחום הדיפ פייקים או Deepfakes הוא אחד התחומים שמרתקים אותי. גיליתי אותו, כמו רבים, מתוך סרטוני וידאו שהלבישו שאיחדו את הפנים של פוליטיקאי אחד עם אחר. התחום חם, ואפשר למצוא ברשת בקבוצות שונות ב-Reddit שלל ניסיונות בתחום הוידאו. יש המון סימני שאלה לגבי זכויות היוצרים של החומרים בהם משתמשים, האם מדובר בשימוש הוגן, בהפרת זכויות יוצרים ועוד. במקום מסוים הדיון מזכיר את השיחה על תחום הרימיקס. אם מישהו זוכר את ה-Remix Manifesto, או את הדיונים המשפטיים בעולם ההיפ הופ והשימוש בסימפול – אז תוסיפו על זה היבט של גניבות גוף וזהות, זכות האדם לשלמות דמותו ועוד.

בני גנץ ולוק סקייווקר – דיפ פייק שהכנתי

למרות שתחום הוידאו פנים הוא התחום המוכר יותר, עולם ה-Deepfake הולך ומתקדם לתחומים נוספים. Voice Cloning, שיבוט קולות, הוא תחום עולה. חברת Lyrebird הקנדית שנקנתה לאחרונה, פיתחה אלגוריתם המאפשר זיוף קול בצורה מלאה. ניסיונות ראשוניים יצרו תנועות גוף מלאים של AI על בסיס שפת גוף של מישהו אחר. לאחרונה, על בסיס ניתוח ואימון של קוד יצא לשימוש הציבור, באופן חופשי, מאגר של 100,000 פרצופי סטוק שיצרה AI. כך שאנחנו לא מדברים בטווח הארוך רק על דיפ פייק של פנים, אלא של אנשים, חיות אפילו וכן הלאה.

הדגמת Voice Cloning ב-Lyrebird

מה מורכב חברתית העניין? מאוד. בצד האפל, זיופים, והרבה מהם. זיוף נאומים של פוליטיקאים, זיופי פורנו של שחקנים/ות מפורסמים ומפורסמות, נקמה במעסיקים, באקסים ואקסיות. זיוף הודאות, זיוף הוראות, פקודות קוליות. דמיינו פקודה קולית לבנקאי שלכם להעביר כסף, ואז מייל שדומה מאוד לשלכם וחתימה דיגיטלית, ואנחנו בבעיה גדולה. הצד השלילי של הדיפ פייק לדעתי יהפוך לענף באבטחת סייבר. כיצד נזהה שמשהו מזויף? בעזרת איזה כלים? כמה עמוק הזיוף יכול להיות וכמה עוצמתי?
שאלות נוספות עולות סביב התועלת החיובית שיש בתחום. נגיד בתחום הבידור – נניח ויש לנו יכולת לשכפל דמות של שחקן ולעשות בה שימוש לנצח (כנס העתידנים Anyone?), עד מתי נותן שחקן רישיון לעשות שימוש בדמותו? היום חוזי האמנים נותנים אישור בלתי מוגבל לעשות שימוש בצילומים שונים לגופי שידור. האם רשת וקשת, האם דיסני או וורנר יוכלו לקחת את חומרי הגלם של השחקנים שהיו חתומים אצלם כטאלנטים ולעשות שימוש אינסופי בחומרים איתם הם עבדו עד כה? האם מפיקי מוסיקה יכולים לסמפל קטעים של אמני עבר ולהרכיב שירים חדשים מהם? בנוסף, האם שימוש מופתי בתחום לא יכול לייתר את מרבית השחקנים? לאחרונה הוציאה חברה אמריקאית 100,000 תמונות ראשים מזויפים ש-AI ייצר, שלב ראשון בדרך לייצור של 100,000 וידאו של גוף מלא שכולו זיוף.
כיום הטכנולוגיה לא מספיק בשלה. אני מכין סרטוני דיפ פייק מזה מספר שבועות, וכמות הטסטים שאני נדרש אליה גבוהה מאוד. סרטון עשוי היטב כולל הרבה מאוד שעות מחשוב, והמון טסטים וחיתוכים בתוכנת עריכה כדי לחתוך את כל מה שלא עובד כמו שצריך. אבל אנחנו בדרך לשם. הטכנולוגיה – מדהימה. באמת. האפקט שנוצר בצפייה בסרטוני דיפ פייק נע בין המבודח למבהיל. זה מצחיק אנשים שזה מה שהם רואים, שילוב של אנשים שהם מכירים, ובאותה נשימה הם נבהלים. משהו שם מרגיש טוב מדי. זה פלירטוט עם ה-Uncanny Valley, מידת הדמיון שיצירה אנימטיבית או מכאנית מזכירה את האנושי. משהו בדיפ פייק יושב קצת יותר מדי טוב, או יושב קצת יותר מדי רע. לכאן או לכאן זה מעורר רגשות מורכבים מהצופה.

אביב גפן Deepfake – הוציא מאנשים תגובות מ-וואט ל-וואו

איך זה עובד?

בגדול, ישנם מדריכים שונים ברשת שמסבירים איך להכין סרטוני Deep Fake. יש מספר תוכנות פתוחות לציבור, מהן טובות יותר וטובות פחות. לתחושתי מהנדסי התוכנה הטובים בתחום הם רוסים או סינים. אפליקציות סיניות כמו ZAO עושות עבודה מדהימה, אבל מקבלות ביקורות על הפרת הפרטיות של אנשים. FaceApp הרוסית, גם היא זוכה לביקורת כזו. אני משתמש בתוכנות מבוססות פייתון, הנמצאות זמינות ברשת להורדה כמו Deepface Lab, ולפניה ניסיתי את Fake App ועוד אתר סיני שלא ממש עבד.
תהליך העבודה כולל מספר שלבים – בחירת חומרי גלם מתאימים, בהם רואים מספיק הבעות פנים פרונטליות. לא צריך יותר מדי וידאו, אולי אפילו עדיף וידאו קצר יחסית. אני עובד עם סרטונים של עד 5-7 דקות.
לאחר מכן, מיון הפרצופים המופיעים בוידאו של המודל אותו רוצים לזייף, בכדי שהתוכנה תתמקד רק בפרצוף של המודל עצמו ולא רעשי רקע. לאחר מכן, פעולה דומה בסרטון היעד. ואז מתחיל החלק הארוך והוא 8-12 שעות למידה של המחשב את האובייקטים השונים. לרוב משהו אותו פרק זמן לכל סרטון. ישנן טכניקות שונות לביצוע הלמידה. אין נכון או לא נכון, יש מה עובד לך יותר טוב. אני משתמש בדרך כלל במספר שיטות במקביל, משווה תוצאות, וחותך את מה שעובד לי. אחרי הלמידה עושים את הליך מיזוג המודלים, שלוקח עוד כמה שעות, ולבסוף איחוד לוידאו ועריכה למוצר מוגמר. פשוט? בהתחלה לא. זה תמיד הרבה עבודה.

דוגמא לסרטון באמצע תהליך עבודה וטסטים

כל התהליך הזה דורש חומרה נורמלית, המזל שלנו זה שתעשיית הגיימינג יצרה חומרה בסיסית מפלצתית. כרטיסי מסך חזקים יחסית זמינים במחירים שווים לכל נפש. צריך לא פחות מ-4 גיגה-בייט זיכרון על כרטיס המסך, רצוי יותר, וגם רצוי שה-CPU שלכם יהיה חזק יחסית ועם מספיק RAM. אני ממליץ גם על הארדיסק עם המון שטח פנוי. כל סרטון לוקח כמה עשרות גיגות בנפח שלו.
שימו לב שכשאתם מסיימים ומעלים – פייסבוק נוטה לזהות את חומרי הגלם ולחסום את חלקם בשל זכויות היוצרים, ביוטיוב חברות המדיה השונות מסמנות את התוכן, אבל לא בהכרח חוסמות. אגב, הזיהוי לפעמים מייצר תוצאות מצחיקות בגלל טעויות זיהוי, ולפעמים זה סתם מעצבן.
מוזמנים להיכנס לערוץ שלי ולהרשם לפלייליסט Deepfake ישראל, בו אני משתף סרטונים שונים שאני עושה, כמו אלו שמוטמעים כאן, ובכלל לשלוח לי שאלות.

על כתיבת פנטזיה לא מערבית

סיימתי לקרוא את טרילוגיית Winternight של קתרין ארדן. מניח שרובכם לא מכירים את השם, ארדן היא אחד השמות ה-Up and coming במצעדי מכירות הפנטזיה מזה מספר שנים, ולצערי הספרים שלה עדיין לא תורגמו לעברית. מה שמיוחד בכתיבה שלה הוא שהיא חלק מזרם שלא עושה שימוש בחומרי גלם קלאסיים, אלא מחפש השראה ממיתולוגיות אחרות. במקרה שלה, המיתולוגיה הסלאבית, המוכרת למי שמשפחתו מגיעה מחבר העמים היטב.

במוקד העלילה של סדרת Winternight, עומדת נערה כפרית במחוז ברוסיה של ימי הביניים. רוסיה של התקופה היא שורה של נסיכויות המנהלות קשרי גומלין וכפופות לנסיכות במוסקבה. הנצרות מנסה לטעת אחיזה באזורים הכפריים, ועולם האגדה הסלאבי מנהל מלחמת הישרדות מול הדת. גיבורת הסיפור מגלה את עולם האגדות, ומוצאת כי יש לה בו תפקיד מפתיע במיוחד. העלילה משלבת דמויות מיתיות כדומובוני, רוסלקות, צ'רטות ושאר מיני רוחות ושדים מהמיתולוגיה הסלאבית. זה בעצם ספר פנטזיה על דד מורוז וסינגורצ'קה, גיבורי הנובי גוד.

רוב הכתיבה הפנטסטית שאני קראתי בחיי נשענה על המיתולוגיות המערביות המרכזיות – היוונית, הנורדית או הבריטית. את עולמות הפנטזיה מאכלסים עלפים, דרקונים, הוביטים, גמדים, פיות וכן הלאה. זה לא מפתיע, שכן רוב מה שקראתי בחיי היה ספרות מערבית. מיצירות קלאסיות כשר הטבעות, ועד לספרות מודרנית יותר כמו ניל גיימן. לא פעם הרגשתי כי נוצרו מעין גבולות גזרה מחייבים במסגרתם רוב ספרות הפנטזיה מתקיימת והיא מכילה את אותן קונבנציות של קסם ואגדה. אבל גבולות נועדו שישברו אותם וישחקו איתם, כי אחרת איפה הכיף? הפעם הראשונה שקראתי פנטזיה שלא נשענה על עולמות התוכן המערביים הייתה בסדרת "רצון הנודד" של מרגרט וייס וטרייסי היקמן, מעין פנטזיה המבוססת על המיתולוגיה הערבית/איסלאמית, כמו שאמריקאים תופסים אותה – ג'ינים, בדווים מסתוריים וכו'.

בשנים האחרונות הולכת ועולה כתיבה פנטסטית המבוססת על מסורות חדשות. למשל, "ילדי הדם והעצם" של טומי אדמייה, הנשענת על סיפורי עם מערב אפריקאיים. בקינדל מחכה לי The Poppy War של R.F Kuang העוקב אחר אימפריה סינית אפלה. הנובלה The Terracotta Bride של זן צ'ו, היא אחת המיוחדות שקראתי בשנים האחרונות וגם היא שואבת השראה מהמיתוסים הסיניים. אגב, קתרין ארדן היא לא הכותבת היחידה שנשענת על מיתולוגיה סלאבית, אליה מצטרפת נעמי נוביק שזכתה בשלל פרסים על ספרה "עקורה", וכעת הוציאה ספר חדש בשם "Spinning Silver". בראיונות עם אותם סופרים הם מתארים איך בשנים הפורמטיביות של חייהם שמעו על אגדות ומעשיות הנוגעות לתרבות מהם הגיעו. אלו היוו את חומרי הגלם שלהם, והיו להשראה לכתיבה שלהם. זה מרענן, זה מרגש ועבורי כיוצר זה שב ומזכיר את האמת הפשוטה שאם אתה רוצה ליצור משהו אותנטי אה חייב להתחבר לחוויות אמיתיות בחייך, בין אם אלו חוויות רגשיות, ובין אם אלו אלמנטים של התרבות שאתה חלק ממנה.

פיתוח משחקים חינוכיים – חלק ב' – תפקיד ה-Flow

אחד ממונחי המפתח עליהם בהם אני עושה שימוש כשאני מרצה על פיתוח ועיצוב משחקים, הוא ה-Flow, או עיקרון הזרימה בתרגום חופשי. המונח שאוב מפסיכולוגיה חיובית והגה אותו מיהאי צ'יקסנטמיהאיי. ומתאר את החוויה של השחקן לאורך המשחק. לצורך שימורו של השחקן במשחק עלינו לשמר אותו בנתיב שנע בזהירות בין שעמום לתסכול. מצב ה-Flow מתאר התנסות אופטימלית בחוויה ומאופיין במה שאפשר לקרוא לו בשפה חופשית "צלילה". השחקן ממוקד ומעורב במשחק, יש לו מוטיבציה להמשיך והוא מוטמע בחוויה (Immersed). להיות ב-Flow זו חוויה מדהימה. אתה נכון ללמוד, לא שם לב לזמן, אתה רק רוצה להמשיך. בתור מישהו שאוהב לקרוא, לכתוב, לשחק ולראות טלוויזיה – זו החוויה שאני מחפש. היא מייצרת אצלי אושר גדול מאוד.

ישנם מספר משתנים המשפיעים על כניסה למצב זה. בין אלו ניתן למנות: מטרה ברורה, הצורך להתרכז בביצוע דבר מה, היזון חוזר (פידבק), שילוב של פעולה ומודעות, מטרה ברורה, מענה על יכולת, חיפוש אחר אתגר, שליטה עצמית ותגמול פנימי. קחו קריאה לדוגמא. אנו מרוכזים בפעולה ספציפית שיש לה מטרה ברורה – לסיים ספר. מטרה זו דורשת מאיתנו משמעת עצמית. אנחנו מקבלים פידבק מיידי בדמות הסיפור שנגלה לפנינו. הקריאה מותאמת ליכולות שלנו ומייצרת לנו אתגר (לגמור את הספר!). כל מה שנדרש ממני כקורא זה לשבת על התחת ולקרוא. אנחנו יודעים שאם נשלים את קריאת כל הספר נקבל פרס – התרגשות מהסיפור שנגלה לפנינו. אולי נבכה, אולי נצחק, אולי נחייך, אולי נרגיש משהו גדול מהחיים. דבר דומה מתקיים בעת צפייה בסרט או משחק. כשאנחנו ב-Flow אנחנו לא שמים לב לעצמנו ולא שמים לב לזמן. כמה מאיתנו יכולים להעיד על התחושה לאחר שעות של משחק או קריאה אינטנסיבית כשהם אמרו "וואו, כבר ערב ושכחתי לאכול". ברור ששכחת לאכול, נהנית בצורה יוצאת דופן. צפת ב-Flow וזה היה מדהים.

Flow מיהאי צ'יקסנטמיהאיי
מה קורה כשאתה נמצא ב-Flow – בצד שמאל מה ה-Flow דורש, ובצד ימין התוצאות

 

ה-Flow לא מעניק לנו הזדמנות לייצר חוויה טובה לשחקן. הוא גם מייצר גבולות גזרה שאנו כמעצבי משחקים צריכים לקחת בחשבון. אם נדמיין את ה-Flow כנהר, והשחקן צריך לצוף במרכזו, הרי שיש לו שתי גדות – גדה אחת היא התסכול והגדה השניה היא השעמום. במידה והדרישה מהשחקן תהיה קשה מדי הוא יצא מה-Flow ויחווה תסכול. במידה והדרישה מהשחקן קלה מדי, הוא יחווה שעמום.

עקרון הזרימה, ה-FLOW, וגבולות הגזרה שלו
עקרון הזרימה, ה-FLOW, וגבולות הגזרה שלו

כך שהיתרון של ה-Flow הוא בהיותו אמצעי להכווין את החוויה של השחקן. אנו כמעצבי משחק צריכים לשאול איפה פוגש אותנו ה-Flow בהבניית תהליך הלימוד של השחקן, או ההיפך – איפה הלמידה פוגשת את ה-Flow. ככלל, למידה היא אמצעי נהדר ליצור Flow מצד אחד, ומצד שני למידת מידע חדש מעוררת אצלנו סיפוק ותחושה של התקדמות. כאשר מגיע השחקן למצב של Flow הוא מפתח יכולת ריכוז יוצאת דופן הנובעת ממידת העניין וההיטמעות שלו בחוויה (Immersion). השאיפה שלנו בעיצוב משחק חינוכי היא ללמד את השחקן משהו חדש. אם הצלחנו להכניס שחקן אל ה-Flow, יש לנו הזדמנות יוצאת דופן לגרום לו ללמוד מיומנויות חדשות זאת בזמן שהוא במצב קליטה גבוה ומרוצה מכך. נוצר אתגר בו יש לייצר איזון עדין מאוד בין החרדה מצד אחד, לשעמום מהמידע אליו הוא נחשף מהצד השני.

על כך צריך להוסיף שאלת יסוד אותה עלינו לשאול את עצמנו כמעצבי משחקים: מה הרגע הנכון ביותר להציג מידע חדש?

יש לכך שתי גישות שאני אישית אוהב.

הראשונה היא הגישה הכימית לפיתוח משחקיות של מעצב המשחקים דן קוק. אגב, דן קוקו הוא מעצב שאני ממליץ בחום לקרוא ולשחק במשחקים שלו שהם ממכרים בצורה יוצאת דופן. הגישה של דן קוק מניחה כי כל סט מיומנויות של השחקן מורכב ממספר מיומנויות משנה. כמו מולקולה כימית המורכבת מאטומים של יסודות. האתגר הוא לבנות מולקולות אתגריות שהולכות ונהיות מורכבות יותר. אחת הדוגמאות שאני אוהב להשתמש בהן היא מהמשחק "הנסיך הפרסי". ראשית השחקן לומד לרוץ, לקפוץ ולעשות צעדים קטנים. אחרי שהוא שולט בכך הוא לומד לרוץ ולקפוץ. לאחר ששלט בכל אלו הוא עובר למיומנויות החרב, ואלו נסמכות על השליטה שלו בכל הנ"ל. שיטה זו מייצרת שורה ארוכה של רגעי "אה הא!", רגעים בהם השחקן לומד דבר מה חדש, ובעקבות האינטרקציה שלו עם המשחק הוא נסחף לתהליך למידה הולך וגדל. כאן ה-Flow נכנס לתמונה.

הגישה השניה היא ZPD – או במילים אחרות Zone of Proximal Development של הפסיכלוג לב ויגוצקי. ה-ZPD (אזור ההתפתחות המקורבת, שזה השם הנורא ביותר שאפשר היה לתת למשהו אי פעם) הוא הטווח שבו למידה עוברת מלמידה בעזרת מורה או חבר, או לחילופין תוכנת מחשב, לשלב שבו השחקן יכול לבצע את מה שהוא רוצה לבדו. הוא הפנים את הידע ומסוגל להמשיך הלאה. המעוניין להעביר ידע חדש לשחקן (או תלמיד), צריך לתת לו אתגרים הולכים ומתגברים תוך שהוא או מנחה אקטיבית או מייצר הזדמנויות של למידה משותפת עם שחקנים אחרים. אפשר להתייחס למשחק כמערכת המאפשרת למידה משותפת עם בינה מלאכותית או כללים מוגדרים מראש. ברגע שהשחקן משתלט על הידע החדש הוא חווה תחושה של עצמאות, מסוגלות ונע קדימה במשחק. מחקרים שונים מציינים דמיון בין ה-Flow ל-ZPD. תחושת המסוגלת שנוצרת וההגעה לביצוע מוצלח של משימות, מעוררים אצל השחקן מרחב ביצוע אופטימלי הדומה מאוד למרחב של ה-Flow עצמו.

שתי הגישות מייצרות מציאות בה השחקן עובר מעין מסע מודרך של רכישת מיומנויות חדשות על ידי המשחק (ובעקיפין על ידי מעצב משחק). פיתוח משחק דורש מאיתנו לבנות מעין "מפה" של מיומנויות בדרגות קושי הולכות וגדלות. ככל שהשחקן יתקדם הוא גם יפתח רגעי "אה-הא", וגם ירגיש שהוא במרחב ביצוע אופטימלי. הוא יתפתח ויחווה תחושה הולכת וגוברת של שביעות רצון. עם זאת, קיים גבול לכמות הידע אותו ניתן ללמד שחקן. כך שלא רק רכישת מיומנויות קריטית לשחקן, אלא גם ביצוע מפתיע ושימוש לא צפוי בהן, עליו לא חשב השחקן קודם או בצורה עצמאית.

היכולת שלנו להציג לשחקן אתגרים שונים. משימות אותן הוא צריך לבצע בעזרת היכולות שהוא למד, היא כלי בהתפתחות השחקן ושימור ה-Flow. קחו למשל את שלבי הבוס, אותם רגעי קושי מהותיים בה השחקן חווה אתגר. אלו דורשים ממנו להביא לידי מיצוי את היכולות שבידו. במידה והוא התמודד עם שורה של משימות קטנות המביעות את הידע שרכש עד כה, הוא יוכל להתמודד עם הבוס בהצלחה. ניצחון על הבוס תעניק לו תחושת מסוגלות גבוהה ותשמור אותו ב-Flow. במשחקי הרפתקאות למשל, הלמידה דורשת מימוש של ידע נצבר לאורך הדרך. אם אספת מספיק רמזים, ניהלת מספיק דיאלוג עם דמויות במשחק, כאשר תגיע לרגע של חידה תוכל לממש את הידע שצברת ולגבור עליה. צבירת הידע במשחק תלויה בשחקן לבדו, הוא זוכה לחוויה של שליטה. הוא שולט בידע שצבר, הוא מרגיש תחושה של עוצמה ומסוגלות ושואף להתקדם.

אך מהו אותו ידע אותו אנו מעניקים במשחק איך מסדרים אותו ומדוע? זה כבר תלוי במעצב המשחק ומעצב ההדרכה וגם זאת נחקור בהמשך שיבוא.

לחלק הקודם