דיפ פייקים, איך, מה ולמה?

תחום הדיפ פייקים או Deepfakes הוא אחד התחומים שמרתקים אותי. גיליתי אותו, כמו רבים, מתוך סרטוני וידאו שהלבישו שאיחדו את הפנים של פוליטיקאי אחד עם אחר. התחום חם, ואפשר למצוא ברשת בקבוצות שונות ב-Reddit שלל ניסיונות בתחום הוידאו. יש המון סימני שאלה לגבי זכויות היוצרים של החומרים בהם משתמשים, האם מדובר בשימוש הוגן, בהפרת זכויות יוצרים ועוד. במקום מסוים הדיון מזכיר את השיחה על תחום הרימיקס. אם מישהו זוכר את ה-Remix Manifesto, או את הדיונים המשפטיים בעולם ההיפ הופ והשימוש בסימפול – אז תוסיפו על זה היבט של גניבות גוף וזהות, זכות האדם לשלמות דמותו ועוד.

בני גנץ ולוק סקייווקר – דיפ פייק שהכנתי

למרות שתחום הוידאו פנים הוא התחום המוכר יותר, עולם ה-Deepfake הולך ומתקדם לתחומים נוספים. Voice Cloning, שיבוט קולות, הוא תחום עולה. חברת Lyrebird הקנדית שנקנתה לאחרונה, פיתחה אלגוריתם המאפשר זיוף קול בצורה מלאה. ניסיונות ראשוניים יצרו תנועות גוף מלאים של AI על בסיס שפת גוף של מישהו אחר. לאחרונה, על בסיס ניתוח ואימון של קוד יצא לשימוש הציבור, באופן חופשי, מאגר של 100,000 פרצופי סטוק שיצרה AI. כך שאנחנו לא מדברים בטווח הארוך רק על דיפ פייק של פנים, אלא של אנשים, חיות אפילו וכן הלאה.

הדגמת Voice Cloning ב-Lyrebird

מה מורכב חברתית העניין? מאוד. בצד האפל, זיופים, והרבה מהם. זיוף נאומים של פוליטיקאים, זיופי פורנו של שחקנים/ות מפורסמים ומפורסמות, נקמה במעסיקים, באקסים ואקסיות. זיוף הודאות, זיוף הוראות, פקודות קוליות. דמיינו פקודה קולית לבנקאי שלכם להעביר כסף, ואז מייל שדומה מאוד לשלכם וחתימה דיגיטלית, ואנחנו בבעיה גדולה. הצד השלילי של הדיפ פייק לדעתי יהפוך לענף באבטחת סייבר. כיצד נזהה שמשהו מזויף? בעזרת איזה כלים? כמה עמוק הזיוף יכול להיות וכמה עוצמתי?
שאלות נוספות עולות סביב התועלת החיובית שיש בתחום. נגיד בתחום הבידור – נניח ויש לנו יכולת לשכפל דמות של שחקן ולעשות בה שימוש לנצח (כנס העתידנים Anyone?), עד מתי נותן שחקן רישיון לעשות שימוש בדמותו? היום חוזי האמנים נותנים אישור בלתי מוגבל לעשות שימוש בצילומים שונים לגופי שידור. האם רשת וקשת, האם דיסני או וורנר יוכלו לקחת את חומרי הגלם של השחקנים שהיו חתומים אצלם כטאלנטים ולעשות שימוש אינסופי בחומרים איתם הם עבדו עד כה? האם מפיקי מוסיקה יכולים לסמפל קטעים של אמני עבר ולהרכיב שירים חדשים מהם? בנוסף, האם שימוש מופתי בתחום לא יכול לייתר את מרבית השחקנים? לאחרונה הוציאה חברה אמריקאית 100,000 תמונות ראשים מזויפים ש-AI ייצר, שלב ראשון בדרך לייצור של 100,000 וידאו של גוף מלא שכולו זיוף.
כיום הטכנולוגיה לא מספיק בשלה. אני מכין סרטוני דיפ פייק מזה מספר שבועות, וכמות הטסטים שאני נדרש אליה גבוהה מאוד. סרטון עשוי היטב כולל הרבה מאוד שעות מחשוב, והמון טסטים וחיתוכים בתוכנת עריכה כדי לחתוך את כל מה שלא עובד כמו שצריך. אבל אנחנו בדרך לשם. הטכנולוגיה – מדהימה. באמת. האפקט שנוצר בצפייה בסרטוני דיפ פייק נע בין המבודח למבהיל. זה מצחיק אנשים שזה מה שהם רואים, שילוב של אנשים שהם מכירים, ובאותה נשימה הם נבהלים. משהו שם מרגיש טוב מדי. זה פלירטוט עם ה-Uncanny Valley, מידת הדמיון שיצירה אנימטיבית או מכאנית מזכירה את האנושי. משהו בדיפ פייק יושב קצת יותר מדי טוב, או יושב קצת יותר מדי רע. לכאן או לכאן זה מעורר רגשות מורכבים מהצופה.

אביב גפן Deepfake – הוציא מאנשים תגובות מ-וואט ל-וואו

איך זה עובד?

בגדול, ישנם מדריכים שונים ברשת שמסבירים איך להכין סרטוני Deep Fake. יש מספר תוכנות פתוחות לציבור, מהן טובות יותר וטובות פחות. לתחושתי מהנדסי התוכנה הטובים בתחום הם רוסים או סינים. אפליקציות סיניות כמו ZAO עושות עבודה מדהימה, אבל מקבלות ביקורות על הפרת הפרטיות של אנשים. FaceApp הרוסית, גם היא זוכה לביקורת כזו. אני משתמש בתוכנות מבוססות פייתון, הנמצאות זמינות ברשת להורדה כמו Deepface Lab, ולפניה ניסיתי את Fake App ועוד אתר סיני שלא ממש עבד.
תהליך העבודה כולל מספר שלבים – בחירת חומרי גלם מתאימים, בהם רואים מספיק הבעות פנים פרונטליות. לא צריך יותר מדי וידאו, אולי אפילו עדיף וידאו קצר יחסית. אני עובד עם סרטונים של עד 5-7 דקות.
לאחר מכן, מיון הפרצופים המופיעים בוידאו של המודל אותו רוצים לזייף, בכדי שהתוכנה תתמקד רק בפרצוף של המודל עצמו ולא רעשי רקע. לאחר מכן, פעולה דומה בסרטון היעד. ואז מתחיל החלק הארוך והוא 8-12 שעות למידה של המחשב את האובייקטים השונים. לרוב משהו אותו פרק זמן לכל סרטון. ישנן טכניקות שונות לביצוע הלמידה. אין נכון או לא נכון, יש מה עובד לך יותר טוב. אני משתמש בדרך כלל במספר שיטות במקביל, משווה תוצאות, וחותך את מה שעובד לי. אחרי הלמידה עושים את הליך מיזוג המודלים, שלוקח עוד כמה שעות, ולבסוף איחוד לוידאו ועריכה למוצר מוגמר. פשוט? בהתחלה לא. זה תמיד הרבה עבודה.

דוגמא לסרטון באמצע תהליך עבודה וטסטים

כל התהליך הזה דורש חומרה נורמלית, המזל שלנו זה שתעשיית הגיימינג יצרה חומרה בסיסית מפלצתית. כרטיסי מסך חזקים יחסית זמינים במחירים שווים לכל נפש. צריך לא פחות מ-4 גיגה-בייט זיכרון על כרטיס המסך, רצוי יותר, וגם רצוי שה-CPU שלכם יהיה חזק יחסית ועם מספיק RAM. אני ממליץ גם על הארדיסק עם המון שטח פנוי. כל סרטון לוקח כמה עשרות גיגות בנפח שלו.
שימו לב שכשאתם מסיימים ומעלים – פייסבוק נוטה לזהות את חומרי הגלם ולחסום את חלקם בשל זכויות היוצרים, ביוטיוב חברות המדיה השונות מסמנות את התוכן, אבל לא בהכרח חוסמות. אגב, הזיהוי לפעמים מייצר תוצאות מצחיקות בגלל טעויות זיהוי, ולפעמים זה סתם מעצבן.
מוזמנים להיכנס לערוץ שלי ולהרשם לפלייליסט Deepfake ישראל, בו אני משתף סרטונים שונים שאני עושה, כמו אלו שמוטמעים כאן, ובכלל לשלוח לי שאלות.

על כתיבת פנטזיה לא מערבית

סיימתי לקרוא את טרילוגיית Winternight של קתרין ארדן. מניח שרובכם לא מכירים את השם, ארדן היא אחד השמות ה-Up and coming במצעדי מכירות הפנטזיה מזה מספר שנים, ולצערי הספרים שלה עדיין לא תורגמו לעברית. מה שמיוחד בכתיבה שלה הוא שהיא חלק מזרם שלא עושה שימוש בחומרי גלם קלאסיים, אלא מחפש השראה ממיתולוגיות אחרות. במקרה שלה, המיתולוגיה הסלאבית, המוכרת למי שמשפחתו מגיעה מחבר העמים היטב.

במוקד העלילה של סדרת Winternight, עומדת נערה כפרית במחוז ברוסיה של ימי הביניים. רוסיה של התקופה היא שורה של נסיכויות המנהלות קשרי גומלין וכפופות לנסיכות במוסקבה. הנצרות מנסה לטעת אחיזה באזורים הכפריים, ועולם האגדה הסלאבי מנהל מלחמת הישרדות מול הדת. גיבורת הסיפור מגלה את עולם האגדות, ומוצאת כי יש לה בו תפקיד מפתיע במיוחד. העלילה משלבת דמויות מיתיות כדומובוני, רוסלקות, צ’רטות ושאר מיני רוחות ושדים מהמיתולוגיה הסלאבית. זה בעצם ספר פנטזיה על דד מורוז וסינגורצ’קה, גיבורי הנובי גוד.

רוב הכתיבה הפנטסטית שאני קראתי בחיי נשענה על המיתולוגיות המערביות המרכזיות – היוונית, הנורדית או הבריטית. את עולמות הפנטזיה מאכלסים עלפים, דרקונים, הוביטים, גמדים, פיות וכן הלאה. זה לא מפתיע, שכן רוב מה שקראתי בחיי היה ספרות מערבית. מיצירות קלאסיות כשר הטבעות, ועד לספרות מודרנית יותר כמו ניל גיימן. לא פעם הרגשתי כי נוצרו מעין גבולות גזרה מחייבים במסגרתם רוב ספרות הפנטזיה מתקיימת והיא מכילה את אותן קונבנציות של קסם ואגדה. אבל גבולות נועדו שישברו אותם וישחקו איתם, כי אחרת איפה הכיף? הפעם הראשונה שקראתי פנטזיה שלא נשענה על עולמות התוכן המערביים הייתה בסדרת “רצון הנודד” של מרגרט וייס וטרייסי היקמן, מעין פנטזיה המבוססת על המיתולוגיה הערבית/איסלאמית, כמו שאמריקאים תופסים אותה – ג’ינים, בדווים מסתוריים וכו’.

בשנים האחרונות הולכת ועולה כתיבה פנטסטית המבוססת על מסורות חדשות. למשל, “ילדי הדם והעצם” של טומי אדמייה, הנשענת על סיפורי עם מערב אפריקאיים. בקינדל מחכה לי The Poppy War של R.F Kuang העוקב אחר אימפריה סינית אפלה. הנובלה The Terracotta Bride של זן צ’ו, היא אחת המיוחדות שקראתי בשנים האחרונות וגם היא שואבת השראה מהמיתוסים הסיניים. אגב, קתרין ארדן היא לא הכותבת היחידה שנשענת על מיתולוגיה סלאבית, אליה מצטרפת נעמי נוביק שזכתה בשלל פרסים על ספרה “עקורה”, וכעת הוציאה ספר חדש בשם “Spinning Silver”. בראיונות עם אותם סופרים הם מתארים איך בשנים הפורמטיביות של חייהם שמעו על אגדות ומעשיות הנוגעות לתרבות מהם הגיעו. אלו היוו את חומרי הגלם שלהם, והיו להשראה לכתיבה שלהם. זה מרענן, זה מרגש ועבורי כיוצר זה שב ומזכיר את האמת הפשוטה שאם אתה רוצה ליצור משהו אותנטי אה חייב להתחבר לחוויות אמיתיות בחייך, בין אם אלו חוויות רגשיות, ובין אם אלו אלמנטים של התרבות שאתה חלק ממנה.

Games Will Change The Middle East

For most Israelis, the BDS effort against Israel is mainly reflected in the well-publicized fight against concerts of well-known musicians in Israel. Famous musicians are afraid to come to Israel for fear of ostracism and attacks by supporters of BDS. But boycotting Israel is not limited just to the culture industry. An American game designer recently refused to come and give a lecture in Israel and to participate in an exhibition about empathy and games, which was part of a major conference here in Israel.

There is a cliché in the game industry that games can save the world. I believe in all my heart that this is true. The deep emotional experience games deliver produces an opportunity to discover something which is beyond the everyday. Through games we meet other people, encounter ethical dilemmas we’ve been avoiding and deal with new realities, either imagined or corresponding with the actual world. This allows game designers to engage the players in a variety of serious issues which they, in turn, can engage with and learn about.

You can find games about a variety of serious issues – survival of refugees after a war, games about assisting the weak, games that teach about poverty, games that teach survival after a tsunami. Recently, even violent war games produce more and more scenarios in which the player fails if she does not help innocent civilians. These are all examples indicating how to combine knowledge, learning, values ​​and meaningful experience within gameplay, and through it to offer a way to change society and educate masses of players.

Recently, the Israeli Digital Game Industry Association (known as GameIS) held a survey with the College of Management which showed that 56% of Israelis over the age of 18 play games regularly. This impressive figure proves that games are among the most popular forms of entertainment in Israel. Not to engage in social change through them is a sure miss. Playing a game is a social experience: the experience of meeting. talking about games, competing with friends – these are social activities which are popular with many Israelis. Already here in Israel some have quite successfully began to harness games for social and political change. For example, Games for Peace, founded by Uri Mishol, aims to bring together youth and children of Arab and Jewish communities through game play, thus creating an informal and surprising meeting.

BDS against the Israeli digital game industry is not only harmful to the Israeli economy, but mostly harmful to the hope that the Middle East can be a different place. The world is changing through games, the buds of it are already present. Harm an industry which is so positive and optimistic as the digital games industry, and you will get a boomerang effect. You’ll hurt the future possibility of Israel and Palestine to live side by side. BDS is blindly hitting all who live and are affected by Israeli-Palestinian politics. BDS on the games industry means severe damage to the efforts to educate and promote values of understanding, and to the common good of all people who live here, who are eager for a better future and a different reality.