דיפ פייקים, איך, מה ולמה?

תחום הדיפ פייקים או Deepfakes הוא אחד התחומים שמרתקים אותי. גיליתי אותו, כמו רבים, מתוך סרטוני וידאו שהלבישו שאיחדו את הפנים של פוליטיקאי אחד עם אחר. התחום חם, ואפשר למצוא ברשת בקבוצות שונות ב-Reddit שלל ניסיונות בתחום הוידאו. יש המון סימני שאלה לגבי זכויות היוצרים של החומרים בהם משתמשים, האם מדובר בשימוש הוגן, בהפרת זכויות יוצרים ועוד. במקום מסוים הדיון מזכיר את השיחה על תחום הרימיקס. אם מישהו זוכר את ה-Remix Manifesto, או את הדיונים המשפטיים בעולם ההיפ הופ והשימוש בסימפול – אז תוסיפו על זה היבט של גניבות גוף וזהות, זכות האדם לשלמות דמותו ועוד.

בני גנץ ולוק סקייווקר – דיפ פייק שהכנתי

למרות שתחום הוידאו פנים הוא התחום המוכר יותר, עולם ה-Deepfake הולך ומתקדם לתחומים נוספים. Voice Cloning, שיבוט קולות, הוא תחום עולה. חברת Lyrebird הקנדית שנקנתה לאחרונה, פיתחה אלגוריתם המאפשר זיוף קול בצורה מלאה. ניסיונות ראשוניים יצרו תנועות גוף מלאים של AI על בסיס שפת גוף של מישהו אחר. לאחרונה, על בסיס ניתוח ואימון של קוד יצא לשימוש הציבור, באופן חופשי, מאגר של 100,000 פרצופי סטוק שיצרה AI. כך שאנחנו לא מדברים בטווח הארוך רק על דיפ פייק של פנים, אלא של אנשים, חיות אפילו וכן הלאה.

הדגמת Voice Cloning ב-Lyrebird

מה מורכב חברתית העניין? מאוד. בצד האפל, זיופים, והרבה מהם. זיוף נאומים של פוליטיקאים, זיופי פורנו של שחקנים/ות מפורסמים ומפורסמות, נקמה במעסיקים, באקסים ואקסיות. זיוף הודאות, זיוף הוראות, פקודות קוליות. דמיינו פקודה קולית לבנקאי שלכם להעביר כסף, ואז מייל שדומה מאוד לשלכם וחתימה דיגיטלית, ואנחנו בבעיה גדולה. הצד השלילי של הדיפ פייק לדעתי יהפוך לענף באבטחת סייבר. כיצד נזהה שמשהו מזויף? בעזרת איזה כלים? כמה עמוק הזיוף יכול להיות וכמה עוצמתי?
שאלות נוספות עולות סביב התועלת החיובית שיש בתחום. נגיד בתחום הבידור – נניח ויש לנו יכולת לשכפל דמות של שחקן ולעשות בה שימוש לנצח (כנס העתידנים Anyone?), עד מתי נותן שחקן רישיון לעשות שימוש בדמותו? היום חוזי האמנים נותנים אישור בלתי מוגבל לעשות שימוש בצילומים שונים לגופי שידור. האם רשת וקשת, האם דיסני או וורנר יוכלו לקחת את חומרי הגלם של השחקנים שהיו חתומים אצלם כטאלנטים ולעשות שימוש אינסופי בחומרים איתם הם עבדו עד כה? האם מפיקי מוסיקה יכולים לסמפל קטעים של אמני עבר ולהרכיב שירים חדשים מהם? בנוסף, האם שימוש מופתי בתחום לא יכול לייתר את מרבית השחקנים? לאחרונה הוציאה חברה אמריקאית 100,000 תמונות ראשים מזויפים ש-AI ייצר, שלב ראשון בדרך לייצור של 100,000 וידאו של גוף מלא שכולו זיוף.
כיום הטכנולוגיה לא מספיק בשלה. אני מכין סרטוני דיפ פייק מזה מספר שבועות, וכמות הטסטים שאני נדרש אליה גבוהה מאוד. סרטון עשוי היטב כולל הרבה מאוד שעות מחשוב, והמון טסטים וחיתוכים בתוכנת עריכה כדי לחתוך את כל מה שלא עובד כמו שצריך. אבל אנחנו בדרך לשם. הטכנולוגיה – מדהימה. באמת. האפקט שנוצר בצפייה בסרטוני דיפ פייק נע בין המבודח למבהיל. זה מצחיק אנשים שזה מה שהם רואים, שילוב של אנשים שהם מכירים, ובאותה נשימה הם נבהלים. משהו שם מרגיש טוב מדי. זה פלירטוט עם ה-Uncanny Valley, מידת הדמיון שיצירה אנימטיבית או מכאנית מזכירה את האנושי. משהו בדיפ פייק יושב קצת יותר מדי טוב, או יושב קצת יותר מדי רע. לכאן או לכאן זה מעורר רגשות מורכבים מהצופה.

אביב גפן Deepfake – הוציא מאנשים תגובות מ-וואט ל-וואו

איך זה עובד?

בגדול, ישנם מדריכים שונים ברשת שמסבירים איך להכין סרטוני Deep Fake. יש מספר תוכנות פתוחות לציבור, מהן טובות יותר וטובות פחות. לתחושתי מהנדסי התוכנה הטובים בתחום הם רוסים או סינים. אפליקציות סיניות כמו ZAO עושות עבודה מדהימה, אבל מקבלות ביקורות על הפרת הפרטיות של אנשים. FaceApp הרוסית, גם היא זוכה לביקורת כזו. אני משתמש בתוכנות מבוססות פייתון, הנמצאות זמינות ברשת להורדה כמו Deepface Lab, ולפניה ניסיתי את Fake App ועוד אתר סיני שלא ממש עבד.
תהליך העבודה כולל מספר שלבים – בחירת חומרי גלם מתאימים, בהם רואים מספיק הבעות פנים פרונטליות. לא צריך יותר מדי וידאו, אולי אפילו עדיף וידאו קצר יחסית. אני עובד עם סרטונים של עד 5-7 דקות.
לאחר מכן, מיון הפרצופים המופיעים בוידאו של המודל אותו רוצים לזייף, בכדי שהתוכנה תתמקד רק בפרצוף של המודל עצמו ולא רעשי רקע. לאחר מכן, פעולה דומה בסרטון היעד. ואז מתחיל החלק הארוך והוא 8-12 שעות למידה של המחשב את האובייקטים השונים. לרוב משהו אותו פרק זמן לכל סרטון. ישנן טכניקות שונות לביצוע הלמידה. אין נכון או לא נכון, יש מה עובד לך יותר טוב. אני משתמש בדרך כלל במספר שיטות במקביל, משווה תוצאות, וחותך את מה שעובד לי. אחרי הלמידה עושים את הליך מיזוג המודלים, שלוקח עוד כמה שעות, ולבסוף איחוד לוידאו ועריכה למוצר מוגמר. פשוט? בהתחלה לא. זה תמיד הרבה עבודה.

דוגמא לסרטון באמצע תהליך עבודה וטסטים

כל התהליך הזה דורש חומרה נורמלית, המזל שלנו זה שתעשיית הגיימינג יצרה חומרה בסיסית מפלצתית. כרטיסי מסך חזקים יחסית זמינים במחירים שווים לכל נפש. צריך לא פחות מ-4 גיגה-בייט זיכרון על כרטיס המסך, רצוי יותר, וגם רצוי שה-CPU שלכם יהיה חזק יחסית ועם מספיק RAM. אני ממליץ גם על הארדיסק עם המון שטח פנוי. כל סרטון לוקח כמה עשרות גיגות בנפח שלו.
שימו לב שכשאתם מסיימים ומעלים – פייסבוק נוטה לזהות את חומרי הגלם ולחסום את חלקם בשל זכויות היוצרים, ביוטיוב חברות המדיה השונות מסמנות את התוכן, אבל לא בהכרח חוסמות. אגב, הזיהוי לפעמים מייצר תוצאות מצחיקות בגלל טעויות זיהוי, ולפעמים זה סתם מעצבן.
מוזמנים להיכנס לערוץ שלי ולהרשם לפלייליסט Deepfake ישראל, בו אני משתף סרטונים שונים שאני עושה, כמו אלו שמוטמעים כאן, ובכלל לשלוח לי שאלות.

ספר הבכורה שלי – שני הקבועים יצא לאור!

הרגע הזה הגיע, אחרי כל כך הרבה עבודה קשה – “שני הקבועים”, ספר הבכורה שלי, יצא לאור!
זה לקח לי יותר זמן ממה שרציתי, גם הכתיבה, גם העריכה ובטח ההוצאה לאור עצמה, אבל זה סוף סוף בחוץ ותחושת ההקלה והאימה מקיפות ורבות.

על מה הספר?

בקצרה על אובדן, מוות והתמודדות איתו. בארוך – על זקן המבקר את הנוטים למות, ומשחרר את נשמותיהם לעבר המנוחה האחרונה. מפגש מקרי עם נער משנה את חייו. במקביל, במקום שבין החיים למתים, צועדת ילדה לבדה, מותירה שובל אדמה חרוכה, ליבה בוער בזעם ונקם. זה ספר פנטזיה, ספר שאני מאוד גאה בו ועזרו לי הרבה אנשים טובים להוציא אותו לאור. בחרתי לצאת עצמאית, החלטה שאני מקווה שתשתלם לי. בינתיים לפחות, אני נהנה.

כריכת הספר

מה אני עושה עכשיו?

קודם כל, הייתי צריך היה להקים עמוד מכירות לספר – http://dweck.co.il/buymybook – דרכו אני מרכז את כל המכירות. ההקמה שלו הייתה כיפית מאוד והזכירה לי כמה אני אוהב להקים אתרים. זו הייתה הזדמנות טובה לתרגל HTML, לחדד את החושים שוב על הקמת חנויות, קודים של מדידה ומכירה, אתם יודעים – כל הקסם הזה שהוא הפרנסה שלי ביומיום.

השלב השני, אליו אני נכנס עכשיו, הוא יחסי הציבור, תפעול השיווק וההפצה. אני מתכנן כמה דברים, בהם סבב הרצאות על הספר וכמובן אירוע השקה. יש לי מחשבות כלליות לגבי איך הוא יראה וכו’, אבל בטח נגיע לזה בהמשך.
במקביל אני שוקד במלוא המרץ על יצירה נוספת. בכלל נפתחו לי הצ’אקרות של היצרתיות. כתבתי סיפור קצר חדש שהוגש לתחרות במסגרת כנס “עולמות”. סיימתי שלד לספר חדש, יש משחק חדש בקנה ועוד ועוד. כל הפרטים על כך יופיעו בבלוג התומכים ב-Patreon .

אז קנו את הספר, השתתפו בתמיכה ומנעו ממני את המצב הזה:

מצב קיומי מייצג

על כתיבת פנטזיה לא מערבית

סיימתי לקרוא את טרילוגיית Winternight של קתרין ארדן. מניח שרובכם לא מכירים את השם, ארדן היא אחד השמות ה-Up and coming במצעדי מכירות הפנטזיה מזה מספר שנים, ולצערי הספרים שלה עדיין לא תורגמו לעברית. מה שמיוחד בכתיבה שלה הוא שהיא חלק מזרם שלא עושה שימוש בחומרי גלם קלאסיים, אלא מחפש השראה ממיתולוגיות אחרות. במקרה שלה, המיתולוגיה הסלאבית, המוכרת למי שמשפחתו מגיעה מחבר העמים היטב.

במוקד העלילה של סדרת Winternight, עומדת נערה כפרית במחוז ברוסיה של ימי הביניים. רוסיה של התקופה היא שורה של נסיכויות המנהלות קשרי גומלין וכפופות לנסיכות במוסקבה. הנצרות מנסה לטעת אחיזה באזורים הכפריים, ועולם האגדה הסלאבי מנהל מלחמת הישרדות מול הדת. גיבורת הסיפור מגלה את עולם האגדות, ומוצאת כי יש לה בו תפקיד מפתיע במיוחד. העלילה משלבת דמויות מיתיות כדומובוני, רוסלקות, צ’רטות ושאר מיני רוחות ושדים מהמיתולוגיה הסלאבית. זה בעצם ספר פנטזיה על דד מורוז וסינגורצ’קה, גיבורי הנובי גוד.

רוב הכתיבה הפנטסטית שאני קראתי בחיי נשענה על המיתולוגיות המערביות המרכזיות – היוונית, הנורדית או הבריטית. את עולמות הפנטזיה מאכלסים עלפים, דרקונים, הוביטים, גמדים, פיות וכן הלאה. זה לא מפתיע, שכן רוב מה שקראתי בחיי היה ספרות מערבית. מיצירות קלאסיות כשר הטבעות, ועד לספרות מודרנית יותר כמו ניל גיימן. לא פעם הרגשתי כי נוצרו מעין גבולות גזרה מחייבים במסגרתם רוב ספרות הפנטזיה מתקיימת והיא מכילה את אותן קונבנציות של קסם ואגדה. אבל גבולות נועדו שישברו אותם וישחקו איתם, כי אחרת איפה הכיף? הפעם הראשונה שקראתי פנטזיה שלא נשענה על עולמות התוכן המערביים הייתה בסדרת “רצון הנודד” של מרגרט וייס וטרייסי היקמן, מעין פנטזיה המבוססת על המיתולוגיה הערבית/איסלאמית, כמו שאמריקאים תופסים אותה – ג’ינים, בדווים מסתוריים וכו’.

בשנים האחרונות הולכת ועולה כתיבה פנטסטית המבוססת על מסורות חדשות. למשל, “ילדי הדם והעצם” של טומי אדמייה, הנשענת על סיפורי עם מערב אפריקאיים. בקינדל מחכה לי The Poppy War של R.F Kuang העוקב אחר אימפריה סינית אפלה. הנובלה The Terracotta Bride של זן צ’ו, היא אחת המיוחדות שקראתי בשנים האחרונות וגם היא שואבת השראה מהמיתוסים הסיניים. אגב, קתרין ארדן היא לא הכותבת היחידה שנשענת על מיתולוגיה סלאבית, אליה מצטרפת נעמי נוביק שזכתה בשלל פרסים על ספרה “עקורה”, וכעת הוציאה ספר חדש בשם “Spinning Silver”. בראיונות עם אותם סופרים הם מתארים איך בשנים הפורמטיביות של חייהם שמעו על אגדות ומעשיות הנוגעות לתרבות מהם הגיעו. אלו היוו את חומרי הגלם שלהם, והיו להשראה לכתיבה שלהם. זה מרענן, זה מרגש ועבורי כיוצר זה שב ומזכיר את האמת הפשוטה שאם אתה רוצה ליצור משהו אותנטי אה חייב להתחבר לחוויות אמיתיות בחייך, בין אם אלו חוויות רגשיות, ובין אם אלו אלמנטים של התרבות שאתה חלק ממנה.