דיפ פייקים, איך, מה ולמה?

תחום הדיפ פייקים או Deepfakes הוא אחד התחומים שמרתקים אותי. גיליתי אותו, כמו רבים, מתוך סרטוני וידאו שהלבישו שאיחדו את הפנים של פוליטיקאי אחד עם אחר. התחום חם, ואפשר למצוא ברשת בקבוצות שונות ב-Reddit שלל ניסיונות בתחום הוידאו. יש המון סימני שאלה לגבי זכויות היוצרים של החומרים בהם משתמשים, האם מדובר בשימוש הוגן, בהפרת זכויות יוצרים ועוד. במקום מסוים הדיון מזכיר את השיחה על תחום הרימיקס. אם מישהו זוכר את ה-Remix Manifesto, או את הדיונים המשפטיים בעולם ההיפ הופ והשימוש בסימפול – אז תוסיפו על זה היבט של גניבות גוף וזהות, זכות האדם לשלמות דמותו ועוד.

בני גנץ ולוק סקייווקר – דיפ פייק שהכנתי

למרות שתחום הוידאו פנים הוא התחום המוכר יותר, עולם ה-Deepfake הולך ומתקדם לתחומים נוספים. Voice Cloning, שיבוט קולות, הוא תחום עולה. חברת Lyrebird הקנדית שנקנתה לאחרונה, פיתחה אלגוריתם המאפשר זיוף קול בצורה מלאה. ניסיונות ראשוניים יצרו תנועות גוף מלאים של AI על בסיס שפת גוף של מישהו אחר. לאחרונה, על בסיס ניתוח ואימון של קוד יצא לשימוש הציבור, באופן חופשי, מאגר של 100,000 פרצופי סטוק שיצרה AI. כך שאנחנו לא מדברים בטווח הארוך רק על דיפ פייק של פנים, אלא של אנשים, חיות אפילו וכן הלאה.

הדגמת Voice Cloning ב-Lyrebird

מה מורכב חברתית העניין? מאוד. בצד האפל, זיופים, והרבה מהם. זיוף נאומים של פוליטיקאים, זיופי פורנו של שחקנים/ות מפורסמים ומפורסמות, נקמה במעסיקים, באקסים ואקסיות. זיוף הודאות, זיוף הוראות, פקודות קוליות. דמיינו פקודה קולית לבנקאי שלכם להעביר כסף, ואז מייל שדומה מאוד לשלכם וחתימה דיגיטלית, ואנחנו בבעיה גדולה. הצד השלילי של הדיפ פייק לדעתי יהפוך לענף באבטחת סייבר. כיצד נזהה שמשהו מזויף? בעזרת איזה כלים? כמה עמוק הזיוף יכול להיות וכמה עוצמתי?
שאלות נוספות עולות סביב התועלת החיובית שיש בתחום. נגיד בתחום הבידור – נניח ויש לנו יכולת לשכפל דמות של שחקן ולעשות בה שימוש לנצח (כנס העתידנים Anyone?), עד מתי נותן שחקן רישיון לעשות שימוש בדמותו? היום חוזי האמנים נותנים אישור בלתי מוגבל לעשות שימוש בצילומים שונים לגופי שידור. האם רשת וקשת, האם דיסני או וורנר יוכלו לקחת את חומרי הגלם של השחקנים שהיו חתומים אצלם כטאלנטים ולעשות שימוש אינסופי בחומרים איתם הם עבדו עד כה? האם מפיקי מוסיקה יכולים לסמפל קטעים של אמני עבר ולהרכיב שירים חדשים מהם? בנוסף, האם שימוש מופתי בתחום לא יכול לייתר את מרבית השחקנים? לאחרונה הוציאה חברה אמריקאית 100,000 תמונות ראשים מזויפים ש-AI ייצר, שלב ראשון בדרך לייצור של 100,000 וידאו של גוף מלא שכולו זיוף.
כיום הטכנולוגיה לא מספיק בשלה. אני מכין סרטוני דיפ פייק מזה מספר שבועות, וכמות הטסטים שאני נדרש אליה גבוהה מאוד. סרטון עשוי היטב כולל הרבה מאוד שעות מחשוב, והמון טסטים וחיתוכים בתוכנת עריכה כדי לחתוך את כל מה שלא עובד כמו שצריך. אבל אנחנו בדרך לשם. הטכנולוגיה – מדהימה. באמת. האפקט שנוצר בצפייה בסרטוני דיפ פייק נע בין המבודח למבהיל. זה מצחיק אנשים שזה מה שהם רואים, שילוב של אנשים שהם מכירים, ובאותה נשימה הם נבהלים. משהו שם מרגיש טוב מדי. זה פלירטוט עם ה-Uncanny Valley, מידת הדמיון שיצירה אנימטיבית או מכאנית מזכירה את האנושי. משהו בדיפ פייק יושב קצת יותר מדי טוב, או יושב קצת יותר מדי רע. לכאן או לכאן זה מעורר רגשות מורכבים מהצופה.

אביב גפן Deepfake – הוציא מאנשים תגובות מ-וואט ל-וואו

איך זה עובד?

בגדול, ישנם מדריכים שונים ברשת שמסבירים איך להכין סרטוני Deep Fake. יש מספר תוכנות פתוחות לציבור, מהן טובות יותר וטובות פחות. לתחושתי מהנדסי התוכנה הטובים בתחום הם רוסים או סינים. אפליקציות סיניות כמו ZAO עושות עבודה מדהימה, אבל מקבלות ביקורות על הפרת הפרטיות של אנשים. FaceApp הרוסית, גם היא זוכה לביקורת כזו. אני משתמש בתוכנות מבוססות פייתון, הנמצאות זמינות ברשת להורדה כמו Deepface Lab, ולפניה ניסיתי את Fake App ועוד אתר סיני שלא ממש עבד.
תהליך העבודה כולל מספר שלבים – בחירת חומרי גלם מתאימים, בהם רואים מספיק הבעות פנים פרונטליות. לא צריך יותר מדי וידאו, אולי אפילו עדיף וידאו קצר יחסית. אני עובד עם סרטונים של עד 5-7 דקות.
לאחר מכן, מיון הפרצופים המופיעים בוידאו של המודל אותו רוצים לזייף, בכדי שהתוכנה תתמקד רק בפרצוף של המודל עצמו ולא רעשי רקע. לאחר מכן, פעולה דומה בסרטון היעד. ואז מתחיל החלק הארוך והוא 8-12 שעות למידה של המחשב את האובייקטים השונים. לרוב משהו אותו פרק זמן לכל סרטון. ישנן טכניקות שונות לביצוע הלמידה. אין נכון או לא נכון, יש מה עובד לך יותר טוב. אני משתמש בדרך כלל במספר שיטות במקביל, משווה תוצאות, וחותך את מה שעובד לי. אחרי הלמידה עושים את הליך מיזוג המודלים, שלוקח עוד כמה שעות, ולבסוף איחוד לוידאו ועריכה למוצר מוגמר. פשוט? בהתחלה לא. זה תמיד הרבה עבודה.

דוגמא לסרטון באמצע תהליך עבודה וטסטים

כל התהליך הזה דורש חומרה נורמלית, המזל שלנו זה שתעשיית הגיימינג יצרה חומרה בסיסית מפלצתית. כרטיסי מסך חזקים יחסית זמינים במחירים שווים לכל נפש. צריך לא פחות מ-4 גיגה-בייט זיכרון על כרטיס המסך, רצוי יותר, וגם רצוי שה-CPU שלכם יהיה חזק יחסית ועם מספיק RAM. אני ממליץ גם על הארדיסק עם המון שטח פנוי. כל סרטון לוקח כמה עשרות גיגות בנפח שלו.
שימו לב שכשאתם מסיימים ומעלים – פייסבוק נוטה לזהות את חומרי הגלם ולחסום את חלקם בשל זכויות היוצרים, ביוטיוב חברות המדיה השונות מסמנות את התוכן, אבל לא בהכרח חוסמות. אגב, הזיהוי לפעמים מייצר תוצאות מצחיקות בגלל טעויות זיהוי, ולפעמים זה סתם מעצבן.
מוזמנים להיכנס לערוץ שלי ולהרשם לפלייליסט Deepfake ישראל, בו אני משתף סרטונים שונים שאני עושה, כמו אלו שמוטמעים כאן, ובכלל לשלוח לי שאלות.

שומרי הגינה – סיפורה של סדרה

לא, לא נעלמתי. למרות שאני המעטתי בפוסטים כאן, שקעתי לתוך מרתונים בלתי פוסקים של עשייה עליה אעדכן בפוסטים הקרובים. מי שעוקב מקרוב הם תומכי הפטריאון שלי שאני רוצה לומר להם תודה ענקית על התמיכה – בזכותם אני יכול ליצור.

בשנה וחצי האחרונות, במקביל להשלמת הספר, עבדתי על סדרה מצוירת בשם "שומרי הגינה". שומרי הגינה היא סדרה מצוירת לגיל הרך, העוקבת אחר עלילותיהם של ארבע חיות בגינה קהילתית, שכל אחת הגיעה מרקע חברתי אחר: אלכס הראקון, שהמשפחה שלו עברה לאחרונה לשכונה, ג'ני החתולה שהיא בת לאם חד-הורית, מירו האוגר שגר בבית קטן מאוד עם 80 האחים והאחיות שלו, ואלכסה הדגה שהמשפחה שלה היגרה לשכונה מעבר לים. הם משחקים בגינה, תוך שהם עוזרים למר עץ הזקן, על שורשיו הענפים, לשמור על הגינה מפני אסונות שונים. בדרך הם לומדים על קיימות עירונית, על הסביבה ובעיקר את הכוח שיש במגוון חברתי.

על הסדרה עבדתי עם צוות נהדר שכלל את עודד אילני, על הקונספט ארט בשני הסבבים הראשונים, נטע הולצר, במאית אנימציה מוכשרת ונפלאה, ואופיר שריף שמלווה אותי בפרויקטים שונים תקופה ארוכה (כן, גם את עטיפת הספר הוא עשה), והוא ליווה את סבבי ההפקה השונים ולקח פיקוד על הארט בסבב האחרון.

את הסדרה כתבתי והצגתי מספר פעמים בשנה וחצי האחרונה. בפעם הראשונה בפני משקיע פרטי, שלא היה לו מספיק כסף כדי להוביל אותנו להפקה. בפעם השניה, באירוע קופרו – שוק לקופרודוקציות ישראליות-אירופאיות, כחלק מפיצ'ים במסלול הדיגיטל. היה נחמד, אבל זה לא עזר כל כך. הסיבה העיקרית – המסלול לא התאים לסדרות מצוירות, אלא רק לסדרות-רשת. ככה נראו אז שומרי הגינה:

הדבר הטוב ביותר שקרה מההגשה הזו, היא שיורם הוניג, מנכ"ל המיזם לקולנוע וטלוויזיה בירושלים, התרשם מאוד והזמין אותי להשתתף בתכנית – הקפיצה המשולשת.

הקפיצה המשולשת היא חממת תוכן לסדרות אנימציה. ירושלים משקיעה רבות במיזמי טלוויזיה, קולנוע, אנימציה ומשחקים והקפיצה המשולשת היא מעין תכנית דגל שלהם בתחום האנימציה. ככה מצאתי את עצמי יושב על העילית של יוצרי וכותבי האנימציה בישראל. אנשים שעשו תכניות לדיסני, כאן, הופ, תסריטאים בעלי יכולות ועוד כהנא וכהנא. כולנו התחרינו על תשומת הלב של מנטורים מדיסני, MATTEL, MGA, נטפליקס, ניקולודיאון וגופי שידור אירופאיים. המנטורים, הצמרת של תעשיית האנימציה העולמית, עבדו איתנו על הידוק העלילה, הנראות והסיפורים. 

לחממה היו ארבעה סבבי הגשה שונים. ההגשה הראשונה, שני סבבי תיקונים לאחריה, וסבב בוגרים מצטיינים שהתקבלנו אליו גם.

ככה נראו הדמויות בשלב ההגשה לחממה:

זהו שינוי ויזואלי עמוק מגרסת קופרו. זה לא היה סוף ההתפתחות. הדמויות הלכו והשתנו, העולם קיבל יותר ויותר אופי, וככה הם נראו אחרי ההגשה הראשונה וסבב ההערות הראשון שקיבלנו:

חדי העין יבחינו במספר שינויים:

הכלב הפך לדג בחליפת אמודאי, הזחל הפכה לציפור, הסנאית הפכה לסוג של חתולה, ורק העץ, הראקון והאוגר נשארו בזהות הרגילה שלהם, אם כי שודרגו ויזואלית. אחרי הרבה שיחות וסבבי שיפור, הגענו לתוצר הבא, ששירת אותנו בסבב השני והשלישי.

את השינויים כאן אפשר לראות בהתנהגות של הדמויות, הצבעוניות והטקסטורות דמויות הנייר. החתולה קיבלה זנב יותר מובחן, היא בדינמיקה של הומור עם האוגר. הדג חנון חמוד, הציפור בשיח משועשע עם הראקון ורק העץ נראה שמן ומדושן. קיבלנו על כך פרס הצטיינות סמלי של 1,500 ש"ח.

לאחר השלמת סבבים 1-3 קיבלנו הזמנה לסבב בוגרים מצטיינים, אליו הגשנו מועמדות, התקבלנו והתחילה עבודת שדרוג מסיבית. בהגשה הסופית שלנו, שהיא המשמעותית ביותר, הדמויות של הסדרה עברו שינוי דרמטי מאוד והיום הן נראות כך:

הדמויות השתנו משמעותית. הדג הפך לדגה (שימו לב לריסים), החתולה קיבלה לוק מובחן יותר ואישיות יותר הרפתקנית. הראקון קיבל יותר אופי פעלתני והאוגר, ובכן, הוא עדיין שובב. העץ עצמו קיבל פנים טובות יותר, ששאבו השראה ממיתוס "האיש הירוק" הבריטי. 

בנוסף, התכנית כוונה בתחילה בעיקר לגילאי 2-4, ככה שהלוק שלה היה צבעוני מאוד, או כמו שהעירו לנו: "מזכיר משחקי מחשב". בנוסף, אמרו לנו שגילאי 2-4 זה שוק מצומצם מדי וצריך לבגר את הדמויות, לקצר את הפרקים מעשר דקות לחמש דקות, ולהבין שאנחנו צריכים מאסה של תוכן ועולם שיאפשר זאת (בהמשך).

אופיר שריף לקח את הפיקוד על העיצוב, ובנה את הלוק המרהיב שכאן. שימו לב לצבעוניות הקסומה בגווני סגול-כתום, תאורות בין העצים, ולטעמי זה עם המון אופי.

בסבב האחרון שהיה קיבלנו מחמאות רבות וזכינו במענק כספי נכבד מאוד (אני לא יודע אם מותר לי לפרסם על כמה), שמאפשר לנו לעבוד בימים אלו על אנימטיק – מעין סטוריבורד עם הנפשות והקלטת קולות, שנותן מושג הרבה יותר עמוק על ההתנהגות של הסדרה ומקל מאוד על הליך המכירות. כשאסיים אותו בעוד כשבועיים-שלושה אעלה אותו להתרשמות. בנוסף המענק מאפשר לנו לכסות חלק מהעלות של ההפקה עד כה ולטוס לסבבי מכירות בחו"ל.

אני אפרסם בקרוב פוסט נוסף על כתיבת העולם, פוסט על הבייבל (מעין ספר הוראות) של הסדרה, כתיבת התסריטים השונים, הכנת הצעצועים המשלימים (טא-דה!) והעבודה לקראת האנימטיק (זה כבר ככה פוסט ממש ארוך). 

תודה על הקריאה, על התמיכה ועל הדרך.

נמרוד

ספר הבכורה שלי – שני הקבועים יצא לאור!

הרגע הזה הגיע, אחרי כל כך הרבה עבודה קשה – "שני הקבועים", ספר הבכורה שלי, יצא לאור!
זה לקח לי יותר זמן ממה שרציתי, גם הכתיבה, גם העריכה ובטח ההוצאה לאור עצמה, אבל זה סוף סוף בחוץ ותחושת ההקלה והאימה מקיפות ורבות.

על מה הספר?

בקצרה על אובדן, מוות והתמודדות איתו. בארוך – על זקן המבקר את הנוטים למות, ומשחרר את נשמותיהם לעבר המנוחה האחרונה. מפגש מקרי עם נער משנה את חייו. במקביל, במקום שבין החיים למתים, צועדת ילדה לבדה, מותירה שובל אדמה חרוכה, ליבה בוער בזעם ונקם. זה ספר פנטזיה, ספר שאני מאוד גאה בו ועזרו לי הרבה אנשים טובים להוציא אותו לאור. בחרתי לצאת עצמאית, החלטה שאני מקווה שתשתלם לי. בינתיים לפחות, אני נהנה.

כריכת הספר

מה אני עושה עכשיו?

קודם כל, הייתי צריך היה להקים עמוד מכירות לספר – http://dweck.co.il/buymybook – דרכו אני מרכז את כל המכירות. ההקמה שלו הייתה כיפית מאוד והזכירה לי כמה אני אוהב להקים אתרים. זו הייתה הזדמנות טובה לתרגל HTML, לחדד את החושים שוב על הקמת חנויות, קודים של מדידה ומכירה, אתם יודעים – כל הקסם הזה שהוא הפרנסה שלי ביומיום.

השלב השני, אליו אני נכנס עכשיו, הוא יחסי הציבור, תפעול השיווק וההפצה. אני מתכנן כמה דברים, בהם סבב הרצאות על הספר וכמובן אירוע השקה. יש לי מחשבות כלליות לגבי איך הוא יראה וכו', אבל בטח נגיע לזה בהמשך.
במקביל אני שוקד במלוא המרץ על יצירה נוספת. בכלל נפתחו לי הצ'אקרות של היצרתיות. כתבתי סיפור קצר חדש שהוגש לתחרות במסגרת כנס "עולמות". סיימתי שלד לספר חדש, יש משחק חדש בקנה ועוד ועוד. כל הפרטים על כך יופיעו בבלוג התומכים ב-Patreon .

אז קנו את הספר, השתתפו בתמיכה ומנעו ממני את המצב הזה:

מצב קיומי מייצג