גילוי נאות, אם תקנו משהו דרך הקישורים המופיעים באתר, אנו עשויים לקבל נתח קטן מהמכירה.
VideoPoet , כלי AI חדש שפותח על ידי Google AI, המסוגל ליצור סרטונים מטקסט, תמונות ואודיו. VideoPoet גורם לחידוש פורץ דרך בתחום הבינה המלאכותית, במיוחד בתחום יצירת הטקסט לוידאו , כי הוא יכול להפוך את התיאורים הכתובים לרצפי וידאו מושכים ודינאמיים.
מהו VideoPoet ?
VideoPoet, מודל שפה גדול (LLM) שפורץ את הגבולות ביצירת וידאו עם קליפים של 10 שניות. המודל תומך במערך רחב של משימות יצירת וידאו. הסרטונים המתקבלים מציגים אורך משתנה ופעולות וסגנונות מגוונים המבוססים על תוכן הטקסט הקלט. הכלי מסוגל לבצע המרה של תמונות קלט להנפשות בהתבסס על הנחיה שסופקו.
קישור : Suno – יצירת מוזיקה ב- Copilot בעזרת AI
הייחודיות של VideoPoet מכלים אחרים
VideoPoet בשונה מכלי בינה מלאכותית אחרים, המודל עוקף את השיטות מבוססות הדיפוזיה הנהוגות בתעשייה ומשתמש ב-LLM. שיטה זו שימשה בעבר בעיקר להפקת טקסט וקוד, אך כעת היא מותאמת על ידי גוגל ליצירת סרטונים. הוא לא מסתמך על נתונים ספציפיים ליצירת וידאו, הוא מסוגל ליצור תוכן שהוא לא הוכשר עליו. הוא מסוגל לשלב יכולות רבות של יצירת וידאו בתוך LLM אחד מבלי שיהיו להם רכיבים מאומנים בנפרד המתמחים במשימות שלהם.
"התוצאות שלנו מצביעות על הפוטנציאל המבטיח של LLMs בתחום יצירת הווידאו", לכיוונים עתידיים, המסגרת שלנו צריכה להיות מסוגלת לתמוך בדור 'כל לכל', למשל, הרחבה לטקסט לאודיו, אודיו וידאו וכתוביות וידאו צריכה להיות אפשרית, בין רבים אחרים."אמרו החוקרים.
בנוסף גוגל התאימה את VideoPoet כברירת מחדל להפקת וידאו אנכית, כדי לספק שירות לשוק הווידאו הנייד המתפתח. בעתיד, גוגל שואפת להרחיב את יכולתו של הכלי כדי להגדיר מחדש את הגבולות של יכולות ייצור הוידאו והשמע.
כיצד ה- VideoPoet עובד ?
לאחר שמכניסים ל-VideoPoet את הנחיה טקסטואלית, משפט או פסקה שמתארים את סוג הסרטון, מנוע הבינה המלאכותית שלו מתחיל לעבוד. הוא מנצל מערך נתונים עצום של טקסט ווידאו, יחד עם ההבנה שלו במושגים חזותיים וטכניקות קולנועיות, כדי לתרגם את המילים לרצף של פריימים של וידאו. הפלט הסופי הוא סרטון וידיאו קצר, בדרך כלל באורך של כמה שניות, שמביא לחיים את ההנחיה הטקסטואלית. הסרטון יכול להיות ריאליסטי או מופשט, בהתאם לתיאור שהוכנס לו.
מה ניתן להכין ב- VideoPoet ?
VideoPoet יכול לבצע מגוון רב של משימות וידיאו, כמו למשל ליצור סרטונים מאפס, אפילו עבור מושגים חדשים לגמרי ולא נראים.
1. הפיכת טקסט לוידאו
לדוגמא – הנחיית טקסט: "דביבון רוקד בטיימס סקוור"
2. הפיכת תמונה לסרטון וידיאו
לדוגמא -הודעת טקסט המלווה את התמונות :
- ספינה מנווטת בים סוער, סופות רעמים וברקים, שמן מונפש על בד
- טיסה דרך ערפילית עם הרבה כוכבים מנצנצים
- נודד על צוק עם מקל המביט מטה אל ערפל הים המתערבל למטה ביום סוער
תמונה (משמאל) ווידאו שנוצרו (מיד מימין)
3. הפיכת תמונה לוידאו
VideoPoet יכול לקחת תמונה קיימת כקלט וליצור סרטון וידאו שמתרחב עליה, מוסיף תנועה, הקשר וקשת סיפורית. זה פותח אפשרויות מרגשות לדמיון מחדש של תצלומים, ציורים ויצירות אמנות חזותיות אחרות.
4. עריכת וידאו
אפשר לספק ל-VideoPoet הוראות נוספות כדי לחדד את הסרטון שנוצר. לציין את הסגנון, הז'אנר, מצב הרוח ואפילו הפעולות או התנועות שרוצה לראות.
5. שינוי סרטון קיים, באמצעות הנחיות טקסט.
בדוגמאות שלמטה, הסרטון השמאלי הוא המקור והסרטון שלידו הוא הסרטון המסוגנן.
- וומבט מרכיב משקפי שמש אוחז בכדור חוף בחוף שטוף שמש
- דובונים מחליקים על קרח על אגם קפוא צלול
- אריה מתכת שואג באור של מחילה.
6. הפיכת וידאו לאודיו
לראשונה חוקרי בינה מלאכותית הצליחו ליצור קטעי וידאו של 2 שניות ו-VideoPoet הצליחה לחזות את האודיו ללא כל עזרה מהנחיות טקסט.
7. יצירת סרט קצר
VideoPoet יכול גם ליצור סרט קצר על ידי חיבור מספר קליפים קצרים. ראשית, החוקרים ביקשו מבארד, יריבת ChatGPT של גוגל, לכתוב תסריט קצר עם הנחיות. לאחר מכן הם יצרו וידאו מההנחיות ואז חיברו הכל להפקת הסרט הקצר.
8. סרטונים ארוכים יותר, עריכה ותנועת מצלמה
VideoPoet יכולה להתגבר על הבעיה של יצירת סרטונים ארוכים יותר על ידי התניה של השניה האחרונה של הסרטונים כדי לחזות את השניה הבאה. "על ידי שרשור זה שוב ושוב, אנו מראים שהמודל יכול לא רק להרחיב את הסרטון היטב אלא גם לשמר נאמנה את המראה של כל האובייקטים אפילו על פני מספר איטרציות", הם כתבו.
צילום סרטונים קיימים ולשנות את האופן שבו האובייקטים בו נעים
לדוגמט – הנחיית טקסט "אסטרונאוט מתחיל לרקוד על מאדים. זיקוקים צבעוניים ואז מתפוצצים ברקע."
VideoPoet יכול גם לצלם סרטונים קיימים ולשנות את האופן שבו האובייקטים בו נעים. לדוגמה, סרטון של המונה ליזה מתבקש לפהק.
9. שינוי זוויות מצלמה בתמונות קיימות.
ב-VideoPoet ניתן להשתמש בהנחיות טקסט גם כדי לשנות זוויות מצלמה בתמונות קיימות.
לדוגמה, הנחיה זו יצרה את התמונה הראשונה: אמנות קונספט של משחק הרפתקאות של זריחה מעל הר מושלג ליד נהר צלול.
לאחר מכן נוספו ההנחיות הבאות, משמאל לימין: התקרבות, זום דולי, פניה שמאלה, צילום קשת, צילום מנוף וצילום רחפן FPV.
זמינות הכלי VideoPoet
ה-VideoPoet עדיין אינו נגיש לציבור. גוגל טרם הודיעה מתי הכלי עשוי להיות זמין.
אנשי מקצוע וחובבי תעשייה כאחד מצפים להשפעה שתהיה ל-VideoPoet על השוק. ייצור וידאו בינה מלאכותית עדיין בתחילת דרכו, אך עם התפתחויות אלו כבסיס, 2024 עשויה להפוך לשנת הסרטונים שנוצרו על ידי AI, בדיוק כפי ש-2023 הייתה השנה של מחוללי תמונות בינה מלאכותית.
