מודל ה-Llama 3 הוא מודל שפה גדול מתקדם שפותח על ידי חברת מטא (לשעבר פייסבוק). המודל הוכרז לראשונה בשנת 2023, עורר עניין רב בקהילת המחקר והטכנולוגיה, הן בשל יכולותיו המרשימות והן בשל ההשלכות הפוטנציאליות שלו על החברה. המודל החדש מייצג פריצת דרך משמעותית בתחום מודלי השפה הגדולים.
בתקופה האחרונה החברות הגדולות החלו לפתח מודלי שפה גדולים משלהם (LLMs). מודל שפה גדול הוא מערכת בינה מלאכותית שמאומנת על כמויות עצומות של נתוני טקסט, ויכולה לבצע מגוון רחב של משימות הקשורות לשפה, כגון יצירת טקסט, תרגום שפות, כתיבת סוגים שונים של תוכן יצירתי ועוד.
מהו מודל ה-Llama 3 ?
מטא שחררה את מודל השפה הגדול שלה ה-Llama 3, שאמור להחליף את מודל הקודם שלה ה-Llama 2. מודל ה-Llama 3 אומן על למעלה מ- 15 טריליון טוקנים עם התמקדות משמעותית במקורות איכותיים ומגוונים.
המודל תוכנן להיות רב לשוני ורב-מודאלי באיטרציות עתידיות, ומבטיח חלונות הקשר ארוכים יותר ושיפורי ביצועים מתמשכים ועוזר הבינה המלאכותית של מטא בנוי על המודל זה.
תכונות המודל החדש
- פתרונות אבטחה ואמינות – מטא שילבה במודל החדש את ה-Llama Guard 2 ו-Cybersec Eval 2, וכלי Code Shield חדש שנועד למנוע מ-Llama 3 לייצר קוד זדוני.
- פלטפורמות AI – מודל ה-Llama 3 החדש יהיה זמין במגוון פלטפורמות כמו AWS Google Cloud, Hugging Face ועוד.
- Open Source – קוד המודל זמין בצורה פומבית בחשבון ה-GitHub של החברה עם מחויבות לשימוש אתי.
- השיפורים הטכניים – המודל כולל טוקנייזר יעיל יותר וגישה חדשה לאימון מודלים המשתמשת בתשומת לב שאילתה מקובצת, תוך אופטימיזציה של המודל לביצועי מסקנות טובים יותר, במטרה לחדד את האינטראקציה של המודל עם המשתמשים, ולהופך אותו לאינטואיטיבי ויעיל יותר בשימוש יומיומי.
- מנגנוני אימון – המודל יכול ללמוד ממערך נתונים רחב מבלי לפגוע בביצועים ולנהל ביעילות את הדרישות החישוביות העצומות של Llama 3, הודות לשימוש במנגנוני אימון מתוחכמים.
- דגמי המודל– המודל יהיה זמין בשני דגמים במטרה לשפר את הביצועים בהשוואה למודלים מתחרים, עם צפי לגרסה נוספת הכוללת מעל 400 מיליארד פרמטרים בהמשך.
הדגמים החדשים של ה-Llama 3
- דגם Llama 3 8B – המכיל 8 מיליארד פרמטרים.
- דגם Llama 3 70B – המכיל 70 מיליארד פרמטרים.
(פרמטרים מגדירים את המיומנות של מודל בינה מלאכותית בבעיה, כמו ניתוח ויצירת טקסט).
הדגמים החדשים הוכשרו על שני אשכולות מותאמים אישית של 24,000 GPU ולפי מטא, הם בין דגמי ה-AI הגנרטיביים בעלי הביצועים הטובים ביותר הזמינים כיום. כל אחד מהדגמים נועד לתת מענה למגוון רחב של יישומי בינה מלאכותית. הוא מציג שיפורים משמעותיים, כולל מיומנויות חשיבה חזקות יותר, ומבטיח שיפור משמעותי ביכולות הקידוד ומעקב אחר ההוראות שלו.
