תוכן הקורס ומטרתו
"למידה עמוקה" הינה שיטת למידה סטטיסטית הנהנית מהצלחה חסרת תקדים בשנים האחרונות, ואחראית במידה רבה לפריצות הדרך הטכנולוגיות הקרויות בציבור "בינה מלאכותית". למרות זאת, על אף הפופולריות העצומה ותשומת הלב הרבה להן היא זוכה, הבנתנו את הלמידה העמוקה מוגבלת מאוד --- יישומיה בפועל מתבססים בעיקר על חכמת המונים, ניסוי וטעיה ואינטואיציה, מה שבמקרים רבים מוביל לתוצאות לא אופטימליות (הן בחינת ביצועים והן בהיבטים של בטיחות, פרטיות, הוגנות ועוד). כתוצאה מכך, למידה עמוקה נתפשת פעמים רבים יותר כאומנות מאשר תחום מדעי.
בקורס זה נציג את הלמידה העמוקה מנקודת מבט של יסודותיה המתמטיים, תוך התמקדות בתצורה לה היא חייבת את הצלחתה --- למידה מפוקחת. באמצעות ניתוחים תיאורטיים וניסויים מבוקרים, ננסח את השאלות היסודיות שבבסיס הלמידה העמוקה, נסקור חלק מן התשובות הידועות, ונציג בעיות שעדיין פתוחות, ועומדות בחזית המחקר של למידה עמוקה.
הקורס יכסה את הנושאים הבאים:
+ שיטות מקובלות בלמידה עמוקה מפוקחת: ארכיטקטורות של רשתות נוירונים, אימון מבוסס גרדיאנטים, רגולריזציה
+ שלושת היסודות של תיאוריית למידה סטטיסטית (ייצוג / אופטימיזציה / הכללה) בלמידה קלאסית לעומת למידה עמוקה
+ ייצוג: קירוב אוניברסלי, הפרדת עומקים, הפרדת היבטים ארכיטקטוניים אחרים, הטיה מובנית
+ אופטימיזציה: תכונות משטחי אימון של רשתות נוירונים, שיטה גאומטרית לניתוח רשתות עם שתי שכבות, שיטה דינמית לניתוח רשתות עם יותר משתי שכבות, תפקידו של הייצוג
+ הכללה: מדדי מורכבות ומגבלותיהן, חסמים סטטיסטיים, רגולריזציה לא מפורשת
לסילבוס המפורט
