למידה חישובית (machine learning) היא תחום מחקר העוסק בהקניה של יכולת רכישת ידע אוטונומית למכונות על ידי הצגת דוגמאות. למשל, בהינתן תמונה, היינו רוצים שמכונה מסוימת (למשל רכב אוטונומי) תדע אלו עצמים מופיעים בתמונה. אלגוריתם למידה למשימה זו מקבל מתוך ה״מורה האנושי״ אוסף של דוגמאות של תמונות בתוספת התשובה הנכונה לשאלה ״מה מופיע בתמונה״. האלגוריתם צריך להפיק בעצמו תוכנית מחשב שבהינתן תמונה חדשה תדע לענות על השאלה ״מה מופיע בתמונה״. מובן שלא נוכל לסקור פה את הטכניקות הרבות והמגוונות שבהן אלגוריתמי למידה משתמשים כדי להפיק תוכניות מחשב, אבל לשם המחשה, אחת הדרכים היא להגדיר מראש קבוצה (גדולה מאוד, בדרך כלל אקספוננציאלית בגודלה) של תוכניות מחשב אפשריות, ובהתבסס על הדוגמאות המצטברות, לבחור מתוך קבוצה זו את התוכנית שפועלת בצורה המיטבית על הדוגמאות. באנלוגיה לאימרה הנפוצה: ״שאלה טובה היא כבר חצי תשובה״, המחקר עוסק באופן של הייצוג של השאלות ש"הלומד" (כלומר האלגוריתם) צריך לענות עליהן. בדוגמה המוזכרת לעיל, הכוונה היא לאיך אנחנו מייצגים את התמונה. למרות התקדמות רבה בטכנולוגיות הלמידה, לא קיימת תיאוריה מסודרת המגדירה מהו ייצוג "טוב". המחקר עוסק בשאלות יסוד תיאורטיות הנוגעות לייצוג בלמידה חישובית. איך בכלל ניתן להגדיר תיאוריה לייצוג, מהם אלגוריתמים יעילים לייצוג, האם יש דרך לוודא אם ייצוג הוא מוצלח או לא. אחד מהענפים הפופולריים ביותר שצמחו מלמידה חישובית נקרא "למידה עמוקה" (deep learning), שבמסגרתה החוקרים בונים אלגוריתמי למידה בהשראת תפקודן המורכב של רשתות נוירונים במוחנו. אחד מהיתרונות הגדולים של למידה עמוקה הוא שהאלגוריתם מקבל את המידע הגולמי ולומד בעצמו גם את הייצוג. בדוגמה המוזכרת לעיל, אלגוריתמי למידה מקבלים כקלט את התמונה עצמה (פיקסלים) ללא כל עיבוד ראשוני, ושכבות הביניים של רשת הנוירונים המלאכותית יוצרות ייצוגים אבסטרקטיים של תמונת הקלט. לכאורה, זה מייתר את שאלת המחקר, שכן הייצוג הופך להיות חלק אינטגרלי מתהליך הלמידה העמוק. אבל, מבט יותר מעמיק מראה שלמידה עמוקה רק מחדדת את הצורך במחקר נוסף בנושא, מכיוון שהצלחת למידה עמוקה תלויה במידה רבה בארכיטקטורת רשת נוירונים שמתאימה לתחום של ה״שאלות״. למשל, בתחום זיהוי התמונות, ארכיטקטורה של רשת נוירונים קונבולוציונית עובדת בפועל בצורה טובה מאוד, אך ארכיטקטורה של רשת נוירונים מלאה נכשלת. בתחומים אחרים, רשתות קונבולוציוניות עובדות פחות טוב מרשתות מלאות, או מארכיטקטורות רשת אחרות. וכך חוזרת שאלת הייצוג במלוא עוצמתה...