הסתברות מותנית, אי-תלות ומשפט בייס. זמן משוער: כ-2 שעות כולל התרגול. דרישות קדם: שיעור 1.
בשיעור 1 חישבנו הסתברות כשאין לנו שום מידע מיוחד. אבל בחיים (וב-ML) כמעט תמיד יודעים משהו: התוצאה של בדיקה, מילה שהופיעה במייל, פיקסל בתמונה. השיעור הזה עוסק בשאלה אחת גדולה: איך משנים את ההסתברות כשמגיע מידע חדש?
לא צריך שום מתמטיקה חדשה, רק שברים וכפל. ה"כלי" היחיד הוא דרך חשיבה: לצמצם את היקום למה שנשאר אחרי שיודעים משהו.
❓ הטלתי קובייה ולא הראיתי לך את התוצאה. מה הסיכוי שיצא מספר זוגי? ומה אם אגלה לך שיצא מספר גדול מ-3?
הסעיף בנוי בשלבים: (0) דוגמה קטנה, (1) צמצום היקום, (2) הנוסחה, (3) מעבדה, (4) התכונה החשובה, (5) מלכודת נפוצה.
עכשיו נחשוב: איזה מבין התוצאות האפשריות נשארו? רק 4, 5, 6. שלוש תוצאות שוות-סיכוי. מהן זוגיות: 4 ו-6, כלומר שתיים. הסיכוי החדש הוא $2/3$.
המידע שינה את התשובה מ-$\tfrac12$ ל-$\tfrac23$. זה הרעיון כולו.
$P(A\mid B)$ נקרא "ההסתברות של $A$ בהינתן $B$" (given $B$), והוא ההסתברות ש-$A$ קרה, כשידוע ש-$B$ קרה. הקו האנכי $\mid$ נקרא "בהינתן". בדוגמה: $P(\text{זוגי}\mid\text{גדול מ-3})=\frac23$.
ידיעה ש-$B$ קרה פירושה: כל מה שמחוץ ל-$B$ נפל מהמשחק. $B$ הוא עכשיו "העולם החדש", $\Omega$ החדש. ההסתברות של $A$ בעולם הזה היא החלק היחסי של $A$ בתוך $B$: כמה תוצאות של $A$ נשארו, מתוך כמה תוצאות נשארו בסך הכל.
כשהתוצאות שוות-סיכוי, "החלק של $A$ בתוך $B$" הוא $\frac{|A\cap B|}{|B|}$ (התוצאות שב-$A$ וגם ב-$B$, מתוך תוצאות $B$). נחלק מונה ומכנה ב-$|\Omega|$, ונקבל נוסחה שמתאימה לכל מצב, גם כשהתוצאות לא שוות-סיכוי:
$$P(A\mid B)=\frac{|A\cap B|}{|B|}=\frac{|A\cap B|/|\Omega|}{|B|/|\Omega|}=\frac{P(A\cap B)}{P(B)}\qquad(\text{בתנאי ש-}P(B)>0).$$בדוגמה: $A\cap B=\{4,6\}$, $P(A\cap B)=\frac26$, $P(B)=\frac36$, והיחס $=\frac23$ ✔. (הדרישה $P(B)>0$ נחוצה: אי אפשר "להתנות" במאורע שאי אפשר שיקרה, זה חילוק באפס.)
נחזור לטבלת 36 התאים. בחר מה ידוע ($B$) ומה שואלים ($A$). התאים שמחוץ ל-$B$ מתעמעמים: הם נפלו מהמשחק.
ניסוי מודרך:
לעולם החדש ($B$) יש הסתברויות משלו, והן מקיימות את האקסיומות מהשיעור הקודם: לא שליליות, $P(B\mid B)=1$, וחיבור לזרים. לכן כל החוקים שלמדנו ממשיכים לעבוד, פשוט עם "$\mid B$" בכל מקום. למשל חוק המשלים:
$$P(A^c\mid B)=1-P(A\mid B).$$בדוגמה: $P(\text{אי-זוגי}\mid\text{גדול מ-3})=1-\frac23=\frac13$, ואכן רק התוצאה 5 מתוך $\{4,5,6\}$ ✔.
$P(A\mid B)$ ו-$P(B\mid A)$ הם מספרים שונים, והבלבול ביניהם הוא אחת הטעויות הנפוצות ביותר בהסתברות. דוגמה על הקוביות: $A$ = "הסכום 12" ו-$B$ = "דאבל". אז:
דוגמה מהחיים: "כל מי שמדבר עברית ברחוב בתל אביב כנראה ישראלי" שונה מ"כל ישראלי מדבר עברית ברחוב". כשיש לך נתון מהצורה $P(A\mid B)$, אל תשתמש בו כאילו הוא $P(B\mid A)$. בסעיף 5 נראה איך באמת עוברים בין הכיוונים.
$P(A\mid B)$ מדבר על מידע, לא על סיבה ותוצאה, ולא על סדר בזמן. אפשר להתנות באירוע שקרה אחרי $A$ (למשל "ירד גשם" בהינתן "ראיתי מטרייה פתוחה"), ואין בכך טענה שהמטרייה גרמה לגשם.
תרגיל 1.1 חישוב מטבלה ⭐
מטילים שתי קוביות. ידוע שהקובייה הראשונה יצאה 3. מה הסיכוי שהסכום הוא 8? השווה לסיכוי ללא הידיעה.
$B$ = "הראשונה 3": 6 תאים. $A\cap B$: רק $(3,5)$, תא אחד. לכן $P(A\mid B)=1/6\approx0.167$. בלי הידיעה: $P(\text{סכום }8)=5/36\approx0.139$. המידע העלה מעט את הסיכוי. (אפשר לבדוק במעבדה.)
תרגיל 1.2 מציאת טעות בטיעון ⭐⭐
בדיקת קורונה מזהה 95% מהחולים. מישהו אומר: "הבדיקה שלי יצאה חיובית, לכן הסיכוי שאני חולה הוא 95%". איזו הסתברות מותנית הוא מחליף באיזו?
המספר 95% הוא $P(\text{חיובית}\mid\text{חולה})$ ("אם חולה, הבדיקה חיובית"). השאלה שלו היא $P(\text{חולה}\mid\text{חיובית})$. הם שונים, ובסעיף 5 נראה שהשני יכול להיות קטן בהרבה מהראשון.
תרגיל 1.3 פרדוקס שני הילדים ⭐⭐⭐
למשפחה שני ילדים (בן או בת, כל אפשרות שווה-סיכוי, ללא תלות). (א) ידוע שלפחות אחד מהם בן. מה הסיכוי ששניהם בנים? (ב) ידוע שהילד הבכור בן. מה הסיכוי ששניהם בנים?
רשום את מרחב המדגם עם סדר (בכור, צעיר): ארבע תוצאות שוות-סיכוי. "תצבע את הילדים".
$\Omega=\{BB,BG,GB,GG\}$ (אות ראשונה: הבכור). (א) "לפחות בן" $=\{BB,BG,GB\}$, שלוש תוצאות, ו"שניהם בנים" היא אחת מהן: $1/3$. (ב) "הבכור בן" $=\{BB,BG\}$, ושניהם בנים היא אחת: $1/2$.
הלקח: אילו מילים מדויקות בידיעה משנות את היקום שנשאר. "לפחות אחד" ו"הבכור" הם שני מידעים שונים.
הצלחנו להגדיר "הסתברות בהינתן מידע". עכשיו נחבר אותה לשאלה שנשארה פתוחה בשיעור 1: איך מחשבים את הסיכוי ששני דברים קורים, אחד אחרי השני?
❓ שולפים שני קלפים מחפיסה, בזה אחר זה, בלי להחזיר. מה הסיכוי ששניהם אסים?
נסדר מחדש את הנוסחה $P(A\mid B)=\frac{P(A\cap B)}{P(B)}$: נכפיל את שני הצדדים ב-$P(B)$ ונקבל
$$P(A\cap B)=P(B)\cdot P(A\mid B).$$במילים: "הסיכוי ששניהם קרו" = "הסיכוי שהראשון קרה" כפול "הסיכוי שהשני קרה, כשידוע שהראשון קרה". זה כלל הכפל.
הראשון הוא אס בסיכוי $\frac{4}{52}$ (4 אסים מתוך 52). אם יצא אס, נשארו 51 קלפים ובהם 3 אסים, לכן הסיכוי לאס שני בהינתן שהראשון אס הוא $\frac3{51}$. לפי כלל הכפל:
$$P(\text{שני אסים})=\frac{4}{52}\cdot\frac{3}{51}=\frac{12}{2652}=\frac1{221}.$$בדיקה בשיטה אחרת (ספירה משיעור 1): $\binom{4}{2}\big/\binom{52}{2}=\frac{6}{1326}=\frac1{221}$ ✔. אותה תשובה. (מעניין שכלל הכפל מבצע בדיוק את אותה ספירה, צעד אחר צעד.)
שים לב ל"בהינתן": הסיכוי לאס השני השתנה מ-$\frac4{52}$ ל-$\frac3{51}$ בגלל שהראשון נשלף, וזה בדיוק למה אי אפשר סתם להכפיל $\frac4{52}\cdot\frac4{52}$.
אפשר לשרשר: $P(A\cap B\cap C)=P(A)\cdot P(B\mid A)\cdot P(C\mid A\cap B)$. כל גורם הוא "הסיכוי לצעד הבא, בהינתן כל מה שקרה עד עכשיו". זה הבסיס ל"עץ הסתברות": מציירים את הצעדים כענפים ומכפילים לאורך המסלול.
בכל בעיה עם כמה שלבים: צייר עץ. על כל ענף כתוב את ההסתברות המותנית של הצעד, ועל כל עלה את המכפלה לאורך המסלול. (עץ מלא נבנה בסעיף 4.)
תרגיל 2.1 כלל הכפל + בדיקה בספירה ⭐
שולפים 3 קלפים מחפיסה בלי החזרה. מה הסיכוי שכולם לבבות? פתור בשתי דרכים.
כלל הכפל: $\frac{13}{52}\cdot\frac{12}{51}\cdot\frac{11}{50}=\frac{1716}{132600}\approx0.0129$. ספירה: $\binom{13}{3}\big/\binom{52}{3}=\frac{286}{22100}\approx0.0129$ ✔.
תרגיל 2.2 מציאת הטעות ⭐
תלמיד טוען: "הסיכוי לשני אסים הוא $\frac4{52}\cdot\frac4{52}=\frac1{169}$ כי בכל שליפה יש 4 אסים". איפה הטעות? באיזה מצב הוא היה צודק?
הוא התעלם מכך שהקלף הראשון הוצא: הסיכוי לאס שני תלוי במה שיצא. החישוב שלו נכון אם מחזירים את הקלף הראשון לחפיסה ומערבבים (עם החזרה), כי אז השליפות לא משפיעות זו על זו. כאן התעלמות מהתלות נותנת $\frac1{169}$ במקום $\frac1{221}$.
תרגיל 2.3 סימולציה ⭐⭐
כתוב סימולציה שמעריכה את הסיכוי לשני אסים בשליפת שני קלפים, ובדוק שמתקבל בערך $1/221\approx0.0045$.
import numpy as np
rng = np.random.default_rng(0)
deck = np.array([1]*4 + [0]*48) # 1 = ace, 0 = other card
def two_aces():
hand = rng.choice(deck, size=2, replace=False) # draw without replacement
return hand.sum() == 2
print(np.mean([two_aces() for _ in range(500_000)])) # ~0.0045 = 1/221
שים לב לפרמטר replace=False: הוא בדיוק ההבדל בין "בלי החזרה" (תלות) לבין "עם החזרה".
ראינו שהסיכוי לצעד שני תלוי בצעד הראשון. אבל לפעמים הוא לא תלוי. מתי? זו השאלה הבאה.
❓ בהטלת קובייה, האם הידיעה שהקובייה הראשונה יצאה 6 משנה משהו לגבי הסכום הזוגי? ומתי, בכלל, מידע על דבר אחד לא משנה כלום על דבר אחר?
$A$ ו-$B$ הם בלתי-תלויים (independent) אם הידיעה ש-$B$ קרה לא משנה את הסיכוי של $A$:
$$P(A\mid B)=P(A).$$נציב ב"כלל הכפל" ונקבל הגדרה שקולה (ונוחה יותר, כי היא סימטרית ועובדת גם כש-$P(B)=0$):
$$P(A\cap B)=P(A)\cdot P(B).$$הכלל המעשי: בלתי-תלויים = אפשר פשוט להכפיל את ההסתברויות כדי לקבל את ההסתברות ל"וגם". זה בדיוק מה שהנחנו בשיעור 1 ב-$(5/6)^4$.
זרים: $A\cap B=\emptyset$, כלומר לא יכולים לקרות יחד. בלתי-תלויים: $P(A\cap B)=P(A)P(B)$. אלה שני דברים שונים, ואפילו הפוכים בספיריט: אם $A$ ו-$B$ זרים ושניהם אפשריים, אז ידיעה ש-$A$ קרה מבטיחה ש-$B$ לא קרה: $P(B\mid A)=0\neq P(B)$. הם תלויים בחוזקה.
באופן מעשי, כמעט אף פעם לא בודקים אי-תלות במספרים. מניחים אותה כשהמצב הפיזי מצדיק: שתי הטלות נפרדות של מטבע, שתי קוביות שונות, אנשים לא קשורים. זו החלטת מידול. ואם ההנחה שגויה, החישובים שנסמוך עליה שגויים.
כמעט כל אלגוריתם למידה מניח שדוגמאות האימון הן i.i.d.: independent (בלתי-תלויות זו בזו) ו-identically distributed (נדגמו מאותה התפלגות). הנחת האי-תלות היא זו שמאפשרת לכתוב את ה-likelihood כמכפלה של גורמים, כלומר לפרק בעיה ענקית לחלקים קטנים (נראה בשיעור 8). ואם הדאטה שלך לא כזה (למשל תמונות מאותו מטופל שנכנסו גם ל-train וגם ל-test), המודל "ירמה" והציון שלו מנופח.
אם $A$ ו-$B$ בלתי-תלויים, אז גם $A$ ו-$B^c$ ("לא $B$") בלתי-תלויים. הוכחה (בטכניקה של פירוק לזרים משיעור 1): $A=(A\cap B)\cup(A\cap B^c)$ זרים, לכן $P(A\cap B^c)=P(A)-P(A\cap B)=P(A)-P(A)P(B)=P(A)\,(1-P(B))=P(A)\,P(B^c)$. ∎
עבור שלושה מאורעות או יותר, "כל זוג בלתי-תלוי" לא מספיק. אי-תלות מלאה (mutual independence) דורשת שכל תת-קבוצה מקיימת את כלל המכפלה. דוגמה קלאסית: שתי הטלות מטבע, $A$ = "הראשונה עץ", $B$ = "השנייה עץ", $C$ = "שתי ההטלות זהות": כל זוג בלתי-תלוי, אבל שלושתם יחד לא. נפגוש את זה בעת עיסוק ב-Naive Bayes.
תרגיל 3.1 בדיקת אי-תלות מנתונים ⭐
נתון $P(A)=0.4$, $P(B)=0.5$, $P(A\cup B)=0.7$. האם $A,B$ בלתי-תלויים?
הכלה והפרדה: $P(A\cap B)=0.4+0.5-0.7=0.2$. וגם $P(A)P(B)=0.4\cdot0.5=0.2$. שווים, אז כן, בלתי-תלויים.
תרגיל 3.2 אי-תלות + משלים ⭐
מערכת מורכבת מ-3 רכיבים. כל רכיב מתקלקל בסיכוי 10%, באופן בלתי-תלוי. מה הסיכוי שלפחות רכיב אחד מתקלקל?
טריק המשלים + אי-תלות: $P(\text{אף רכיב לא מתקלקל})=0.9^3=0.729$. לכן $1-0.729=0.271$.
תרגיל 3.3 אי-תלות, מקרה ללא החזרה ⭐⭐
בשקית 5 כדורים אדומים ו-3 כחולים. שולפים שניים, אחד אחרי השני. האם "הראשון אדום" ו"השני אדום" בלתי-תלויים (א) כששולפים עם החזרה? (ב) כששולפים בלי החזרה?
(א) עם החזרה: בכל שליפה $P=\frac58$, והשליפות לא משפיעות זו על זו: בלתי-תלויים, $P(\text{שניהם אדומים})=\frac{25}{64}$. (ב) בלי החזרה: $P(\text{שני אדומים})=\frac58\cdot\frac47=\frac{20}{56}=\frac5{14}\approx0.357$, בעוד $P(\text{ראשון})P(\text{שני})=\frac58\cdot\frac58=\frac{25}{64}\approx0.391$ (הסיכוי לשני אדום הוא גם $\frac58$, ראה תרגיל 4.1). הם לא שווים, ולכן תלויים.
תרגיל 3.4 הוכחה ⭐⭐
הוכח: אם $A$ ו-$B$ בלתי-תלויים, אז גם $A^c$ ו-$B^c$ בלתי-תלויים.
דה-מורגן: $A^c\cap B^c=(A\cup B)^c$, ואז חוק המשלים והכלה והפרדה.
$P(A^c\cap B^c)=P((A\cup B)^c)=1-P(A\cup B)=1-P(A)-P(B)+P(A)P(B)=(1-P(A))(1-P(B))=P(A^c)P(B^c)$. ∎ (השתמשנו בדה-מורגן, חוק המשלים, הכלה והפרדה ואי-תלות.)
תרגיל 3.5 הסבר תופעה מפתיעה ⭐⭐
במעבדה ראית שהמאורע "הסכום הוא 7" בלתי-תלוי ב"הקובייה הראשונה = $k$" לכל $k$. הסבר למה, בלי חישוב מספרי.
נניח שהקובייה הראשונה יצאה $k$ (כל ערך שהוא). כדי שהסכום יהיה 7, הקובייה השנייה חייבת להיות בדיוק $7-k$, והערך הזה קיים תמיד (בין 1 ל-6). לכן $P(\text{סכום }7\mid\text{ראשונה }k)=\frac16$ לכל $k$, והוא שווה ל-$P(\text{סכום }7)=\frac16$. הראשונה "לא יודעת" כלום על הסכום. (עבור סכום 8 זה כבר לא נכון: אם הראשונה 1, אי אפשר לקבל 8.)
ראינו איך מידע משנה הסתברויות (סעיף 1), איך מחברים צעדים (סעיף 2), ומתי מידע לא רלוונטי (סעיף 3). עכשיו נשתמש בכל זה כדי לפתור בעיה נפוצה: יש כמה "מצבי עולם" אפשריים, ולכל אחד הסתברות אחרת.
❓ במפעל שתי מכונות. מכונה A מייצרת 60% מהפריטים ו-2% מהם פגומים. מכונה B מייצרת 40% מהפריטים ו-5% מהם פגומים. אני בוחר פריט אקראי. מה הסיכוי שהוא פגום?
הפריט הגיע ממכונה אחת מהשתיים (שני "מצבי עולם"), ולכל אחת יש שיעור פגומים אחר. כל ענף נושא הסתברות מותנית, ובעלים רשומה המכפלה:
"פגום" מופיע בשני עלים, ושני המסלולים זרים (פריט בא ממכונה אחת). לפי אקסיומת החיבור:
$$P(\text{פגום})=0.6\cdot0.02+0.4\cdot0.05=0.012+0.020=0.032.$$זו התשובה: 3.2% מהפריטים פגומים. שים לב לאנלוגיה: ממוצע משוקלל של שיעורי הפגומים (2% ו-5%), כשהמשקלים הם נתחי הייצור (60% ו-40%).
נניח ש-$B_1,B_2,\dots,B_n$ הם "מצבי עולם" זרים שמכסים הכל (בדיוק אחד מהם קורה). קבוצה כזו נקראת חלוקה (partition) של $\Omega$. אז לכל מאורע $A$:
$$P(A)=\sum_{i=1}^{n}P(A\mid B_i)\,P(B_i).$$למה? $A$ מתפרק לחלקים זרים $A\cap B_1,\dots,A\cap B_n$ (הטכניקה של שיעור 1), ו-$P(A\cap B_i)=P(A\mid B_i)P(B_i)$ לפי כלל הכפל. נחבר.
כשקשה לחשב $P(A)$ ישירות, שאל: "יש משהו שאם הייתי יודע אותו, הבעיה הייתה קלה?" הוא ה-$B$. חלק לפי כל ערכיו האפשריים וחבר עם משקלים. זו הטכניקה הכי שימושית בהסתברות אחרי טריק המשלים.
"חלוקה לפי מצב נסתר" היא הרעיון מאחורי מודלי תערובת (mixture models, למשל Gaussian Mixture) ו-latent variables: מניחים שכל דגימה באה מ"אשכול" לא ידוע, והסיכוי לדגימה הוא ממוצע משוקלל של הסיכויים בכל אשכול. נחזור לזה.
תרגיל 4.1 חלוקה למקרים + סימטריה ⭐⭐
בשקית 5 כדורים אדומים ו-3 כחולים. שולפים שניים בלי החזרה. מה הסיכוי שהכדור השני אדום?
חלוקה לפי הצבע של הראשון: $P(\text{שני אדום})=\underbrace{\frac58}_{\text{ראשון אדום}}\cdot\frac47+\underbrace{\frac38}_{\text{ראשון כחול}}\cdot\frac57=\frac{20+15}{56}=\frac{35}{56}=\frac58$.
תובנה: יצא בדיוק $\frac58$, כמו הסיכוי לכדור הראשון. זה לא מקרי: מבלי לדעת מה יצא ראשון, לכדור השני יש אותו סיכוי כמו לכל מיקום אחר ("סימטריה": כל כדור בשקית יכול להיות בכל מיקום).
תרגיל 4.2 ממוצע משוקלל ⭐
70% מהסטודנטים התכוננו למבחן, ומהם 90% עוברים. 30% לא התכוננו, ומהם 40% עוברים. מה אחוז העוברים הכולל?
$0.7\cdot0.9+0.3\cdot0.4=0.63+0.12=0.75$. כלומר 75%.
תרגיל 4.3 עץ בשלושה שלבים ⭐⭐
בשקית שלושה מטבעות: מטבע הוגן, מטבע מוטה שנותן עץ בסיכוי 0.8, ומטבע שנותן עץ בסיכוי 0.1. בוחרים מטבע אקראי (כל אחד בסיכוי שווה) ומטילים פעם אחת. מה הסיכוי לעץ?
$P(\text{עץ})=\frac13(0.5+0.8+0.1)=\frac13\cdot1.4\approx0.467$. ממוצע של שלושת ההסתברויות, כי למטבעות משקל שווה.
הצלחנו לענות "מה הסיכוי לפגום?". עכשיו הפוך: הפריט פגום. מה הסיכוי שהוא בא ממכונה A? זו השאלה ההפוכה (הכיוון $P(B\mid A)$ במקום $P(A\mid B)$), והיא הלב של השיעור.
❓ בדיקה רפואית מזהה 99% מהחולים, ומתריעה בטעות על 5% מהבריאים. 1% מהאוכלוסייה חולה. הבדיקה שלך יצאה חיובית. מה הסיכוי שאתה חולה?
עצור לרגע וכתוב מספר. רוב האנשים (כולל רופאים בניסויים מפורסמים) אומרים 90% עד 99%. התשובה הנכונה: בערך 17%. בואו נבין איך.
במקום להסתכל על אחוזים, נדמיין 10,000 אנשים:
למה זה מפתיע? כי הקבוצה של הבריאים כל כך גדולה, שגם אחוז קטן של שגיאות בה (5%) יוצר יותר "חיוביים" (495) מכל החולים (99). רוב החיוביים הם אזעקות שווא.
כל נקודה היא אדם (10,000 בסך הכל). שחק עם שלושת המשתנים והסתכל איך האחוז בתחתית משתנה:
עשינו בדיוק את הצעדים האלה: "כמה חיוביים אמיתיים" חלקי "כמה חיוביים בסך הכל". נכתוב אותם בהסתברות. נתחיל מההגדרה (סעיף 1) ונשתמש בכלל הכפל (סעיף 2) על המונה ובהסתברות השלמה (סעיף 4) על המכנה:
$$P(B\mid A)=\frac{P(A\cap B)}{P(A)}=\frac{P(A\mid B)\,P(B)}{P(A)}\ ,\qquad P(A)=\sum_i P(A\mid B_i)P(B_i).$$בדוגמה: $B$ = "חולה", $A$ = "בדיקה חיובית". $P(A\mid B)=0.99$, $P(B)=0.01$, והמכנה: $P(A)=0.99\cdot0.01+0.05\cdot0.99=0.0099+0.0495=0.0594$. לכן $P(B\mid A)=\frac{0.0099}{0.0594}=\frac16$ ✔. אותה תשובה כמו בספירת האנשים.
בסימון $P(\text{השערה}\mid\text{ראיה})=\dfrac{P(\text{ראיה}\mid\text{השערה})\cdot P(\text{השערה})}{P(\text{ראיה})}$:
הראיה לא עושה את כל העבודה. האמונה הקודמת (prior) קובעת הרבה. אם משהו נדיר מאוד לפני הבדיקה, גם בדיקה טובה לא תהפוך אותו לסביר. ($P(\text{חיובית}\mid\text{חולה})=99\%$, אבל $P(\text{חולה}\mid\text{חיובית})=17\%$: הכיוון חשוב, ובסעיף 1 הזהרנו מהבלבול הזה.)
זו אותה טעות במשפטים: "הסיכוי שיימצא DNA תואם אצל אדם חף מפשע הוא 1 ל-100,000. נמצא DNA תואם אצל הנאשם, לכן הסיכוי שהוא חף מפשע הוא 1 ל-100,000". זה בלבול בין $P(\text{התאמה}\mid\text{חף})$ ל-$P(\text{חף}\mid\text{התאמה})$. אם העיר מונה מיליון תושבים, יש בה כ-10 אנשים חפים עם התאמה, ולכן ל"התאמה" לבד יש הסתברות הרבה יותר גבוהה לטעות.
תרגיל 5.1 בייס, הפעלה ישירה ⭐
במפעל מסעיף 4: נבחר פריט והוא פגום. מה הסיכוי שהוא יוצר במכונה A?
$P(A\mid\text{פגום})=\frac{P(\text{פגום}\mid A)P(A)}{P(\text{פגום})}=\frac{0.02\cdot0.6}{0.032}=\frac{0.012}{0.032}=0.375$. מכונה A מייצרת הרבה יותר פריטים, אבל מכונה B (עם 5% פגומים) אחראית ל-62.5% מהפגומים.
תרגיל 5.2 עדכון עוקב (posterior הופך ל-prior) ⭐⭐
בהמשך לדוגמה הרפואית: אותו אדם חוזר על הבדיקה (בדיקה בלתי-תלויה), והיא יוצאת חיובית שוב. מה הסיכוי עכשיו שהוא חולה?
אחרי הבדיקה הראשונה, ההסתברות הקודמת (prior) החדשה היא 1/6 ולא 1%.
prior חדש: $\frac16\approx0.1667$. בדיקה שנייה חיובית: $P(\text{חולה}\mid++)=\frac{0.99\cdot\frac16}{0.99\cdot\frac16+0.05\cdot\frac56}=\frac{0.165}{0.165+0.0417}\approx0.80$. שתי בדיקות חיוביות מעלות את הסיכוי מ-17% ל-80%. כל ראיה חדשה מעדכנת את האמונה, וה"posterior" של הצעד הקודם הופך ל-"prior" של הצעד הבא. זה הרעיון המרכזי של למידה בייסיאנית.
תרגיל 5.3 בעיית מונטי הול (אתגר + סימולציה) ⭐⭐⭐
מאחורי אחת משלוש דלתות יש מכונית, ומאחורי השתיים האחרות עיזים. בחרת דלת (נניח 1). המנחה, שיודע איפה המכונית, פותח דלת אחרת שיש מאחוריה עז, ושואל: "רוצה להחליף?" האם כדאי להחליף?
בהתחלה סיכוי של 1/3 שבחרת נכון. מה קורה לסיכוי שהמכונית ב"שתי הדלתות האחרות" כשהמנחה פותח אחת מהן ויודע שיש בה עז?
אם בחרת נכון בהתחלה (סיכוי $\frac13$), החלפה מפסידה. אם בחרת לא נכון (סיכוי $\frac23$), המנחה חייב לפתוח את הדלת השנייה עם העז, והחלפה תמיד זוכה. לכן $P(\text{זכייה בהחלפה})=\frac23$.
סימולציה לאישור:
import numpy as np
rng = np.random.default_rng(0)
def play(switch):
car = rng.integers(3)
pick = rng.integers(3)
# host opens a goat door that is neither the pick nor the car
host = rng.choice([d for d in range(3) if d != pick and d != car])
if switch:
pick = next(d for d in range(3) if d != pick and d != host)
return pick == car
N = 100_000
print(np.mean([play(True) for _ in range(N)])) # ~0.667
print(np.mean([play(False) for _ in range(N)])) # ~0.333
למה האינטואיציה טועה? כי המנחה לא פותח דלת אקראית: הפעולה שלו נושאת מידע (הוא יודע איפה המכונית). זו שוב התניה על מידע מדויק.
יש לנו עכשיו את המנוע המרכזי: בייס הופך "אם ההשערה נכונה, מה הסיכוי לראיה?" ל"בהינתן הראיה, מה הסיכוי להשערה?". וזה בדיוק מה שמסווג עושה: מקבל ראיה (התמונה, המייל) ורוצה לדעת את ההשערה (איזו מחלקה).
❓ בשיעור 1 ראינו שמסווג מוציא הסתברות לכל מחלקה. מה זו, מבחינה מתמטית, ההסתברות הזו, ואיך אפשר לחשב אותה?
נסמן ב-$x$ את הקלט (למשל תוכן המייל, או כל הפיקסלים של תמונה) וב-$y$ את המחלקה (ספאם / לא ספאם, או חתול / כלב / ארנב). מה שהמסווג רוצה לדעת:
$$P(y\mid x)=\text{הסיכוי למחלקה }y\text{, בהינתן שראיתי את }x.$$זו בדיוק הסתברות מותנית: $x$ הוא ה"ידוע" ($B$) ו-$y$ היא "השאלה" ($A$). ה-softmax משיעור 1 הוא פשוט אחת הדרכים לחשב אותה.
במקום להתאמן ישירות על $P(y\mid x)$, אפשר להפוך בעזרת בייס:
$$P(y\mid x)=\frac{P(x\mid y)\;P(y)}{P(x)}\ \propto\ \underbrace{P(x\mid y)}_{\text{כמה האימייל "טיפוסי" למחלקה}}\cdot\underbrace{P(y)}_{\text{שכיחות המחלקה}}.$$($\propto$ פירושו "פרופורציוני": המכנה $P(x)$ זהה לכל המחלקות, ולכן להשוואה ביניהן מספיק להשוות את המונים.) מסווג שעובד כך נקרא generative, כי הוא מדמה איך מייצרים דוגמאות מכל מחלקה.
נסתכל על 1,000 מיילים: 400 ספאם ו-600 לא-ספאם. המילה "free" מופיעה ב-50% מהספאם (200 מיילים) וב-5% מהלא-ספאם (30 מיילים).
| סה"כ | מכילים "free" | |
|---|---|---|
| ספאם | 400 | 200 |
| לא-ספאם | 600 | 30 |
קיבלנו מייל עם "free". מה הסיכוי שהוא ספאם? מבין 230 המיילים עם "free", 200 ספאם: $P(\text{ספאם}\mid\text{free})=\frac{200}{230}\approx0.87$. (זה בדיוק משפט בייס עם prior = 0.4 ו-likelihoods = 0.5 ו-0.05.)
מייל אמיתי מכיל מאות מילים. כדי לחשב $P(x\mid y)$ של כל הצירוף של המילים היינו צריכים טבלה ענקית. הפתרון: להניח שהמילים בלתי-תלויות זו בזו בהינתן המחלקה, ולכפול (אי-תלות, סעיף 3):
$$P(x_1,x_2,\dots,x_k\mid y)\approx P(x_1\mid y)\cdot P(x_2\mid y)\cdots P(x_k\mid y).$$הנחה זו "נאיבית" כי היא לא נכונה בדרך כלל ("Hong" ו-"Kong" מופיעות יחד), אבל היא מפשטת את הבעיה בצורה דרמטית, ובפועל המסנן עובד טוב. לדוגמה: נניח גם שהמילה "winner" מופיעה ב-30% מהספאם וב-2% מהלא-ספאם. מייל עם "free" וגם "winner":
| prior | $P(\text{free}\mid y)$ | $P(\text{winner}\mid y)$ | מכפלה | |
|---|---|---|---|---|
| ספאם | 0.4 | 0.5 | 0.3 | 0.06 |
| לא-ספאם | 0.6 | 0.05 | 0.02 | 0.0006 |
מנרמלים (חלוקה בסכום, כמו ב-softmax): $P(\text{ספאם}\mid\text{free},\text{winner})=\frac{0.06}{0.06+0.0006}\approx0.99$. שתי ראיות יחד מעלות מ-87% ל-99%.
אם הרבה מילים מתואמות (כולן מצביעות לאותו כיוון), Naive Bayes "סופר את אותה ראיה כמה פעמים" ויוצא בטוח מדי בעצמו. הוא מסווג טוב, אבל ההסתברויות שהוא מחזיר לרוב לא מכוילות. נשאר לשים לב לזה בפועל.
נניח שאנחנו מזהים הונאות בכרטיסי אשראי, ורק 0.1% מהעסקאות הן הונאה. מסווג פשוט שאומר "תמיד לא הונאה" מגיע ל-99.9% דיוק (accuracy), ולא מזהה אף הונאה. עכשיו מודל "טוב": מזהה 99% מההונאות, ומתריע בטעות על 1% מהעסקאות התקינות. מה הסיכוי שעסקה שסומנה אכן הונאה?
זו בדיוק הדוגמה הרפואית, והמעבדה שלמעלה כבר עשתה את זה: לחץ על "הונאה נדירה". מתוך 10,000 עסקאות: 10 הונאות (כ-10 מזוהות), ו-9,990 תקינות, מהן 1% = כ-100 אזעקות שווא. התוצאה: רק כ-9% מהעסקאות המסומנות הן באמת הונאה.
מי שמבלבל בין recall ל-precision עושה בדיוק את הבלבול של $P(A\mid B)$ ו-$P(B\mid A)$ מסעיף 1.
"prior" ו-"posterior" יחזרו בשיעור 8 (MAP: מה ה-prior אומר על הפרמטרים) ובשיעור 9 (הסקה בייסיאנית מלאה). ההנחה ה-i.i.d. תהפוך שם ל"likelihood של כל הדאטה = מכפלה".
תרגיל 6.1 Naive Bayes ידני ⭐⭐
בדאטהסט של סקירות: 30% "חיוביות" ו-70% "שליליות". המילה "great" מופיעה ב-60% מהחיוביות וב-10% מהשליליות. המילה "boring" מופיעה ב-5% מהחיוביות וב-40% מהשליליות. סקירה מכילה את שתי המילים. מה הסיכוי שהיא חיובית (בהנחת Naive Bayes)?
חיובית: $0.3\cdot0.6\cdot0.05=0.009$. שלילית: $0.7\cdot0.1\cdot0.4=0.028$. מנרמלים: $\frac{0.009}{0.009+0.028}=\frac{0.009}{0.037}\approx0.243$. הסקירה כנראה שלילית (76%), כי "boring" חזקה כראיה.
תרגיל 6.2 Precision מ-recall ⭐⭐
מודל זיהוי ספאם: 20% מהמיילים הם ספאם. המודל מזהה 90% מהספאם, ומסמן בטעות 5% מהמיילים הלגיטימיים. אם המודל סימן מייל כספאם, מה הסיכוי שהוא באמת ספאם (precision)?
מתוך 1,000 מיילים: 200 ספאם, מזוהים 180; 800 לגיטימיים, מסומנים בטעות 40. Precision: $\frac{180}{180+40}=\frac{180}{220}\approx0.82$.
תרגיל 6.3 מימוש בקוד ⭐⭐
כתוב פונקציה posterior(words, priors, likelihoods) שמחזירה את ההסתברות האחורית של כל מחלקה, בהנחת Naive Bayes. היעזר ב-לוגים (סכום לוגריתמים במקום מכפלה) כדי להימנע ממספרים זעירים.
$\log\prod_i p_i=\sum_i\log p_i$. אחרי שמסכמים, מחזירים ל"הסתברות" עם exp ומנרמלים בחלוקה בסכום (בדיוק כמו softmax). לפני ה-exp, כדאי להחסיר את המקסימום כדי לא לקבל overflow.
import numpy as np
def posterior(words, priors, likelihoods):
"""priors: {class: P(class)}; likelihoods: {class: {word: P(word|class)}}"""
classes = list(priors)
# log of prior * prod_i P(word_i | class)
logp = np.array([
np.log(priors[c]) + sum(np.log(likelihoods[c][w]) for w in words)
for c in classes
])
p = np.exp(logp - logp.max()) # subtract max: numerical stability
p /= p.sum() # normalize (just like softmax)
return dict(zip(classes, p))
priors = {"spam": 0.4, "ham": 0.6}
likelihoods = {
"spam": {"free": 0.5, "winner": 0.3},
"ham": {"free": 0.05, "winner": 0.02},
}
print(posterior(["free", "winner"], priors, likelihoods)) # spam ~ 0.990
שים לב לחיבור: אחרי שסוכמים לוגים של "ציונים", מעבירים אותם דרך אותה פעולה בדיוק כמו ה-softmax של שיעור 1: exp וחלוקה בסכום. Naive Bayes הוא בעצם "מסווג עם softmax", שבו הציונים נובעים מבייס.
בלי כותרת של טכניקה: תחליט בעצמך אילו כלים צריך. (הטכניקה כתובה בפתרון.)
תרגיל מ.1 ⭐⭐
מטילים שתי קוביות. ידוע שיצאה לפחות אחת שהראתה 6. מה הסיכוי שהסכום הוא לפחות 10?
טכניקה: התניה כצמצום יקום. $B$ = "לפחות קובייה אחת 6": 11 תאים. מתוכם סכום ≥ 10: $(4,6),(5,6),(6,4),(6,5),(6,6)$, כלומר 5. לכן $\frac5{11}\approx0.45$. (בלי הידיעה: $\frac6{36}=\frac16$. המידע מעלה פי כמעט שלושה.)
תרגיל מ.2 (בעיית שלושת הקלפים של ברטראן) ⭐⭐⭐
בקופסה שלושה קלפים: אחד עם שני צדדים אדומים (RR), אחד עם שני לבנים (WW), ואחד עם צד אדום וצד לבן (RW). שולפים קלף אקראי ומניחים על השולחן: הצד העליון אדום. מה הסיכוי שגם הצד התחתון אדום?
הסימטריה הכי טובה כשסופרים צדדים ולא קלפים. כמה צדדים אדומים יש בסך הכל? באיזה קלף כל אחד מהם?
טכניקה: בייס / ספירת תוצאות שוות-סיכוי. בכל שליפה הצד שמופיע למעלה הוא אחד מ-6 צדדים שוות-סיכוי. ל"צד עליון אדום" יש 3 צדדים אפשריים: שני צדדים של RR ואחד של RW. ב-2 מהם התחתון אדום (קלף RR). לכן $\frac23$ (ולא $\frac12$ כפי שהאינטואיציה אומרת: "נשארו שני קלפים אפשריים"). שני הקלפים לא סבירים באותה מידה, כי ל-RR יש יותר "דרכים" להציג אדום.
בייס: $P(RR\mid\text{אדום למעלה})=\frac{1\cdot\frac13}{\frac13\cdot1+\frac13\cdot\frac12+0}=\frac{1/3}{1/2}=\frac23$ ✔.
תרגיל מ.3 ⭐
מערכת מורכבת משני רכיבים במקביל: היא עובדת אם לפחות אחד עובד. כל רכיב נכשל בסיכוי 10%, באופן בלתי-תלוי. מה הסיכוי שהמערכת עובדת?
טכניקה: משלים + אי-תלות. המערכת נכשלת רק אם שניהם נכשלו: $0.1\cdot0.1=0.01$. לכן עובדת בסיכוי $0.99$.
תרגיל מ.4 (ML) ⭐⭐
מסווג בינארי מזהה 95% מהמחלקה החיובית ומסמן בטעות 5% מהשלילית. החיוביים הם 10% מהדאטה. אם המסווג סימן דוגמה כחיובית, מה הסיכוי שהיא באמת חיובית?
טכניקה: בייס / תדירויות טבעיות. מתוך 1,000: 100 חיוביים (95 מזוהים), 900 שליליים (45 מסומנים בטעות). $\frac{95}{95+45}=\frac{95}{140}\approx0.68$. מסווג "95% מדויק" אבל ל-precision רק 68%, בגלל שהמחלקה החיובית נדירה.
עד עכשיו דיברנו על מאורעות ("זוגי", "חולה", "ספאם"). בשיעור 3 נעבור למספרים: משתנים מקריים. "מה הסכום של שתי קוביות", "כמה הטלות עד העץ הראשון", "מה גובה אדם אקראי". זה המעבר מהמילים למתמטיקה של נוסחאות, ושם נפגוש גם את הכלי המתמטי הראשון שלא למדת: סכום אינסופי (טור הנדסי), שנלמד מאפס, בקצב איטי, כשנצטרך אותו.