יום רביעי, 16 בנובמבר 2011

בייסיאניזם: כלל החיבור


[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

הנחנו כבר את ההנחות שיאפשרו לנו להוכיח את משפט המפתח של הגישה בייסיאנית - משפט קוקס*. הוא גורס, בערך, שהסבירויות של טענות חייבות להתאים לתורת ההסתברות. כדי להוכיח אותו, אנו חייבים לפיכך לקשר את הסבירויות להנחות של תורת ההסתברות. אלו נוסחו על ידי קולמוגורוב בשנות השישים. הנחה יסודית היא "כלל החיבור", שניתן לנסח כך:

כלל החיבור של קולמוגורוב: ההסתברות שיתרחש אחד משני מאורעות הסותרים זה את זה היא הסכום של ההסתברויות של כל אירוע בנפרד.

כדי להסיק כלל דומה נתבונן בסכום (יחס הבידול הלוגי "A או B") של שתי טענות. כבר הראנו שהסבירות שלו היא באופן כללי פונקציה של ארבעה סבירויות.
(A+B|X)=F[(A|X),(B|X),(A|B,X),(B|A,X)]
עכשיו נתמקד במקרה שבו שתי הטענות סותרות זו את זו כך ש A|B)=(B|A)=vF). במצב זה אפשר לכתוב
(A+B|X)=F[(A|X),(B|X),vF,vF]
כך שהפונקציה תלויה רק בשני משתנים. נרשום בקיצור
(A+B|X)=F[A,B]
עתה נשקול שלושה טענות (A,B,C) הסותרות זו את זו. נשים לב שנובע מכך שכל הסכומים החלקיים שלהן סותרים זה את זה גם כן (A+B סותר את C וכדומה). אנחנו לפיכך יכולים להשתמש בצורה המקוצרת של F כדי לרשום
(A+B+C|X)=((A+B)+C|X)=F[A+B,C]=F[F[A,B],C]
(A+B+C|X)=(A+(B+C)|X)=F[A,B+C]=F[A,F[B,C]]
נשווה את שתי המשוואות
F[F[A,B],C]=F[A,F[B,C]]
מה שיש לנו כאן זה פונקציה [F[x,y עם שני משתנים, המקיימת
F[F[x,y],z]=F[x,F[y,z]]
פתרון (שאפשר להוכיח על ידי הצבה) הוא
F[x,y]=f-1(f(x)+f(y))
או באופן שימושי יותר למטרותינו
f(F[x,y])=f(x)+f(y)
f(A+B|X)=f(A|X)+f(B|X)
זוהי תוצאה חשובה שכן היא שקולה לחוק החיבור של קולמוגורוב. הראינו כי קיימת פונקציה f המאפשרת לנו להגדיר מחדש את הסבירות כך שהסבירות שטענה אחת משתיים הסותרות זו את זו היא נכונה היא הסכום של הסבירויות של כל טענה בנפרד.

כדאי לשים לב מה כלל חיבור זה אומר על ההשלמה. במקרה שבו B=A אנחנו מקבלים

משפט 3.4: השלמה: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את יחס ההשלמה
f(A|X)+f(A|X)=fT

כלל חיבור זה מגניב, אבל הוא לא ממש שימושי כי אפשר ליישם אותו רק לטענות הסותרות האחת את השנייה. היה נחמד אם היינו יכולים לנסח כלל חיבור לכל שתי טענות. אז זהו, שאפשר. המפתח הוא לשים לב לכך שאנו יכולים לפרק את סכומן של כל שתי טענות A ו-B לשלושה טענות המדירות זו את זו.
A+B=(AB)+(AB)+(AB)
מכלל החיבור שהגענו אליו נובע לכן
f(A+B)=f(AB|X)+f(AB|X)+f(AB|X)
אנחנו יכולים לחבר ולהחסיר (f(AB לצד ימין כדי לקבל
f(A+B)=(f(AB|X)+f(AB|X))+(f(AB|X)+f(AB|X))-f(AB|X)
נשתמש שוב בכלל החיבור
f(A+B)=f(AB+AB|X)+f(AB+AB|X)-f(AB|X)
ומכיוון ש AB+AB=A ו AB+AB=B,  
f(A+B)=f(A|X)+f(B|X)-f(AB|X)
זהו כלל חיבור כללי, התקף לכל שתי טענות.

משפט 3.5: כלל החיבור: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את כלל החיבור
f(A+B|X)=f(A|X)+f(B|X)-f(AB|X)
* ההוכחה של משפט קוקס שאני משתמש בה מבוססת על ההוכחות של קאטיצ'ה (Ariel Caticha).
Quantifying Rational Belief

יום שבת, 12 בנובמבר 2011

פספסתי את עונת החגים

מתחיל להיות קר בקנדה.

המעבר מתחיל להירגע, אבל עדיין אין לי זמן אלא להתחיל להשלים את מה שהפסדתי בשבועות האחרונים, בלחץ של המעבר לקנדה. פיספסתי כמה תאריכים שרציתי לכתוב עליהם:

יום חילול הקודש הבינלאומי חל ב-20 לאוקטובר. השנה נתנו לנו הדתיים תירוץ מעולה (ושקרילחגוג אותו בשירת נשים בציבור. כמה טוב שהם דואגים לרענן את החגים שלנו.

ב-20 לאוקטובר חל יום הסטטיסטיקה הבינלאומי. סטטיסטיקה, כמו העובדה שסל ההטבות לאברכים עומד על 3.3 מיליארד שקל (זה לפני שאלי ישי דאג להם עוד קצת; ולא לדאוג - ביבי כבר דואג להשמיד את מקור המידע הזה, ערוץ 10). אפשר עדיין לחגוג, ב-14 לנובמבר, בעצרת ספקנית חגיגית!

יום קארל סאגאן חל ב-12 לנובמבר. אני ממליץ לזכור ולהוקיר דווקא עם סימפוניה של מדע בהשראתו.

וכמובן לא כתבתי כמה צודק אפרים הלוי שהאיום הקיומי לישראל הוא ההתחרדות, לא איראן; לא הסכמתי עם רחל עזריה שהתשובה היחידה האפשרית היא הצבעה למפלגה חילונית-במוצהר (ושזה בעצם מפלגת אור); אבל גם לא חלקתי בצער על רועי צזנה שטוען שחיסול צהר יביא להחלשת הרבנות הראשית - לצערי, סביר יותר שזה יביא לחיזוקה, שכן יותר אנשים יעברו דרכה. אבל אולי הוא צודק, והמעבר לקנדה סתם עושה אותי פסימי.

ואני מזכיר מראש, שב-10 לדצמבר יש את יום זכויות האדם הבינלאומי - בהחלט חג שיש לחגוג!