יום שלישי, 17 באפריל 2012

בייסיאניזם: אמונות כהסתברויות

[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]


הראנו מקודם שבמקום לחשוב על סבירויות של אמונות (A|X),אנו יכולים להגדיר אותן מחדש על ידי פונקציה (f(xכך שנוכל לרשום את הסכום (פעולת "או" הלוגית) והכפל (פעולת "וגם" הלוגית) בצורה פשוטה,

f(A+B|X)=f(A|X)+f(B|X)-f(AB|X)
f(AB|X)=f(A|X)f(B|A,X)
השארנו עד כה את הפונקציה (f(x שרירותית, אך למעשה היא חייבת להיות מוגבלת יותר. שקול את כלל החיבור כאשר B=A:
f(A+A|X)=f(A|X)+f(A|X)-fF

מצד שני, הוכחנו כבר כי:
f(A+A|X)=f(A|X)+f(A|X)

כדי להיות עקביים אין ברירה אלא לקבוע fF=0. לפונקציה (f(x יש לפיכך את הערך אפס כערך הנמוך ביותר שלה, המייצג חוסר-אמון או שלילה מוחלטת.

שקול עתה את כלל הכפל כאשר B=A=T:
f(AA|X)=f(A|X)=fT=f(A|X)f(A|A,X)=fT fT
אם נזכור ש- fT>fF=0, משפט זה אפשרי רק עבור fT=1. לפונקציה (f(x יש לפיכך את הערך 1 כערך הגבוה ביותר שלה, המייצג וודאות ואמונה מוחלטת.

אנחנו יכולים עתה סוף-סוף לקרוא ל-(f(x פשוט הסתברות (p(x, ולאסוף את את התוצאות שלנו לכדי רשימה של אקסיומות תורת ההסתברות:.  

1. 0<=p(A|X)<=1
2. p(A|X)+p(A|X)=1
3. p(A+B)=p(A)+p(B)-p(AB) (כלל החיבור)
4. p(AB)=p(A)p(B|A)=p(B)p(A|B) (כלל הכפל)
את השוויון האחרון משיגים על-ידי סימטריה, שכן AB=BA.

בכך סיימנו להוכיח את משפט קוקס, שאומר (בערך)
משפט קוקס: אמונות רציונליות חייבות להתאים להסתברויות.

ב"אמונות" אנחנו מתכוונים כאן לדרגת אמונה בטענות, וב"רציונליות" (בהברקה רטורית) אנחנו מתכוונים לכל ארבעת האקסיומות שהנחנו* - שהיו, בגסות,
0. תחום דיון רציונלי: האמונות נסובות על ערכי האמת של טענות המקיימות את כללי ההיגיון (הקלסי).
1. דרגת אמונה: ניתן לייצג את דרגת האמונה באמת של טענה על ידי מספר ממשי.
2. עקביות: דרגת האמונה בטענות זהות (לוגית) צריכה להיות זהה.
3. כלליות: דרגת האמונה בטענות מורכבות תלויה באופן כללי (אוניברסלי) בסבירות מרכיביהן.

כל מי שמקבל את האקסיומות הללו חייב, לפיכך, לקבל את משפט קוקס, שעומד ביסוד הבייסיאניזם. כבר דנו בסבירות שלהם, וראינו שהטענה העיקרית, שמבדילה את הבייסיאניזם מתורות אחרות, היא הכלליות - אך שבלי הנחה מעין זו, לא ניתן להסיק את הסבירות של טענות מורכבות כלל. ראינו גם שהגבלת תחום הדיון בעייתית, אבל עדיין צריכה להיות סבירה לצרכים נתונים. לא נראה לי שיש מקום לערער על שאר ההנחות. לפיכך, הבייסיאניזם עומד על בסיס מוצק למדי**.

למרות זאת, יש בעייתיות מסוימת בכל ההוכחה הזו - מה אם מישהו לא מסכים להנחות שלנו? האם יש "מחיר" לכך? האם נוכל לומר שהוא לא רציונלי, ובאיזה מובן? בכך תעסוק הרשומה הבאה.

* משפט קוקס הוכח במקור על בסיס אקסיומות אחרות, ולמעשה האקסיומות שונות מעט (רק במעט!) בכל הוכחה נוספת של המשפט, כי כותבים שונים מעדיפים ניסוחים שונים. ההבדל העיקרי בין האקסיומות שאני בחרתי בהן לבין אקסיומות הנפוצות בספרות [שקראתי - כלומר, בעבודתם של ג'יינס, וואן הורן, וקאטיצ'ה] זה שאני לא מניח מראש שהסבירות של שלילת טענה היא פונקציה של סבירות הטענה, אלא מוכיח זאת מתוך הנחת כלליות יותר רחבה מן המקובל.

** זה לא אומר שהבייסיאניזם נכון, או שימושי. עוד לא הגעתי לדון בבעיות של הבייסיאניזם. אבל, למרות זאת - הבסיס מוצק למדי, וזה לא המקום לדון בדיוק מה הבעייתיות שנותרת.