בייסיאניזם: כלל החיבור

[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

הנחנו כבר את ההנחות שיאפשרו לנו להוכיח את משפט המפתח של הגישה בייסיאנית - משפט קוקס*. הוא גורס, בערך, שהסבירויות של טענות חייבות להתאים לתורת ההסתברות. כדי להוכיח אותו, אנו חייבים לפיכך לקשר את הסבירויות להנחות של תורת ההסתברות. אלו נוסחו על ידי קולמוגורוב בשנות השישים. הנחה יסודית היא "כלל החיבור", שניתן לנסח כך:

כלל החיבור של קולמוגורוב: ההסתברות שיתרחש אחד משני מאורעות הסותרים זה את זה היא הסכום של ההסתברויות של כל אירוע בנפרד.

כדי להסיק כלל דומה נתבונן בסכום (יחס הבידול הלוגי "A או B") של שתי טענות. כבר הראנו שהסבירות שלו היא באופן כללי פונקציה של ארבעה סבירויות.

(A+B|X)=F[(A|X),(B|X),(A|B,X),(B|A,X)]

עכשיו נתמקד במקרה שבו שתי הטענות סותרות זו את זו כך ש A|B)=(B|A)=vF). במצב זה אפשר לכתוב

(A+B|X)=F[(A|X),(B|X),vF,vF]

כך שהפונקציה תלויה רק בשני משתנים. נרשום בקיצור

(A+B|X)=F[A,B]

עתה נשקול שלושה טענות (A,B,C) הסותרות זו את זו. נשים לב שנובע מכך שכל הסכומים החלקיים שלהן סותרים זה את זה גם כן (A+B סותר את C וכדומה). אנחנו לפיכך יכולים להשתמש בצורה המקוצרת של F כדי לרשום

(A+B+C|X)=((A+B)+C|X)=F[A+B,C]=F[F[A,B],C]
(A+B+C|X)=(A+(B+C)|X)=F[A,B+C]=F[A,F[B,C]]

נשווה את שתי המשוואות

F[F[A,B],C]=F[A,F[B,C]]

מה שיש לנו כאן זה פונקציה [F[x,y עם שני משתנים, המקיימת

F[F[x,y],z]=F[x,F[y,z]]

פתרון (שאפשר להוכיח על ידי הצבה) הוא

F[x,y]=f-1(f(x)+f(y))

או באופן שימושי יותר למטרותינו

f(F[x,y])=f(x)+f(y)
f(A+B|X)=f(A|X)+f(B|X)

זוהי תוצאה חשובה שכן היא שקולה לחוק החיבור של קולמוגורוב. הראינו כי קיימת פונקציה f המאפשרת לנו להגדיר מחדש את הסבירות כך שהסבירות שטענה אחת משתיים הסותרות זו את זו היא נכונה היא הסכום של הסבירויות של כל טענה בנפרד.

כדאי לשים לב מה כלל חיבור זה אומר על ההשלמה. במקרה שבו B=A אנחנו מקבלים

משפט 3.4: השלמה: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את יחס ההשלמה

f(A|X)+f(A|X)=fT

כלל חיבור זה מגניב, אבל הוא לא ממש שימושי כי אפשר ליישם אותו רק לטענות הסותרות האחת את השנייה. היה נחמד אם היינו יכולים לנסח כלל חיבור לכל שתי טענות. אז זהו, שאפשר. המפתח הוא לשים לב לכך שאנו יכולים לפרק את סכומן של כל שתי טענות A ו-B לשלושה טענות המדירות זו את זו.

A+B=(AB)+(AB)+(AB)

מכלל החיבור שהגענו אליו נובע לכן

f(A+B)=f(AB|X)+f(AB|X)+f(AB|X)

אנחנו יכולים לחבר ולהחסיר (f(AB לצד ימין כדי לקבל

f(A+B)=(f(AB|X)+f(AB|X))+(f(AB|X)+f(AB|X))-f(AB|X)

נשתמש שוב בכלל החיבור

f(A+B)=f(AB+AB|X)+f(AB+AB|X)-f(AB|X)

ומכיוון ש AB+AB=A ו AB+AB=B,  

f(A+B)=f(A|X)+f(B|X)-f(AB|X)

זהו כלל חיבור כללי, התקף לכל שתי טענות.

משפט 3.5: כלל החיבור: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את כלל החיבור

f(A+B|X)=f(A|X)+f(B|X)-f(AB|X)

* ההוכחה של משפט קוקס שאני משתמש בה מבוססת על ההוכחות של קאטיצ'ה (Ariel Caticha).

Quantifying Rational Belief