בייסיאניזם: אמונות כהסתברויות

[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

הראנו מקודם שבמקום לחשוב על סבירויות של אמונות (A|X),אנו יכולים להגדיר אותן מחדש על ידי פונקציה (f(xכך שנוכל לרשום את הסכום (פעולת "או" הלוגית) והכפל (פעולת "וגם" הלוגית) בצורה פשוטה,

f(A+B|X)=f(A|X)+f(B|X)-f(AB|X)
f(AB|X)=f(A|X)f(B|A,X)

השארנו עד כה את הפונקציה (f(x שרירותית, אך למעשה היא חייבת להיות מוגבלת יותר. שקול את כלל החיבור כאשר B=A:

f(A+A|X)=f(A|X)+f(A|X)-fF

מצד שני, הוכחנו כבר כי:

f(A+A|X)=f(A|X)+f(A|X)

כדי להיות עקביים אין ברירה אלא לקבוע fF=0. לפונקציה (f(x יש לפיכך את הערך אפס כערך הנמוך ביותר שלה, המייצג חוסר-אמון או שלילה מוחלטת.

שקול עתה את כלל הכפל כאשר B=A=T:

f(AA|X)=f(A|X)=fT=f(A|X)f(A|A,X)=fT fT

אם נזכור ש- fT>fF=0, משפט זה אפשרי רק עבור fT=1. לפונקציה (f(x יש לפיכך את הערך 1 כערך הגבוה ביותר שלה, המייצג וודאות ואמונה מוחלטת.

אנחנו יכולים עתה סוף-סוף לקרוא ל-(f(x פשוט הסתברות (p(x, ולאסוף את את התוצאות שלנו לכדי רשימה של אקסיומות תורת ההסתברות:.  

1. 0<=p(A|X)<=1
2. p(A|X)+p(A|X)=1
3. p(A+B)=p(A)+p(B)-p(AB) (כלל החיבור)
4. p(AB)=p(A)p(B|A)=p(B)p(A|B) (כלל הכפל)

את השוויון האחרון משיגים על-ידי סימטריה, שכן AB=BA.

בכך סיימנו להוכיח את משפט קוקס, שאומר (בערך)

משפט קוקס: אמונות רציונליות חייבות להתאים להסתברויות.

ב"אמונות" אנחנו מתכוונים כאן לדרגת אמונה בטענות, וב"רציונליות" (בהברקה רטורית) אנחנו מתכוונים לכל ארבעת האקסיומות שהנחנו* - שהיו, בגסות,

0. תחום דיון רציונלי: האמונות נסובות על ערכי האמת של טענות המקיימות את כללי ההיגיון (הקלסי).

1. דרגת אמונה: ניתן לייצג את דרגת האמונה באמת של טענה על ידי מספר ממשי.

2. עקביות: דרגת האמונה בטענות זהות (לוגית) צריכה להיות זהה.

3. כלליות: דרגת האמונה בטענות מורכבות תלויה באופן כללי (אוניברסלי) בסבירות מרכיביהן.

כל מי שמקבל את האקסיומות הללו חייב, לפיכך, לקבל את משפט קוקס, שעומד ביסוד הבייסיאניזם. כבר דנו בסבירות שלהם, וראינו שהטענה העיקרית, שמבדילה את הבייסיאניזם מתורות אחרות, היא הכלליות - אך שבלי הנחה מעין זו, לא ניתן להסיק את הסבירות של טענות מורכבות כלל. ראינו גם שהגבלת תחום הדיון בעייתית, אבל עדיין צריכה להיות סבירה לצרכים נתונים. לא נראה לי שיש מקום לערער על שאר ההנחות. לפיכך, הבייסיאניזם עומד על בסיס מוצק למדי**.

למרות זאת, יש בעייתיות מסוימת בכל ההוכחה הזו - מה אם מישהו לא מסכים להנחות שלנו? האם יש "מחיר" לכך? האם נוכל לומר שהוא לא רציונלי, ובאיזה מובן? בכך תעסוק הרשומה הבאה.

* משפט קוקס הוכח במקור על בסיס אקסיומות אחרות, ולמעשה האקסיומות שונות מעט (רק במעט!) בכל הוכחה נוספת של המשפט, כי כותבים שונים מעדיפים ניסוחים שונים. ההבדל העיקרי בין האקסיומות שאני בחרתי בהן לבין אקסיומות הנפוצות בספרות [שקראתי - כלומר, בעבודתם של ג'יינס, וואן הורן, וקאטיצ'ה] זה שאני לא מניח מראש שהסבירות של שלילת טענה היא פונקציה של סבירות הטענה, אלא מוכיח זאת מתוך הנחת כלליות יותר רחבה מן המקובל.

** זה לא אומר שהבייסיאניזם נכון, או שימושי. עוד לא הגעתי לדון בבעיות של הבייסיאניזם. אבל, למרות זאת - הבסיס מוצק למדי, וזה לא המקום לדון בדיוק מה הבעייתיות שנותרת.

בייסיאניזם: כלל הכפל

[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

מקודם הסקנו "כלל חיבור" בדרך הבאה: שקלנו ראשית פונקצית חיבור כללית (F[...]=(A+B|X , אז הגבלנו את עצמנו לשני משתנים, ואז השתמשנו באסוציאטיביות (A+B)+C=A+(B+C) כדי להוכיח שניתן להגדיר-מחדש סבירות כך שהסכום יהיה קל לחישוב.

בפוסט זה נרצה לעשות אותו הדבר עבור כפל. אנו נסתכל בפונקציה אוניברסלית (G[...]=(AB|X, נגביל אותה לשני משתנים, ואז נשתמש באסוציאטיביות (AB)C=A(BC) כדי להראות שניתן להגדיר-מחדש את הסבירות כך שכלל הכפל יהיה פשוט. למרבה הצער, אנו נאלץ להשתמש בטיעון די טרחני כדי להגביל את עצמנו לשני משתנים.

נתחיל, אם כך, בפונקציה הכללית של הכפל (משפט 3.3),

(AB|X)=G[(A|X),(B|X),(A|B,X),(B|A,X)]

אנו רשאים בשלב זה להשתמש בהגדרה-מחדש (f(x שביצענו עבור כלל החיבור. מאחר ש-"G" אינה מוגדרת עדיין בדיוק, היא תהיה תלויה באותן סבירויות (מוגדרות-מחדש) תחת הגדרה-מחדש זו.

f(AB|X)=G[f(A|X),f(B|X),f(A|B,X),f(B|A,X)]

שורה זו אינה אומרת ש-G באמת תלויה בכל אותם משתנים. אלו הם רק המשתנים שהיא עלולה להיות תלויה בהם. הגיע הזמן להסתכל יותר טוב על אילו צירופים של משתנים באים בחשבון. מאחר שיש ארבע סבירויות אפשריות, יש 15 צירופים שונים שהפונקציה G המפורשת יכולה להיות תלויה בהם. אנו ננתח אותם אחד לאחד, כדי להראות שבעצם רק צירוף אחד, בעל שני משתנים, יכול לשמש עבור הצורה הכללית של G.

1. f(AB|X)=G1[(A|X)]

זו לא יכולה להיות הצורה הכללית בגלל שהיא לא לוקחת את הערך של B בחשבון. נניח למשל ש-A היא טאוטולוגיה (כלומר, תמיד נכונה). אז (f(AB|X)=f(B|X, בעוד G1 מחזירה ערך קבוע שאינו תלוי בזה של (B|X).

2. f(AB|X)=G2[(B|X)]

מאחר ש- AB=BA, אנו יכולים על ידי שינוי (שמות ה-)משתנים להקביל את האפשרות הזו למקרה (1). מאחר ש-G1 אינה קבילה, גם G2 אינה קבילה.

3. f(AB|X)=G3[(A|B,X)]

זו לא יכולה להיות הצורה הכללית מאחר שהיא לא לוקחת בחשבון את ערך-האמת של B. ניתן לראות זאת על ידי אותו טיעון כמו במקרה (1).

4. f(AB|X)=G4[(B|A,X)]

מאחר ש- AB=BA אנו יכולים על ידי שינוי משתנים להקביל את האפשרות הזו למקרה 3. מאחר ש G3 לא קבילה, גם G4 אינה קבילה.

5. f(AB|X)=G5[(A|X),(B|X)]

זו לא יכולה להיות הצורה הכללית בגלל שהיא לא לוקחת בחשבון את היחסים בין שתי הטענות. זה המקרה שקשה ביותר לראות אינטואיטיבית, מאחר שצורה זו כן בסדר עבור מקרי הקצה של וודאות או שלילה מוחלטת, שאנו רגילים לחשוב בעזרתם. כדי לראות את הבעייתיות שב-G5 אנו נצטרך לשקול סבירות עם ערך ביניים*. נניח למשל שהסבירות של A ושל שלילתה זהות, (f(A|X)=f(A|X. עתה שקול את המקרה B=A:

f(AB|X)=f(F|X)=G5[f(A|X),f(B|X)]=G5[f(A|X),f(A|X)]=f(AA|X)=f(A|X)

אך זוהי סתירה, מאחר ש (f(F|X)≠f(F|X)=f(T|X, ולכן (f(A|X)≠f(A|X. השימוש ב-G5 הוא לפיכך לא עקבי ואינו קביל.

6. f(AB|X)=G6[(A|X),(A|B,X)]

זו לא יכולה הצורה הכללית מאחר שהיא לא לוקחת את הערך של B בחשבון. אותו טיעון כמו במקרה (1) מספיק כדי לדחות אותה.

7. f(AB|X)=G7[(A|X),(B|A,X)]

אין שום טיעון נגד G7, זוהי הצורה הנכונה.

8. f(AB|X)=G8[(B|X),(A|B,X)]

מאחר ש AB=BA, אנו יכולים על ידי שינוי משתנים להפוך את המקרה הזה למקרה (7). מאחר ש G7 נכונה, גם G8 היא צורה קבילה ונכונה.

9. f(AB|X)=G9[(B|X),(B|A,X)]

זו לא יכולה להיות הצורה הכללית מאחר שהיא לא לוקחת בחשבון את ערך הסבירות של A. למשל, שקול את המקרה בו B היא טאוטולוגיה. אז (f(AB|X)=f(A|X, בעודG9 מחזירה ערך קבוע שאינו תלוי ב-(A|X).

10. f(AB|X)=G10[(A|B,X),(B|A,X)]

זו לא יכולה להיות הצורה הכללית מאחר שהיא לא לוקחת בחשבון את ערכי הסבירות של שתי הטענות בנפרד. למשל, שקול את המקרה בו B=A. אז (f(AB|X)=f(A|X, בעוד G10 מחזירה ערך קבוע שאינו תלוי ב-(A|X).

11. f(AB|X)=G11[(A|X),(B|X),(A|B,X)]

זו לא יכולה להיות הצורה הכללית בגלל שניתן לצמצם אותה לצורות הקודמות. (זה אולי החלק הסבוך ביותר בטיעון.) שקול את ההכפלה של שלוש טענות, שניתן לפרק אסוציאטיבית. אם G11 היא הצורה הנכונה, אנו מקבלים כי

f(ABC|X)=f((AB)C|X)=G11[(AB|X),(C|X),(AB|C,X)]=G11[G11[(A|X),(B|X),(A|B,X)],(C|X),(AB|C,X)]

f(ABC|X)=f(A(BC)|X)=G11[(A|X),(BC|X),(A|BC,X)]=G11[(A|X),G11[(B|X),(C|X),(B|C,X)],(A|BC,X)]

נשווה את שתי הצורות, ונקבל

G11[G11[(A|X),(B|X),(A|B,X)],(C|X),(AB|C,X)]=G11[(A|X),G11[(B|X),(C|X),(B|C,X)],(A|BC,X)]

כדי לכתוב זאת בצורה פשוטה יותר, נגדיר (x=(A|X), y=(B|X), c=(C|X), u=(A|B,X), v=(AB|C), w=(B|C,X, וגם (z=(A|BC,X. תחת הגדרות אלו, קיבלנו כי

G11[G11[x,y,u],z,v]=G11[x,G11[y,z,w],z]

ניקח את הנגזרת החלקית ביחס ל-u**. נסמן G11[]1 כנגזרת של המשתנה הראשון של הפונקציה, ונוכל לרשום

G11[G11[x,y,u],z,v]1 G11[x,y,u]3 = 0

ניתן לקיים את המשוואה הזו, עבור כל שני משתנים, רק בשתי דרכים. או ש G11[]1=0, כך ש-G11 לא תלויה במשתנה הראשון והיא לכן בעצם G8; או ש G11[]3=0 כך ש G11 לא תלויה במשתנה השלישי והיא בעצם G5. כך או כך, G11 זהה לצורות הקודמות והיא לפיכך לא קבילה.

12. f(AB|X)=G12[(A|X),(B|X),(B|A,X)]

מאחר ש AB=BA ניתן על ידי שינוי משתנים להפוך מקרה זה למקרה (11). מאחר ש-G11 אינה קבילה, גם G12 אינה קבילה.

13. f(AB|X)=G13[(A|X),(A|B,X),(B|A,X)]

ניתן להראות שצורה זו אינה קבילה בדרך דומה לזו של מקרה (11). רשומה זו ארוכה מספיק בלי הוכחה זו.

14. f(AB|X)=G14[(B|X),(A|B,X),(B|A,X)]

ניתן על ידי שינוי משתנים להפוך מקרה זה למקרה (13), כך שצורה זו גם אינה קבילה.

15. f(AB|X)=G15[(A|X),(B|X),(A|B,X),(B|A,X)]

ניתן להוכיח שצורה זו אינה קבילה בדומה להוכחה של מקרה (11).

אנו יכולים לפיכך להסיק שהצורה הכללית הנכונה היחידה האפשרית היא G7,

f(AB|X)=G[f(A|X),f(B|A,X)]

או מקבילתה G8.

לאחר שמצאנו את הצורה שתלויה רק בשני משתנים, אנחנו יכולים להמשיך ולשקול את ההכפלה שלוש טענות בעזרת צורת זו וכלל האסוציאטיביות (AB)C=A(BC) .

f(ABC|X)=f((AB)C|X)=G[f(AB|X),f(C|AB,X)]=G[G[f(A|X),f(B|A,X)],f(C|AB,X)]

f(ABC|X)=f(A(BC)|X)=G[f(A|X),f(BC|A,X)]=G[f(A|X),G[f(B|A,X),f(C|AB,X)]]

נשווה בין שתי הצורות, ונקבל

G[G[f(A|X),f(B|A,X)],f(C|AB,X)]=G[f(A|X),G[f(B|A,X),f(C|AB,X)]]

נגדיר (x=(A|X), y=(B|A,X), z=(C|AB,X, ונקבל

G[G[x,y],z]=G[x,G[y,z]]

פתרון למשווה זו היא הפונקציה

G[x,y]=g-1(g(x)g(y))

או בצורה שימושית יותר למטרותינו

g(G[x,y])=g(x)g(y)

g(f(AB|X))=g(f(A|X))g(f(B|A,X))

תחת ההגדרה מחדש g, קל מאוד לחשב את הכפל ("A וגם B", או AB) - יש פשוט להכפיל את הסבירויות. הפונקציה( g(x עדיין שרירותית בשלב זה. נוכל פשוט לקחת אותה להיות הזהות, g(x)=x. זה אומר שכלל הכפל הוא פשוט (גם) באותה מידת סבירות שהגדרנו עבור כלל החיבור, כך שהן כלל החיבור והן כלל הכפל פשוטים.

f(A+B|X)=f(A|X)+f(B|X)-f(AB|X)

f(AB|X)=f(A|X)f(B|A,X)

נשאר רק עוד מעט מאוד עבודה כדי להפוך את הסבירויות להסתברויות.

* רוב הרשומה (והוכחתי את משפט קוקס בכלל) מבוססת על עבודתה של קאטיצ'ה, אך טיעון זה נלקח מוואן-הורן.

** מצטער, אבל לא מצאתי טיעון טוב ללא נגזרות. מי שלא יודע מהן - זה בעצם לבדוק איך הפונקציה מגיבה לשינוי של ערך של משתנה שלה. גזירה (חלקית) לפי המשתנה הראשון אומרת כמה ערך הפונקציה משתנה כשמשנים את המשתנה הראשון.

בייסיאניזם: כלל החיבור

[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

הנחנו כבר את ההנחות שיאפשרו לנו להוכיח את משפט המפתח של הגישה בייסיאנית - משפט קוקס*. הוא גורס, בערך, שהסבירויות של טענות חייבות להתאים לתורת ההסתברות. כדי להוכיח אותו, אנו חייבים לפיכך לקשר את הסבירויות להנחות של תורת ההסתברות. אלו נוסחו על ידי קולמוגורוב בשנות השישים. הנחה יסודית היא "כלל החיבור", שניתן לנסח כך:

כלל החיבור של קולמוגורוב: ההסתברות שיתרחש אחד משני מאורעות הסותרים זה את זה היא הסכום של ההסתברויות של כל אירוע בנפרד.

כדי להסיק כלל דומה נתבונן בסכום (יחס הבידול הלוגי "A או B") של שתי טענות. כבר הראנו שהסבירות שלו היא באופן כללי פונקציה של ארבעה סבירויות.

(A+B|X)=F[(A|X),(B|X),(A|B,X),(B|A,X)]

עכשיו נתמקד במקרה שבו שתי הטענות סותרות זו את זו כך ש A|B)=(B|A)=vF). במצב זה אפשר לכתוב

(A+B|X)=F[(A|X),(B|X),vF,vF]

כך שהפונקציה תלויה רק בשני משתנים. נרשום בקיצור

(A+B|X)=F[A,B]

עתה נשקול שלושה טענות (A,B,C) הסותרות זו את זו. נשים לב שנובע מכך שכל הסכומים החלקיים שלהן סותרים זה את זה גם כן (A+B סותר את C וכדומה). אנחנו לפיכך יכולים להשתמש בצורה המקוצרת של F כדי לרשום

(A+B+C|X)=((A+B)+C|X)=F[A+B,C]=F[F[A,B],C]
(A+B+C|X)=(A+(B+C)|X)=F[A,B+C]=F[A,F[B,C]]

נשווה את שתי המשוואות

F[F[A,B],C]=F[A,F[B,C]]

מה שיש לנו כאן זה פונקציה [F[x,y עם שני משתנים, המקיימת

F[F[x,y],z]=F[x,F[y,z]]

פתרון (שאפשר להוכיח על ידי הצבה) הוא

F[x,y]=f-1(f(x)+f(y))

או באופן שימושי יותר למטרותינו

f(F[x,y])=f(x)+f(y)
f(A+B|X)=f(A|X)+f(B|X)

זוהי תוצאה חשובה שכן היא שקולה לחוק החיבור של קולמוגורוב. הראינו כי קיימת פונקציה f המאפשרת לנו להגדיר מחדש את הסבירות כך שהסבירות שטענה אחת משתיים הסותרות זו את זו היא נכונה היא הסכום של הסבירויות של כל טענה בנפרד.

כדאי לשים לב מה כלל חיבור זה אומר על ההשלמה. במקרה שבו B=A אנחנו מקבלים

משפט 3.4: השלמה: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את יחס ההשלמה

f(A|X)+f(A|X)=fT

כלל חיבור זה מגניב, אבל הוא לא ממש שימושי כי אפשר ליישם אותו רק לטענות הסותרות האחת את השנייה. היה נחמד אם היינו יכולים לנסח כלל חיבור לכל שתי טענות. אז זהו, שאפשר. המפתח הוא לשים לב לכך שאנו יכולים לפרק את סכומן של כל שתי טענות A ו-B לשלושה טענות המדירות זו את זו.

A+B=(AB)+(AB)+(AB)

מכלל החיבור שהגענו אליו נובע לכן

f(A+B)=f(AB|X)+f(AB|X)+f(AB|X)

אנחנו יכולים לחבר ולהחסיר (f(AB לצד ימין כדי לקבל

f(A+B)=(f(AB|X)+f(AB|X))+(f(AB|X)+f(AB|X))-f(AB|X)

נשתמש שוב בכלל החיבור

f(A+B)=f(AB+AB|X)+f(AB+AB|X)-f(AB|X)

ומכיוון ש AB+AB=A ו AB+AB=B,  

f(A+B)=f(A|X)+f(B|X)-f(AB|X)

זהו כלל חיבור כללי, התקף לכל שתי טענות.

משפט 3.5: כלל החיבור: ניתן לייצג את הסבירות על ידי פונקציה (f(A|X כך שהיא תקיים את כלל החיבור

f(A+B|X)=f(A|X)+f(B|X)-f(AB|X)

* ההוכחה של משפט קוקס שאני משתמש בה מבוססת על ההוכחות של קאטיצ'ה (Ariel Caticha).

Quantifying Rational Belief

בייסיאניזם: סבירויות מורכבות

[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

ההנחה האחרונה של ליבת הבייסיאניזם היא שהסבירות של טענות מורכבות (לוגית) תלויה, בצורה מאוד מסוימת, בסבירויות של הטענות המרכיבות אותן. אני אכתוב אותה בצורה הבאה*:

הנחה 3: סבירות מורכבת: הסבירות של האיחוד הלוגי ("A וגם B" או "AB") ושל הבידול הלוגי ("A או B" או "A+B") היא פונקציה אוניברסלית של הסבירויות המרכיבות אותה, ושל המשלימים שלהן, תחת כל תנאי הידע הרלוונטיים.

(A+B|X)=F[(A|X),(B|X),(A|X),(B|X),(A|B,X),(B|A,X),(A|B,X),(B|A,X),(A|B,X),(B|A,X),(A|B,X),(B|A,X)]
(AB|X)=G[(A|X),(B|X),(A|X),(B|X),(A|B,X),(B|A,X),(A|B,X),(B|A,X),(A|B,X),(B|A,X),(A|B,X),(B|A,X)]

הפונקציות הן "אוניברסליות" במובן שהן לא תלויות בתוכן הטענות או תחום הדיון. הטענה היא שהסבירות של האיחוד או הבידול הלוגי תלויה בסבירויות הטענות, לא במה שהן מדברות עליו.

הנחת האוניברסליות בבירור נכונה במקרים של וודאות או דחייה מוחלטת. אם A נכון ו-B שגוי, למשל, אנחנו יודעים ש A+B הוא אמת - בלי קשר לתוכן של הטענות A ו-B, הנושא שהן מדברות עליו, וכן הלאה. פחות ברור מדוע האוניברסליות צריכה להתקיים בדרגות ביניים של וודאות. יש המציעים** לקחת את זה כהיפותזה - נניח שיש כללים כלליים לחשיבה, ובואו נראה מהם.

עוד היבט של הנחה 3 הוא שהפונקציות האוניברסליות תלויות רק במרכיביהן. אך בהנחה שהן אכן אוניברסליות - במה עוד הן יכולות להיות תלויות? הן יכולות להיות תלויות רק בסבירויות כלשהן. הן לא יכולות להיות תלויות בסבירות של טענה שלא קשורה בכלל, שכן אז לא ניתן יהיה לזהות אותה בתחומי דיון שונים. הן חייבות להיות תלויות לפחות בערכי הסבירויות של מרכיביהן כי כאמור זה המצב תחת וודאות וחוסר-אפשרות מוחלטות. ניתן אולי לשער שבנוסף הן יהיו תלויות באיזו טענה מורכבת אחרת שמורכבת מתוך הטענות הבסיסיות שדנים בהן, ובדרך שלא תשפיע על מקרי הקיצון של וודאות ודחייה. אני לא יכול לראות מדוע זה אינו אפשרי, אבל זה לבטח מוזר מאוד. אם כך לכל הפחות הפירוק נראה פשוט ו"הגיוני" - אני לא מכיר התנגדות לו.

הבה נמשיך, אם כך, תחת הנחה 3.

זוהי הנחה מסורבלת, שכן כל פונקציה תלויה בהמון משתנים. למרבה המזל, אנחנו יכולים להוריד את מספרם. שקול את המרה בו B היא שלילת A, כלומר  B=A. במקרה זה

(A+B|X)=F[(A|X),(A|X),(A|X),(A|X),F,F,T,(A|X),T,T,F,F]

כך ש-F תלויה רק בשני משתנים, (A|X) ו-(A|X). מצד שני, ההגיון מחייב שלסבירות זו יהיה ערך קבוע,

(A+B|X)=(A+A|X)=(T|X)=vT

בהנחה שהפונקציה האוניברסלית F אינה קבוע, הדרך היחידה שבה נוכל לשמור על ערך קבוע כאשר אנחנו משנים את (A|X) היא לשנות את (A|X) במקביל. אנו נאלצים להסיק שהסבירות של טענה קשורה לזו של המשלימה לה על ידי פונקציה אוניברסלית,

משפט 3.1: הסבירות של טענה A קשורה לסבירות של שלילתה על ידי פונקציה אוניברסלית, (A|X)=S(A|X).

אנו נקבע את S מפורשות מאוחר יותר, אבל כרגע די לנו בכך שהיא קיימת.

קרה כאן משהו מאוד חשוב - מתוך ההנחה שקיימים חוקים כלליים למחשבה, קיבלנו את העובדה שהסבירות של שלילת הטענה (A|X) נמדדת על ידי הסבירות של הטענה עצמה (A|X). לכן, מספיק להתעסק רק במידה אחת לשם הערכת הסבירות של טענות. כפי שכבר אמרנו, זהו חלק מהותי מהמבנה הבייסיאני, ואנו רואים כאן שהוא נובע ישירות מהנחת האוניברסליות. התורה החלופית העיקרית, תאוריית דמפסטר-שייפר, מדברת על מידת התמיכה בטענות ודורשת מידה נוספת לתמיכה בשלילת הטענה. קיומה של S אומר שדמפסטר-שייפר חייבים לדחות את האוניברסליות של התורה שלהם-עצמם! לא יכולה להיות דרך אוניברסלית לשקול את התמיכה בטענות מורכבות מתוך התמיכה בטענות בסיסיות, ואפילו בתוך תחום מסוים אם ניתן לעשות כן הרי שהתאוריה שלהם תתנוון לכדי התאוריה הבייסיאנית. לא במפתיע, שייפר אכן מטיל ספק בקיומם של כללי היסק אוניברסליים.

נמשיך הלאה. קיומה של S מאפשר לנו להעיף את המשלימים A ו-B מהפרמטרים של הפונקציות האוניברסליות, שכן בין כה וכה הם בעצמם פונקציה של הטענות שהן משלימות A ו-B.

משפט 3.2: צורות פשוטות: הפונקציות האונברסליות F ו-G ניתנות לכתיבה בלי תלות מפורשת בסבירויות המשלימים.

(A+B|X)=F[(A|X),(B|X),(A|B,X),(B|A,X),(A|B,X),(B|A,X)]

(AB|X)=G[(A|X),(B|X),(A|B,X),(B|A,X),(A|B,X),(B|A,X)]

זה עדיין קצת מסובך, ואפשר לפשט יותר. שקול את המקרה שבו A היא טאוטולוגיה. במקרה זה אין שום משמעות לכתוב (B|A,X) - אין שום אינפורמציה שיכולה לשכנע אותנו שטאוטולוגיה אינה נכונה. הביטוי הזה פשוט לא מוגדר. אבל הסבירות של (AB|X)=(B|X) עדיין צריכה להיות מוגדרת! אם כך, חייבת להיות דרך לכתוב את הפונקציה G בדרך שאינה תלויה במשתנה הבלתי מוגדר (B|A,X). נשים לב שהמשתנה המקביל לו (B|A,X) דווקא מוגדר במקרה זה, ולכן אולי G עדיין תלויה בו. המצב דומה עבור צמד המשתנים (A|B,X) ו-(A|B,X). נוכל לפיכך להסיק שאפשר לכתוב את הפונקציות האוניברסליות ללא תלות בחצי מכל זוג.

משפט 3.3: צורות פשוטות יותר: ניתן לכתוב את הפונקציות האוניברסליות F ו-G ללא תלות באינפורמציה ש-A או B שגויות.

(A+B|X)=F[(A|X),(B|X),(A|B,X),(B|A,X)]

(AB|X)=G[(A|X),(B|X),(A|B,X),(B|A,X)]

לא ניתן להשתמש בצורות אלו כאשר A או B הן סתירה, אבל מעבר לכך הן צריכות להיות ישימות. עם רק ארבעה משתנים, הן פשוטות מספיק כדי שנוכל להסיק מהן את בסיס הבייסיאניזם - משפט קוקס.

* ההנחה שאני מניח מעט כללית יותר מזו המונחת בדרך כלל. הניסוח שלה מבוסס על אלגברה בוליאנית; ראה ניספח.

** למשל ואן הורן.

בייסיאניזם: ניספח על אלגברה הגיונית

[רשומה זו היא חלק מסדרה על תורת הידיעה הבייסיאנית; ראה אינדקס כאן.]

פתחנו את הסידרה על הבייסיאניזם בכך שאנו רוצים לשקול את ערך האמת של טענות מורכבות לוגית, כגון "גם A וגם B". כדי לעשות זאת בצורה טובה, אנחנו נמיר בעיות בהיגיון לבעיות בחשבון. גישה זו ללוגיקה ידועה כאלגברה בוליאנית.

הרעיון של האלגברה הבוליאנית הוא לכתוב את היחסים הלוגיים כיחסים חשבוניים. ניקח למשל את פעולת ה"או" הלוגי, ("A או B"). פעולה זו לוקחת בחשבון שני משתנים לוגיים, ומחזירה ערך של "שקר" אם שניהם "שקר", וערך של "אמת" בכל מקרה אחר (לא להתבלבל - הכוונה היא ש"A או B" נכון גם אם שניהם נכונים; הבדיקה אם רק אחד מהם נכון היא פעולה לוגית אחרת). לשם הגדרת האלגברה הבוליאנית, פשוט נרשום את הסכום  "A+B" במקום "A או B".

באופן דומה, נוכל לרשום את היחס "A וגם B" כמכפלה "AB" (ממש כמו ש"2x" זה 2 כפול x). היחס הלוגי "גם" מחזיר ערך אמת של "אמת" אם שני המשתנים שלו אמתיים, וערך של "שקר" בכל מקרה אחר.

נוכל לחשוב על השוויון "=" כמסמן את הזהות הלוגית, כלומר כזהות של ערכי האמת. "A=B" משמעו ששתי הטענות שקולות לוגית, הן מספקות את אותם ערכי האמת.

על ידי בדיקה ישירה, ניתן לראות שהמשפטים הבאים נכונים:

אסוציאטיביות    (AB)C=A(BC)    (A+B)+C=A+(B+C)

קומוטטיביות    AB=BA        A+B=B+A

דיסטרוטיביות    A(B+C)=AB+AC    A+(BC)=(A+B)(A+C)

קיום יחידה    AT=A    A+F=A

קיום האפס    AF=F    A+T=T

השלמה        AA=F    A+A=T

אידמפוטנציה    AA=A    A+A=A

ספיגה        A(A+B)=A    A+(AB)=A

כאשר T ו-F הם ערכי האמת "אמת" ו-"שקר", וקו תחתון מסמן את השלילה (A זה "לא A").

אלו לא בדיוק הכללים של החשבון הרגיל, אבל זה מאוד דומה. הם מגדירים חשבון אחר - חשבון לוגי. על ידי שימוש בכללים אלו ניתן להוכיח כל יחס לוגי ולבצע כל הוכחה לוגית. ניקח למשל את ההוכחה הפשוטה:

או ש-A או ש- B, או שניהם. לא A. לפיכך, B.

אלגברית, נוכל לרשום את שתי ההנחות כ

A+B=T

A=F

על ידי הצבה של נוסחה אחת בשנייה נוכל להסיק את המסקנה:

F+B=T (הצבה של הנחה 2 בהנחה 1)

B+F=T (קומוטטיביות של חיבור)

B=T (יחידה של חיבור)

וכך הוכחנו ש-B נכונה.

בצורה כזו הפכנו בעיות בלוגיקה לבעיות בחשבון. זה יהיה שימושי מאוד בהמשך.