הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

 seker_vs_reality_elections2013

הבחירות הסתיימו, אני הצבעתי, ועכשיו כשהאבק מתחיל לשקוע אנו יכולים להתרווח ולבדוק את הקשר בין תחזיות הסקרים לתוצאות בשטח. יש דרכים רבות לדון בשאלות הללו, מה שבחרתי לעשות היום זה לקחת את הסקר של פרופסור קמיל פוקס (דיאלוג), שהתפרסם חמישה ימים לפני הבחירות לכנסת ה- 19 (אשר התקיימו ב- 22.01.2013), בעיתון הארץ (קישור לתוצאות הסקר) ולענות על כמה שאלות:

  1. עד כמה קרובים היו תחזיות הסקר לתוצאות האמת?
  2. האם 19 המנדטים שקיבלה "יש עתיד" היו בתוך טווח הטעות הסבירה או לא?
  3. האם לארץ חדשה היה סיכוי לעבור את אחוז החסימה?
  4. האם יש עדות מובהקת לכך שהסקרים של הארץ מוטים לכיוון השמאל-מרכז?

הפוסט הזה יכלול את עיקרי הדברים (אפשר לקפוץ לסוף הפוסט לריכוז המסקנות), ואם תרצו לראות את החישובים המדוייקים, אתם מוזמנים להוריד את המסמך מהקישור שכאן.

כמה מילים על הסקר: הוא כלל 712 משיבים (מתוכם 612 בסקר טלפוני קווי, ו- 100 משיבים בטלפונים ניידים) הסקר כלל את מספר המנדטים עבור כל מפלגה שעברה את אחוז החסימה, ואחוז המצביעים המשוער עבור המפלגות שלא עברו את אחוז החסימה. לפני שנתחיל, כמה סייגים לגבי הנתונים שברשותינו והניתוח שנבצע עליהם:

1)      נשים לב שמדובר רק בסקר אחד מבין סקרים רבים. היו אנשים שניסו לתת תחזית שמבוססת על כמה סקרים (ראו את הפוסט של "בטל ב-60"), אבל כדי לשמור על רמה סטטיסטית ברורה יחסית לא ננסה להתמודד עם השאלה כיצד לשלב את המידע מסקרים שונים.

2)      הד"וח סקר הארץ מתאריך אחר (22.12.2012), אשר הופיע כאן, נכתב שמתוך הסקר שבוצע על 1641 איש, רק 491 (כ- 30% בלבד) מתוכם הסכימו להשתתף.
זה אומר לנו שסביר שהנתונים שבסקר שלנו מבוססים על מדגם לא אקראי של האוכלוסיה, ועל כן שהמדגם לא בהכרח מייצג את האוכלוסייה בנקודת הזמן שבו הסקר בוצע. בנוסף, זה אומר שייתכן והתוצאות הסופיות של המנדטים אשר מוצגות בעיתון הן כאלו שמגיעות לאחר שיקלול מרכיבים נוספים (מבוססי דמוגרפיה, ודעות), כדי לשנות את משקל התצפיות שבמדגם.
לסיכום: המדגם המקורי היה כנראה עם הטייה. התוצאות שאנו רואים הם (קרוב לוודאי) לאחר מישקול שונה של הנתונים, אשר מטרתם לגרום לנתונים להתנהג כאילו הם כן היו מדגם מקרי של האוכלוסיה. ולכן נתייחס אל התוצאות ככאלו.

3)      בתוצאות הסופיות של הבחירות יש הסכמי עודפים והתמודדות עם אחוזי חסימה. בכל מיני מקרים ברחבי הטקסט אני אתעלם מהדקויות שזה היה דורש מאיתנו.

4)      הסטטיסטיקה שאבצע היא יחסית פשוטה ומטרתה לחשוף את המורכבות (של חיזוי על בסיס סקרים), אך לא להתמודד באופן מקיף עם המורכבות. כלומר, לדוגמא, אינני מתיימר לומר שהייתי יודע לעשות עבודה יותר טובה בביצוע הסקרים האלה – למעשה, אני מעריך עד מאד את המקצועיות, ידע, וניסיון של פרופסור קמיל פוקס בביצוע סקרים.

ועדיין, למרות כל הסייגים החשובים הללו, הבא נראה על איזה שאלות ביכולתנו לענות:

עד כמה "טוב" חזה הסקר את התוצאות הסופיות? (ניתוח "נאיבי")

יש דרכים רבות לענות על השאלה הזו. הדרך הכי פשוטה (גם אם לא הכי נכונה) היא לבדוק את הקורלציה שבין תוצאות הסקר לבין תוצאות האמת (ניתוח מעמיק יותר מופיע בהמשך). לשם כך ניצור טבלה אשר כוללת את שניהם:

 (נתוני תוצאות האמת נלקחו מווינט, וייתכן שיעברו עוד שינויים קלים בהמשך השבוע בשל קולות שעוד לא נספרו והסכמי עודפים)

מפלגה

מנדטים

בסקר

במציאות

הסקר כפול המציאות

הליכוד ביתנו

32

31

992

העבודה

17

15

255

הבית היהודי

14

11

154

ש"ס

12

11

132

התנועה

8

6

48

יש עתיד

12

19

228

יהדות התורה

5

7

35

מרצ

6

6

36

רעם – תעל

3

5

15

בל"ד

4

3

12

חד"ש

5

4

20

קדימה

2

2

4

ממוצע

10

10

סטיית תקן

8.399134

8.333939

 נבחין שהממוצעים של שתי הקבוצות הן בדיוק 10, האם זה מפתיע? לא במיוחד, כיוון שאנו יודעים שסכום המנדטים צריך תמיד להתסכם ל- 120, ומכיוון שאנו משווים את אותו מספר מפלגות, זה לא מפליא שהמספר יצא בדיוק אותו הדבר בין הסקר לבין המציאות.

נחשב ראשית את מדד הקורלציה של פירסון ונקבל ש- r=0.9493. כלומר, "אחוז השונות המוסברת" שהסקר מעניק לנו הוא של 90% (ה- r בריבוע)

כעת נסתכל על תרשים הפיזור ונראה מה יצא "סביר" ומה יצא "חריג" (הקליקו על התמונה לגירסה מוגדלת):

 seker_vs_reality_elections2013

הסבר על הגרף: כל נקודה שנמצאת מעל לקו הכחול היא מפלגה שקיבלה יותר ממה שהסקר צפה. וכל נקודה מתחת לקו הכחול, היא מפלגה שקיבלה פחות ממה שהסקר חזה.

אפשר לראות שמלבד מרצ וקדימה, הסקר לא הצליח לקלוע במדויק בתחזית שלו לאף מפלגה. אבל שבאופן כללי, התחזיות של הסקר היו מאד קרובות לקו עם שיפוע 1 (כלומר, שהתחזיות היו יחסית קרובות למציאות).

הנקודה שנראית הכי רחוקה מהתחזיות היא זו (אשר נצבעה בסגול) של "יש עתיד", אשר קיבלה 19 קולות במקום ה-12 שהסקר חזה עבורה. עוד מעט נבדוק עד כמה התוצאה של "יש עתיד" באמת הייתה חריגה.

האם מספר המנדטים שקיבלה "יש עתיד" היא בתוך "טווח הטעות הסבירה" או שמדובר כאן במשהו אחר?

בסקר קיבלה "יש עתיד" 19 מנדטים מתוך 120. כלומר, כ- 15.83% מהאוכלוסייה הצביעו בעדם (אנו מתעלמים מאחוזי הצבעה מכלל האוכלוסיה ומהסכמי עודפים). לעומת זאת, בסקר קיבלה המפלגה רק 12 מנדטים. האם ההבדל הזה בתוצאות הוא תוצאה של שגיאה סבירה באמידה?

כדי לענות על שאלה זו, נבחין ש- 12 מנדטים זה 10% מהבוחרים. זה אומר ש- 10% מהאנשים בסקר שלנו (שזה יוצא כ- 71 איש מתוך 712) אמרו שיצביעו ליאיר לפיד.

מה היה טווח אחוזי ההצבעה שהיינו מצפים לראות, על סמך המדגם של הסקר?

כדי לענות על השאלה נבנה רווח סמך של 99% לפרופורציית האנשים שהיו מצביעים ליאיר לפיד ונקבל טווח של 7.1% עד 12.9%.

כעת נכפיל את רווח הסמך שקיבלנו ב- 120 כדי לקבל מספר המנדטים המשוער, ברמת סמך של 99%, עבור "יש עתיד" ונקבל טווח מנדטים של: 8.5 ועד 15.5

זה אומר שהמקסימום שהיינו מצפים לראות את המפלגה מקבלת (על סמך הסקר) הוא כ- 16 מנדטים. 19 מנדטים היה מעל ומעבר לטווח הסביר, ומכאן שאפשר להסיק שבנושא של יאיר לפיד, הסקר שגה בגדול (ולמען ההגינות, כל הסקרים מלפני הבחירות ביצעו את אותה השגיאה).

עד כמה "לא סבירות" היו התוצאות של "יש עתיד"?

לשם כך אפשר לבצע מבחן השערות (חד צדדי)ולבדוק מה היה קורה אם מישהו היה מציע שיאיר לפיד יקבל 12 מנדטים או פחות (כפי שאכן הציע קמיל פוקס), עד כמה סבירה הייתה הטענה הזו תחת ההנחה שתוצאות האמת שהתקבלו ביום הבחירות הן אכן היו העדפת הבוחרים ביום שבו בוצע הסקר. הערך p-value מתקבל להיות שואף ל-0.

המסקנה מהבדיקה הזו היא שהסיכוי שקיבלנו את המדגם שקיבלנו, תחת ההנחה שהמדגם נלקח מאוכלוסיה עם אותה התפלגות העדפות כמו זו שבאה לידי ביטוי ביום הבחירות, שואפת ל-0. כיצד אפשר להסביר את זה?

אז יש 3 הסברים עיקריים:

1)      התרחש נס! (ותאכלס, ה- P-value שקיבלנו זו ההגדרה הכי מתמטית ל"נס" שאני מכיר) אבל ל"נס" הזה צריך להכניס גם את העובדה שתוצאות דומות התקבלו בסקרים אחרים. כלומר, צריך להיות מדובר בנס מ-א-ד גדול.

2)      ה"קולות הצפים" צפו באופן מאד דרמטי בחמשת הימים הללו שלפני הבחירות. כפי שהסביר הבלוגר הפוליטי ד"ר יובל דרור בפוסט "על יאיר לפיד ואלדד יניב"

בואו נשים רגע בצד את 8-11 המנדטים "הקשים" של לפיד, המנדטים שהלכו איתו כמעט לאורך כל הדרך. אלו מצביעי לפיד שבאמת ובתמים מאמינים ללפיד ולאג'נדה שלו. אבל מה עם החצי השני, זה שהופיע בין לילה? […]

האנשים האלו הם קול צף קלאסי, הם המתלבטים ששומעים עליהם בחדשות. מצד אחד חלקם יצאו לרחובות במחאה של 2011 כי גם להם נמאס ומצד שני נמאס להם מהפוליטיקה עצמה[…]

לפיד קיבל כעשרה מנדטים של אנשים שלא ידעו למי להצביע והבחירה בלפיד נראתה להם שפויה. אלו המנדטים שביקרו אצל אמסלם, אצל בנט, אצל לבני, מנדטים שחיפשו בית ובסוף נחתו אצל לפיד. יהיה מעניין לראות לאן המנדטים האלו יתפזרו בעוד מערכת בחירות אחת או שתיים.

מדוע שהקולות הצפים ילכו לכיוון של יאיר לפיד? זו שאלה של פרשנות פוליטית/פסיכולוגית/תקשורתית שהיא מעבר להיקף המחקר הסטטיסטי.  הבלוגר זאב גלילי (גילוי נאות: אבא שלי) כתב פרשנות אפשרית מסויימת בפוסט "הפוליטיקה כתכנית ריאליטי – יאיר לפיד כגיבור מסרטי וודי אלן"

3)      הטייה שיטתית בסקרים. יכול להיות שבגלל שרק 30% מהאוכלוסיה מוכנים לענות לסקרים, יש לנו הטייה בסקרים כך שהם אינם משקפים את המציאות. לדוגמא, אם היה ריכוז גבוה מאד של אנשים שלא אוהבים לענות על סקרים בתוך ה"קולות הצפים", אזי לא הייתה לסוקרים שום דרך לגלות את מה שהתרחש מראש, בגלל שהאנשים שהובילו לשינוי הם בדיוק אותם אנשים שלא יסכימו לענות לסקרים.

בהסתמך על הנתונים שלפנינו בלבד, לא ברור לי כיצד נוכל להבדיל בין אופציה 2 (קולות צפים ששינו דעה בימים האחרונים לבחירות) לאופציה 3 (הטייה שיטתית שנמשכה לאורך כל תקופת הבחירות). את הפתרון של הבעיה הזו נאלץ להשאיר לחוקרים שיאספו עוד נתונים, ויבנו הסבר יותר מקיף לתופעה.

חוסר הסבירות של התוצאות שקיבלנו (ניתוח מורכב יותר)

אזהרה: תדלגו לחלק הבא אם אתם לא מבינים את הכתוב.

דרך מורכבת יותר לבדוק האם הסקר הצליח לנבא טוב את תוצאות הבחירות  (כפי שהציע הסטטיסטיקאי יוסי לוי בתגובות) היא להתייחס לתוצאות המדגם שלנו ככאלו שהגיעו ממדגם מולטינומי עם התפלגות הסתברויות של תוצאות הבחירות.

לשם כך, נשתמש בתוצאות הבחירות בתור התפלגויות הבסיס שלנו, ותחת ההשערה שהתפלגות הקולות ביום הבחירות היה זהה לזה שביום הסקר, נבדוק את מבחן החי-בריבוע לטיב התאמה. נקבל שהסיכוי לקבל את תוצאות הסקר שקיבלנו (תחת ההשערה שביום הסקר האזרחים תיכננו להצביע כפי שהם אכן הצביעו ביום הבחירות), הוא p-value = 0.00008467  כלומר, שואף ל-0.

המסקנה: הסקר לא הצליח לחזות טוב את תוצאות הבחירות.

אבל אם נסיר מהנתונים שלנו את "יש עתיד", נקבל p-value=0.05386. שזה רק כמעט מובהק (כלומר, אין לנו עדות מאד חזקה לכך שהסקר, למעט המקרה של "יש עתיד" הגיע מהתפלגות שונה של הצבעות מאשר זו שהייתה ביום הבחירות עצמן).

האם לארץ-חדשה היה סיכוי לעבור את אחוז החסימה?

 בסקר התקבל שארץ חדשה קיבלה 0.5% מהקולות. האם היה לה סיכוי (ברמת סמך של 99%) לעבור את 2% של אחוז החסימה?

לשם כך נבנה רווח סמך כמו מקודם ונקבל טווח של 0% עד 1.1% מהקולות (רווח-סמך מדוייק יותר, מבוסס קלופר-פירסון, נותן 0.09% ועד 1.75%).

כלומר, גם במקרה האופטימי ביותר מבחינתם, ארץ-חדשה היו אמורים לקבל 1.1% מהקולות. בסופו של דבר, הם קיבלו 0.74% מהקולות (כפי שניתן לראות כאן), תוצאה שהיא עיקבית/הגיונית לחלוטין על סמך הסקר.

שימו לב שבגלל האופן שבו השונות (אי-הוודאות ) של הפרופורציה מתנהגת, הרי שעבור הסתברות יחסית נמוכה התחזית על מה יקרה בסוף דווקא יוצאת יותר מדוייקת. (הכי אי וודאות מתקבלת עבור פרופורציה שנמצאת סביב ה- 50%)

אפשר היה גם לטעון להגנתם שהם קיוו שכל הקולות הצפים (או לחילופין, ההטייה הלא ידוע של אנשים שלא משיבים לסקרים), הייתה נעה לכיוונם. קטונתי מלשפוט את הלגיטימיות של הטיעון הזה, וכל אחד מוזמן להחליט לעצמו האם הטיעון הזה משכנע אותו או לא.

האם הסקרים של הארץ מוטים שמאלה-מרכז?

אחת הטענות ששומעים לפעמים מאנשים עם נטיות פוליטיות ימניות הן שהסקרים של הארץ מוטים לכיוון השמאל-מרכז. האם אפשר לראות עדות לכך על סמך הנתונים שלפנינו?

היות ויש לנו את התצפית המאד חריגה של יאיר לפיד, נשתמש במבחן הכי שמרני לסטיות בהתפלגות, נשתמש במבחן הסימן. הנה הטבלה שיצרנו לשם כך:

מפלגה

מנדטים

בסקר

במציאות

האם הסקר היה לטובת השמאל מרכז?

הליכוד ביתנו

32

31

0

העבודה

17

15

1

הבית היהודי

14

11

0

ש"ס

12

11

0

התנועה

8

6

1

יש עתיד

12

19

0

יהדות התורה

5

7

1

מרצ

6

6

*

רעם – תעל

3

5

0

בל"ד

4

3

1

חד"ש

5

4

1

קדימה

2

2

*

נבחין שאו מתעלמים ממרצ ומקדימה, בגלל שבשני המקרים הסקר נתן תחזית מדוייקת (ולא הייתה הטייה לשום כיוון).

זה משאיר לנו 10 מפלגות עם תחזיות שונות מאשר מה שהתרחש בפועל. מתוכן 6 פעמים הייתה הטייה לכיוון השמאל-מרכז, ו- 4 פעמים הייתה הטייה דווקא לטובת הימין. חישוב באמצעות מבחן הסימן מניח שמספר ההטיות לכיוון השמאל-מרכז יתפלג בינומי עם 10 והסתברות חצי להטייה לטובת השמאל-מרכז. על כן, מה הסיכוי לקבל את התוצאה שקיבלנו או קיצונית ממנה? (השערה חד צדדית)  p-value= 0.625.

אנחנו מקבלים שהערך p-value הוא מאד גבוה, רחוק מכל סף דחיה הגיוני (של 10% או 5% או 1%). ומכך אנו מסיקים שאין לנו עדות להטייה שיטתית בסקר הזה לטובת מפלגות שמאל-מרכז.

כמובן שאפשר היה לחשוב על מבחנים יותר מתוחכמים, ואולי להסתכל על התוצאות על פני הרבה סקרים, ולהשוות זאת לסוקרים אחרים. אבל כל זאת מעבר להיקף האנליזה הנוכחית.

סיכום המסקנות

1)      סך הכל, הסקר נתן תחזיות מאד קרובות (גם אם לא מדוייקות) של פיזור הקולות הסופיים למעט חריג אחד

2)      המפלגה של "יש עתיד" זכתה למספר קולות שהוא הרבה מעבר למקריות. ניתן להסביר זאת באמצעות התנהגות בלתי ניתנת לחיזוי של "הקולות הצפים", או לבעיה מהותית באופן שבו סקרים מתנהגים (לפחות בנסיונם לחזות התנהגות של אנשים שאינם נוהגים להשיב לסקרים). אך לא ברור מה המקרה שלפנינו.

3)      למפלגת "ארץ חדשה" לא היה סיכוי ריאלי לעבור את אחוז החסימה (כל עוד מתעלמים מהקולות הצפים/הטיות-סקרים).

4)      אין עדות מובהקת לנטיית שמאלה-מרכז בסקר של הארץ (לפחות לא על בסיס הנתונים שלפנינו)

נהניתם? תשתפו את הפוסט עם חבריכם. יש לכם מחשבות? הרחבות? תיקונים? קישורים?  התגובות עומדות לרשותכם…

אני מאחל לכולנו בהצלחה עם הממשלה הנוכחית!

21 תגובות בנושא “הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

    1. Tal Galili

      תודה איתי. 🙂
      אין מבחינתי סטטיסטיקה לעשות על זה. יש מספר יחיד (אחוז הצבעה לאחר המחאה), ואפשר להסתכל עליו למול האחוזים הקודמים שהיו ולהסיק מסקנות אם רוצים. אבל הסטטיסטיקה הרלוונטית היא תיאורית וברמה שהסברתי כעת ולא מעבר לכך.

  1. איתן

    לא מבין איך מתגברים בסקרים על הטיות מובנות: * אנשים יודעים שמדובר בסקר, ולכן עונים בצורה שונה. * כמות האופציות לבחירה * הסדר שלהן * הפריסה המרחבית שלהן * הבלבולים שיכולים להיות בגלל הצורה של הפתקים * האוכלוסיה הנדגמת – הכל שונה כשעושים את הסקרים האלו – והכל יכול לשחק לכיוון כזה או אחר בתוצאות האמת. ובסך הכל – אחוז הטעות גדול מאחוז החסימה.

    1. אורן

      "ובסך הכל – אחוז הטעות גדול מאחוז החסימה".
      – האם ניתן להסיק מ"אחוז הטעויות גדול מאחוז החסימה" שמפלגה שלא עברה את אחוז החסימה בסקרים תעבור אותו במציאות? לא בטוח.

      נניח שבמציאות יש הבדל של עד 25% מתוצאות ההצבעה של כל מפלגה בגלל הטיות. אז אם מפלגה זכתה ב-20 מנדטים בסקר, אז במציאות היא בין 15-25 מנדטים, ו-5 מנדטים זה הרבה מעבר לאחוז החסימה. אבל אם מפלגה קיבלה 0.5% מהקולות בסקר, אז היא במציאות 0.25-0.75% מקולות הבוחרים, שזה לא מגרד את אחוז החסימה בכל מקרה…
      [הכותב אינו סטטיסטיקאי]

  2. Erez Livneh

    טל, תודה רבה על הפוסט המעניין ומאיר העיניים.
    שוב תרגמת את כשרונך וידיעותייך לשירות לציבור, לא טריוויאלי כלל. תודה על כך.

    כמה שאלות, הצעות והערות:
    1.
    עבור האנליזה הייתי מציע לקחת את תוצאות האמת ללא ההתחשבות ההתחשבות בהסכמי עודפים והתיקון לפי חוק באדר-עופר, אלא בצורתם הגולמית, כפי שיצאו מתיבות הקלפי. הרי אלו הם המספרים שנדגמים בסקרים השונים.
    2.
    כקורא הדיוט הייתי שמח לראות את המספרים, וטוב עוד יותר כגרף, את טווחי השגיאה לפי 95% ולפי 99% ודאות ואז קל יהיה לראות אילו מפגות נמצאות במרחב הסביר מאד, סביר למדי ובלתי סביר.
    3.
    מה עושים הסוקרים עם כל אותם האירועים שבהם אנשים
    ?מסרבים לענות לסקר
    היות והקולות הצפים כ"כ דומיננטיים בקביעת התוצאה הסופית, זה נראה לי לא נכון פשוט להוציא אירועים אלה מן המדגם. זה פתרון קל מדי. אם אדם בת"א מסרב להדגם הרי שהוא מתלבט בין מפלגות שונות מאדם שמסרב בבני ברק. כך גם לגבי חתכי גיל שונים ואולי גם מגדרים. לכן, אם אמנם מבצעי המדגמים משליכים אירועים אלה, הייתי מציע דווקא שיפלחו את האנשים הללו ויחלקו את קולם לפי תוצאות אותו המדגם עם אנשים דומים להם, למשל אדם מת"א שיסרב להדגם יתורגם (מספרים פיקטיביים) ל-0.3 קול למרץ, 0.5 קול לתנועה, 0.1 קול לעבודה, 0.09 קול ללפיד ו-0.01 לארץ חדשה ואדם שיסרב בבני ברק יתורגם ל-0.5 יהדות התורה, 0.3 ש"ס, 0.16 הליכוד ביתנו, 0.07 עם שלם ו-0.07 כח להשפיע.
    אולי גם אפשר לשקלל כאן גורם שגיאה מוגבר אבל זה כבר למעלה מהשגתי. האם יש סקרים שנוהגים כך?

    ושוב תודה,
    ארז

    1. Erez Livneh

      ,ועוד מחשבה לקינוח
      הפוליטיקה הישראלית מושפעת מתבנית פסיכולוגיה קבוצתית שמאפיינת אותה (ואולי כך גם בפוליטיקות במקומות אחרים, אין לי מושג), והיא מגמת "המושיע העולה". מדובר במפלגות שזו ההנצה הראשונה שלהם בנוף הפוליטי, אשר טרם הספיקו לאכזב או להתלכלך בבוץ הפוליטי ואשר מספקות תקווה לציבור המיואש אשר בציון.

      מפלגות, אם הן עוברות את אחוז החסימה, נכנסות ללולאת משוב חיובי ופורצות לזירה עם שיעור מנדטים גדול מאד (והרבה פעמים נעלמות לאחר קדציה אחת). כך זה היה עם מרץ, שינוי, צומת, מפלגת המרכז, הדרך השלישית והגמלאים (אם כי אני לא בטוח שהדוגמא האחרונה שייכת לאותה מגמה, שם זו היתה יותר הצבעת מחאה).

      לכן, אני חושב שתיקון הולם לכל סקר יהיה לשקלל את הנסיון הפוליטי הקודם של חברי הסיעות (למשל מספר הקדנציות הממוצע של החמישי הפותחת של כל רשימה) ואם אותה רשימה עומדת בשני התנאים של (1) מעבר אחוז החסימה ו(2) שיעור קדנציות נמוך עד שואף ל-0 של נציגיה, כל תוצאות הסקר יתוקננו כך שאותה רשימה תקבל מכפיל משמעותי על שמנבא לה המדגם.

      נראה לי שבניתוח תוצאות מערכות הבחירות והסקרים בעבר אפשר להגיע לפרמטרים הנחוצים לנוסחא מעין זו (היינו, גודל המכפיל, מידת ה"רעננות" של הרשימה) והייתי סקרן לראות אם מישהו יכול היה לנבא בשיטה זו את הפתעות הבחירות שהיו.

  3. shira

    מרתק , נהניתי לקרוא.
    שני תיקונים מספריים קלילים
    הבחירות נערכו ב22.1.13 ולא כפי שרשמת
    נתת דוגמה לסקר מדצמבר שהשנה שלו צריכה להיות 2012 ולא כפי שרשמת
    יישר כוח.

    1. Tal Galili

      היי אלכסנדר – עבור טיב התאמה – אני מסכים. אבל זה מודד רק את אי-ההתאמה בין מה שקיבלנו לבין הפרופורציות שהתקבלו בבחירות.

      הבעיה היא שאינני משוכנע כיצד לכמת את מידת הדמיון בין התוצאות. אשמח לרעיונות.

  4. Yossi Levy

    טל, כמה הערות:

    לשאלה מספר 1, הגרף עושה את העבודה יפה. לבדיקת טיב ההתאמה בין חיזוי הסקר והתוצאות בפועל, אני סבור כי מקדם המתאם של פירסון אינו האפשרות הטובה ביותר, כיוון שמדובר כאן למעשה בשתי תצפיות מהתפלגות מולטינומית. עדיף לדעתי להשתמש במבחן טיב ההתאמה (חי-בריבוע). לאחר מכן, אפשר לחשב את השאריות המתוקננות כדי לבדוק עד כמה הנתון של יש עתיד הינו חריג.

    בשאלה הרביעית, יש לשאול עד כמה הקירוב הנורמלי תקף עבור פרופורציה של 0.5 אחוז.

    עדיף היה להשתמש ברווח סמך שלא מסתמך על הקירוב הנורמלי, כמו קלופר-פירסון: http://en.wikipedia.org/wiki/Binomial_proportion_confidence_interval#Clopper-Pearson_interval

    1. Tal Galili

      היי יוסי:

      לגבי 1) אתה צודק. כתבתי את הפוסט היום בבוקר, וכשנסעתי לאוניברסיטה הבנתי שיש את התלות של ה- 120 מנדטים קבועים עבור התצפית האחרונה. אז אכן, מבחן טיב התאמה יותר מתאים כאן.
      (אני אעשה זאת מאוחר יותר)
      לגבי היש עתיד – אני דווקא חושב שהחישוב הנוכחי עושה עבודה סבירה. אני לא מכיר רווח סמך לשאריות במצב כזה.

      לגבי השאלה הרביעית –
      אני מסכים, עצם זה שהרווח סמך כולל מספר שלילי מבהיר שהקירוב לא מתאים כאן.
      את זה אני גם אעשה בקרוב.

      תודה על הפידבק המקצועי 🙂
      בכל מקרה, אני משאיר את הניתוח הנוכחי כי הוא נכתב במטרה שאעביר אותו בשיעור היום עבור התלמידים שלי (ולכן הגבלתי את עצמי לכלים שעומדים לרשות התלמידים). אבל אני אוסיף ניתוחים נוספים ואציין את הדברים שהעלית.
      (אני אעדכן את הפוסט בימים הקרובים עם ניתוחים נוספים)

      שוב תודה!
      טל

      1. מוטי

        אני דווקא לא רואה צורך לתקן את תשובתך ל-4, כי ניתן לענות על שאלת סבירות התוצאה לטובת שמאל-מרכז (תחת ההשערה שאין הטיה) גם מתוך ההתפלגות הבינומית ללא שום קירוב נורמלי. בפרט, השערת האפס תהיה שאין הטיה, וההשערה האלטרנטיבית תהיה חד צדדית – הטיה לטובת שמאל-מרכז. בהנחת ההתפלגות הבינומית, הסיכוי לקבל 6 ומעלה טעויות לטובת מרכז-שמאל תחת השערת האפס הינה אכן 0.376 (אפשר להציג לסטודנטים את החישוב לסיכוי לקבל בדיוק 5 הטיות לכל כיוון, ואז מטעמי סימטריה לחלק לשתיים את ההסתברות המשלימה).
        לגבי הרב"ס לתוצאת "יש עתיד", אני חושב שהיתרון של גישתך הינו שהחישוב מאוד אינטואיטיבי וקל למעקב והבנה. אם רוצים להיות מדויקים יותר, אז ברגרסיה מחשבים רווח סמך לקו כולו, כזה שלוקח בחשבון לא רק את התצפית הספציפית אלא את סך התצפיות. החישוב האנליטי קצת מורכב, אבל רוב התוכנות הסטטיסטיות יכולות לנפק תרשים שיציג גרפית רווח סמך ברמת הביטחון שתבחר לכל אורך הקו (ואז גם יהיה קל לראות בעיניים שאין חריגים נוספים).
        הערה אחרונה: אני בעצמי מלמד סטטיסטיקה באוניברסיטה, ואני חושב שזה מרשים מאוד שאתה משקיע כך בסטודנטים וגם מנסה לעניין אותם. אני מאוד מקווה שהם יודעים להעריך את זה.

        1. Tal Galili

          היי מוטי,
          תודה רבה על המילים החמות! אני חושב שלפחות חלק מהתלמידים יודעים להעריך את זה, מה שעוזר להפוך את ההוראה לעיסוק מאד מספק.

          לגבי הפרופורציה – אני מסכים איתך.

          לגבי רווח סמך לרגרסיה, ביצעתי כזה, אך הוא מסתמך על הנחות לגבי אי התלות של התצפיות – מה שלא מתקיים במקרה שלנו. מה גם שהתלמידים שלי לא לומדים רגרסיה הסמסטר, אז וויתרתי על זה.

          אגב – באיזה אוניברסיטה אתה מלמד?

          1. מוטי

            זו נקודה נכונה לגבי הנחת אי התלות שלא מתקיימת.
            אני מלמד בפקולטה למנהל עסקים באונ' ת"א.

    2. Tal Galili

      היי יוסי,

      עידכנתי את הפוסט בהתאם.

      נקודה אחת שאני לא בטוח לגביה זה איך לכמת את מידת הדמיון (לא השוני) בין הסקר לבין תוצאות האמת, תחת הנחת המולטינומיות.

      מכיר משהו?

  5. מוטי

    פוסט נהדר, כל הכבוד!

    תיקון אחד קטן: המשפט שרשמת "מה היה קורה אם מישהו היה מציע שיאיר לפיד יקבל 19 מנדטים או יותר, עד כמה סבירה הייתה הטענה הזו תחת תוצאות הסקר?" אינו מתאר במדיוק את בדיקת ההשערות (הנכונה) שביצעת במסמך עם החישובים. הבדיקה הנכונה מתייחסת למספר המנדטים בפועל כאל המציאות, ובודקת את סבירות הסקר (שהינו מדגם) על סמך המציאות. אי לכך, החישוב מתיחס לשאלה "מה היה קורה אם מישהו היה מציע שיאיר לפיד יקבל 12 מנדטים או פחות (כפי שהציע קמיל פוקס), עד כמה סבירה הייתה הטענה הזו תחת תוצאות האמת שהתקבלו?"
    ואז המשפט הבא בפוסט שלך משתלב מצוין: "המסקנה מהבדיקה הזו היא שהסיכוי שקיבלנו את המדגם שקיבלנו, תחת הידיעה שיש לנו עכשיו של תוצאות הבחירות, שואפת ל-0".

    1. Tal Galili

      תודה רבה מוטי 🙂
      אני אוסיף את התיקון הזה בפוסט.

      (אני אוסף רשימה של תיקונים – זה מעורר ענווה לגלות כמה שגיאות יש בדברים שאני כותב)

  6. סטודנט

    השאלה היא האם הסקרים קלעו או האם הסקרים הם אלה שיוצרים את המציאות? לדעתי זה לא מצב של ביצה ותנגולת אלא יותר מצב שבו הסקרים הם אלה שיצרו את המציאות.

    במקרה של ארץ חדשה אינספור מצביעים פוטנציאלים ברחו בגלל הסקרים. בנוסף הייתה מתקפה גדולה ומאורגנת על המפלגה ביומיים האחרונים שפגמה עוד יותר והפחידה את המצביעים. (התבססו בעיקר על כך שהסקרים מודיעים שלא עברו את אחוז החסימה)
    יש טענות שהיו בעיות בקלפיות עם הפתקים ומקרים שהפתקים נזרקו ונפסלו בגלל בעיות כאלה ואחרות.

    יש דרך לבדוק זאת? לא חושב

    נצא מנוקדת הנחה שהייתה מתקפה של פעילי מפלגות אחרות והיו בעיות בקלפיות. במקרה כזה הסקרים לא צדקו.

השאר תגובה