ארכיון הקטגוריה: סטטיסטיקה בתקשורת

הבחירות לכנסת ה- 19 (בשנת 2013) – איפה הסקרים הצליחו ואיפה הם כשלו?

 seker_vs_reality_elections2013

הבחירות הסתיימו, אני הצבעתי, ועכשיו כשהאבק מתחיל לשקוע אנו יכולים להתרווח ולבדוק את הקשר בין תחזיות הסקרים לתוצאות בשטח. יש דרכים רבות לדון בשאלות הללו, מה שבחרתי לעשות היום זה לקחת את הסקר של פרופסור קמיל פוקס (דיאלוג), שהתפרסם חמישה ימים לפני הבחירות לכנסת ה- 19 (אשר התקיימו ב- 22.01.2013), בעיתון הארץ (קישור לתוצאות הסקר) ולענות על כמה שאלות:

  1. עד כמה קרובים היו תחזיות הסקר לתוצאות האמת?
  2. האם 19 המנדטים שקיבלה "יש עתיד" היו בתוך טווח הטעות הסבירה או לא?
  3. האם לארץ חדשה היה סיכוי לעבור את אחוז החסימה?
  4. האם יש עדות מובהקת לכך שהסקרים של הארץ מוטים לכיוון השמאל-מרכז?

הפוסט הזה יכלול את עיקרי הדברים (אפשר לקפוץ לסוף הפוסט לריכוז המסקנות), ואם תרצו לראות את החישובים המדוייקים, אתם מוזמנים להוריד את המסמך מהקישור שכאן.

להמשיך לקרוא

טילים על ישראל | פלסטינים שנהרגו בידי צה"ל — בין השנים 2002 ל- 2012 – גרפים, נתונים, ומחשבות

הערת הקדמה לקוראים וותיקים וחדשים: הפוסט הזה הוא מאד בסיסי מבחינת הסטטיסטיקה שבו (לטוב ולרע). עיסוקו הוא יותר במציאת נתונים והסתכלות בסיסית עליהם מאשר ניתוחים מורכבים.

חסרי סבלנות לקרוא את הפוסט? פשוט תסתכלו על הגרף שכאן (מספר הטילים על ישראל מול פלסטינים שנהרגו בידי צה"ל – לאורך זמן):

רוצים להבין למה יצרתי את הגרף הזה, באיזה נתונים השתמשתי (מופיעים בסוף הפוסט), ומה אני חושב עליו? תמשיכו לקרוא הלאה…

עידכון (18.11.2012): יצרתי להנתאכם גירסה דינמית של גרף הנתונים, כנסו לפוסט בשביל לצפות בו:

להמשיך לקרוא

כך זינק המס שאנחנו משלמים על הדלק?!

באולפן שישי מהימים האחרונים (30.03.2012), התנוססה לה כתבה תחת הכותרת "כך זינק המס שאנחנו משלמים על הדלק". בכתבה מופיע תרשים מרשים המראה את הטיפוס הבלתי נלאה של המס שאנחנו משלמים על הדלק בעשור האחרון. היות והרבה חברים בפייסבוק החליטו להפיץ את התרשים הזה, החלטתי להסתכל עליו קצת יותר, הנה הוא:

בתרשים הזה יש שני כשלים משמעותיים: הראשון הוא מבחינה עיצובית (תרשים עמודות תלת מימדי, במקום דו מימדי) והשני הוא מבחינת סוג הנתונים שהוצגו (נתונים גולמיים ללא תיקנון). וכעת הסבר מורחב:

להמשיך לקרוא

תרשים של מחירי דירות בשנתיים האחרונות – אני לא רואה בשורות גדולות – ואתם?

מדור הכלכלה של ווינט פירסם לפני כמה שעות את הנתונים שפרסם היום משרד הבינוי והשיכון.

המממ, כשאני אומר "פירסם", כוונתי היא שהעיתון נתן צילום מסך של טבלת נתונים, ביחד עם תיאור של היחס בין מחירי הדירות בתאריכים שונים (דהיינו, הירידה באחוזים).
אז מה הפריע לי? שלהסתכל על (צילום מסך) של טבלת נתונים גדולה לא ממש עוזר לי להבין מה קורה בשוק הדיור (ותיאור האחוזים של הכתבה גם כן לא עוזר).

הכנת הנתונים

רציתי ליצור תרשים של הנתונים. בשלב הראשון, הורדתי את התמונה של טבלת הנתונים מהאתר של ווינט (קישור) . בשלב השני נגשתי לגוגל וחיפשתי "OCR jpg to doc", כדי למצוא אתר שיאפשר לי להמיר את התמונה למספרים (כדי שאני לא אצטרך להתאמץ יותר מידי בהקלדה). הנה קישור לאתר שהצליח לא רע להמיר את התמונה למסמך וורד (קישור). את הטבלה שבקובץ וורד העברתי לאקסל, ותיקנתי כל מיני שגיאות (פסיקים, נקודות, ואפסים חסרים).
אתם מוזמנים להוריד את הקובץ שהתקבל ולחשוב על דברים יצירתיים אחרים לעשות איתו (קישור לקובץ הנתונים).

התרשים של מחירי הדירות בשנתיים האחרונות

מה שמצער אותי זה שאני לא מבין את המשמעות המדוייקת של המחיר. אני לא יודע אם זה מחיר ממוצע לדירה בגודל מסויים. באיזה איזורים בארץ, וכן הלאה. המשמעות המדוייקת של הנתון לוטה בערפל, לא מתואר בכתבה של ווינט, ודורש חפירה באתר של משרד השיכוי והבינוי (וזה בהנחה שהם רשמו את ההסבר שם איפשהו).
אבל בואו נניח שהנתון הזה בכל זאת מייצג משהו על מה שקורה בארץ. הנה התרשים:

הקו הכחול הוא של מחירי דירות יד שניה, בעוד שהקו האדום הוא של מחירי דירות חדשות. הקו השחור שהוספתי על גבי הנתונים הוא החלקה על פני 4 תקופות (אפשר לחשוב על זה כעל קו המגמה "הממוצע" של מחירי הדירות).

מחשבות על הנתונים (ומחאת האוהלים)

כמה תופעות מעניינות צצות כשמסתכלים על הגרף:

  1. מחירי הדירות הם נתון "רועש" בין חודש לחודש (שזה די מרשים לראות כשחושבים על זה שמדובר בממוצע של מחירים). אחת המסקנות שמתקבלות מזה היא שלהשוות חודש ספציפי עם חודש ספציפי בשנה שלפני כן, זה לא בהכרח ההשוואה הכי טובה. מדוע? כי ייתכן שבמקרה (או בכוונה שאיננה "נקיית כפיים") נבחר להשוות שני חודשים עבורם היה הפרש גדול. וייתכן וההפרש הזה הוא מיקרי, ויהיה מתון יותר בחודש שלאחר מכן. זה אומר שלשם השוואות בין תקופות, ייתכן ועדיף להסתכל על נתונים שעברו "החלקה" (דהיינו, "מיצוע", מה שמופיע בתרשיימים למעלה בתור הקו השחור).
    זה גם אומר שיכול להיות חודש שבו פתאום יכריזו ש"מחירי הדירות מתרסקים" (בעיקר כאשר מדובר במחירי הדירות החדשות), אבל שחודש לאחר מכן המחירים שלהם יתאזנו חזרה למחירים הקודמים.
  2. נראה שיש יותר תנודתיות במחירי הדירות החדשות לעומת מחירי הדירות יד-שניה (זה רק מהסתכלות בעין, לא בהכרח מדובר בהבדל מובהק סטטיסטית). הסבר אחד על כך נתן אוהד דנוס, יו"ר לשכת שמאי המקרקעין, אשר אמר בעקבות פרסום הנתונים כי "הודעת משרד השיכון תואמת אחת לאחת את תחזיות לשכת השמאים בדבר ירידת מחירים זמנית, בשיעורים מינוריים, כשהקבלנים מוכנים להתפשר מעט יותר משוק דירות היד השנייה, וזאת רק הממונפים שבהם".
  3. מאז תחילת מחאת האוהלים (דהיינו, יולי 2011), נראה שהייתה "ירידה" במחירי הדירות החדשות והיד-שניה (בהשוואה לשיא). אם כי הירידה היא על פני המגמה, יותר משמעותית בדירות החדשות – ובכל מקרה די זעומה ביחס לשונות הכללית של הנתונים. האם הנתונים האלה מלמדים אותנו שמחאת האוהלים השפיע על שוק הדיור והורידה את מחיריו? זו שאלה מצויינת, אינני יודע את התשובה. ייתכן ומחאת האוהלים הגיע באותו הזמן שהתחילה להתהפך מגמת העלייה של מחירי הדיור.

בשורה התחתונה, אני לא רואה בשורה גדולה בנתונים האלה, רק קצת תובנות שלא ברור לי מה אפשר לעשות איתן.

אם יש לכם מחשבות על מה לעשות עם הנתונים, או איך לפרש אותם – אשמח לקרוא עליהם בתגובות, אני אוהב ללמוד דברים חדשים…

מחירי החשמל עולים, אבל לא ככה – ביקורת על גרפיקה מהעיתון

דף הפייסבוק של ידיעות אחרונותפירסם הודעה עם הגרף שמתחת, ומעליו הטקסט הבא:

התעצבנתם מחשבון החשמל המנופח? כשתקבלו את החשבון הבא תתעצבנו עוד יותר. כתבנו עמיר בן-דוד מדווח כי תעריפי החשמל יעלו בשבוע הבא בעוד 8.9%, ובכך ישלימו זינוק של 24% בתוך שנה. תראו כמה שילמתם אז – וכמה אתם עומדים לשלם עכשיו

אין ספק שכעס זה דבר שמושך תשומת לב של קוראים, ועלייה במחירי החשמל בפירוש עונה על הקריטריון הזה. אבל רגע, האם אתם שמים לב לאיזושהי בעיה בגרף שלמעלה? להמשיך לקרוא

אינפוגרפיקה על ישראל היום ומחאת האוהלים

מחאת האוהלים אשר החלה ברוטשילד מצליחה לסחוף עוד ועוד אזרחים, לצלילי הדממה החברתית שפקדה את מדינתנו בעשורים האחרונים.

ובהזדמנות זו, המחאה גם מצליחה לעורר דיון באופן שבו ערוצי התקשורת המרכזיים מסקרים את המחאה. מה שמוביל אותנו, תאמינו או לא, לסטטיסטיקה.
נתקלתי באינפוגרפיקה המקסימה, אשר משווה את שטח ההתייחסות שכל אחד מהעיתונים המרכזיים (ידיעות, מעריב וישראל-היום) הקדישו למחאת האוהלים בשבוע האחרון.
לחצו על התמונה לגירסה מוגדלת:

מחאת האוהלים - סיקור בתקשורת - אינפוגרפיקה
(קרדיט: לגרפיקאי ליאור צור – misquote. כל הכבוד!)

התמונה מראה את העמוד הראשי של כל אחד משלושת העיתונים לאורך השבוע, וצובעת בורוד את ההופעה של התייחסות למאבק האוהלים. לקינוח, ציטוטים נבחרים מעמוד השער מוצגים לצד התמונה בצהוב.
האם ישראל היום מתייחס פחות למחאת האוהלים מאשר עיתונים אחרים, בהחלט. האם זה מעיד על כך שמדובר ב"ביטאון של ביבי"? בשביל הפרשנות הזו צריך איש תקשורת, לא סטטיסטיקאי… :)

העונת נוספת: למרות נסיונות של גורמים כאלה ואחרים לצבוע את המחאה כקיטוב בין מחנות הימין והשמאל הפוליטיים (כפי שאלו מתבטאים בדעות על הסכסוך הישראלי פלסטיני), הרי שהיטיבו לכתוב לפני שמה שבאמת מדובר פה זו הכלכלה, וספציפית, האם אנו שואפים למדינה קפיטליסטית או מדינה המקדמת אג'נדה כלכלית שהיא יותר סוציאלית.

כיצד העיתונות בארץ מפחידה אנשים שטלפונים סלולרים עושים סרטן

היום טילפנה אלי לסלולרי קרובת משפחה אהובה. לאחר מספר דקות שיחה, היא ציינה שפורסם מחקר ששיחה בטלפון עלול להגביר את הסיכון שלנו ללקות בסרטן מוח ב- 40%, ושאולי כדאי שלא נאריך בשיחה.

זו הזדמנות טובה לשאול, האם זו באמת המסקנה המתבקשת.

רקע: הידיעה ב-YNET על הסרטן מהסלולארי

נתחיל בעובדות, הנה צילום מסך של הידיעה שפורסמה ב- YNET. הכותרת הייתה "מחקר: חצי שעה בנייד מעלה ב-40% סיכון לסרטן"

ynet scientific

(אגב, שימו לב איך שמתחת לידיעה על סרטן המוח מהסלולרי, הופיעה במדור המחשבים הידיעה "לסלולרי: אוסף משחקי פנאי לטלפון אנדרואיד")

אבל האם באמת חצי שעה בנייד מעלה את הסיכון לסרטן ב- 40%?  ובעצם, מה זה אומר שהסיכון עולה ב- 40%? 40% ממה?

ובכן, נתחיל בלהכנס למאמר ולקרוא את הפירוט:

המחקר הבינלאומי הגדול מסוגו, שכלל כעשרת אלפים איש ב-13 מדינות, כולל ישראל, מצא סיכון מוגבר ב-40% לגידול מוחי בקרב אנשים המדברים חצי שעה ביום או יותר. פרופ' סדצקי, האחראית על המחקר: "התוצאות מטרידות – זמן החשיפה של הנבדקים זעום לעומת המקובל היום". החוקרים: מגבלות המחקר דורשות מחקר נוסף כדי לבסס את הקשר

הפיסקה הזו עדיין מאד מפחידה. נשמע שזה מחקר מאד גדול (עשרת אלפים איש ב- 13 מדינות), המחקר מצא סיכון מוגבר לסרטן ופרופסורית מוטרדת מהתוצאות. אבל מה אומר המשפט האחרון? "מגבלות המחקר דורשות מחקר נוסף כדי לבסס את הקשר"

מה זה אומר?

לשם כך נעיין בכתבה עד שנגיע אל הפיסקה שבה מצוטטת פרופסור סדצקי כאומרת: "תוצאות המחקר לא הוכיחו כי קיים סיכון, אך גם לא שללו סיכון כזה"

וכעת יעצור הקורא החרוץ וישאל: אבל אם לפני רגע היא אמרה שהתוצאות מטרידות, למה היא אומרת כעת שהמחקר לא הוכיח כי קיים סיכון? האם יש סיכון או אין סיכון?

בין תוקף מדעי למהומה עיתונאית

הכתבה הזו היא דוגמא מצויינת למצב שבו השאיפה של מדענים לטענות מבוססות מתנגשת בנטייה של העיתונות ליצר מהומה.

מצד אחד יש לנו מדענים שמנסים לומר דברים שיוכיחו את עצמם בעתיד. מדוע? ראשית מכיוון שזה אידאל טוב לשאוף אליו, ושנית מכיוון שאם מדען יטען טענה שתופרך בפעם הבאה שמישהו יעשה מחקר על הנושא, אז השם הטוב של המדען ייפגע (מה שישפיע על יוקרה, פירסומים, יכולת לקבל מענקים, קידומים וכו').

מן הצד השני, יש לנו את העיתונאים שרוצים להשיג את תשומת הלב של קוראיהם. מדוע? כיוון שהמשמעות של תשומת לב ציבורית לעיתון היא כסף (לרוב מפרסומת).  לעיתונת יש מוטיבציה ליצור הרבה הזעקות, אפילו במחיר של יצירת הזעקות שווא, הם הילד שקורא "זאב זאב" כמה שרק אפשר, כדי לקבל תשומת לב.

כמובן שאני עושה פה קריקטורה משני הצדדים. גם מדענים רוצים פירסום ותשומת לב, וגם לעיתונות יש שאיפה לשמור על שמם הטוב.  ואף על פי כן, קריקטורה של המצב היא כנראה התיאור המדוייק ביותר, ראו לדוגמא את הקריקטורה הבאה אשר מתארת את מעגל החיים של ידיעה מדעית:

science_news_cycle

אני חושב שזה בערך מה שקרה כאן היום.

אז מה עושים? בודקים מה כתוב במאמר

במקרה שנתקלים בידיעה כמו ב- YNET, הדבר האחראי (כלפי עצמנו) לעשות, הוא לחפש את המאמר המקורי שעל פיו נכתבה הידיעה.

במקרה שלנו, המאמר המקורי נקרא:
Brain tumour risk in relation to mobile
telephone use: results of the INTERPHONE
international case–control study
ואפשר להוריד אותו מכאן. (תודה לויקיפדיה האנגלית שמצאו את המאמר בשבילנו)

בתחילת המאמר מתוארות המסקנות של המחקר (הדגשה שלי):
Overall, no increase in risk of glioma or meningioma was observed
with use of mobile phones. There were suggestions of an increased
risk of glioma at the highest exposure levels, but biases and error
prevent a causal interpretation
. The possible effects of long-term
heavy use of mobile phones require further investigation.

המשמעות של זה היא שאיננו יודעים, שהמחקר איננו חד משמעי, שאין בו עדות בשביל הסקת מסקנות חד משמעית!
כמו שכתבתי בהרחבה בזמנו כאן, קורלציה איננה סיבתיות. זה ששני דברים קרו ביחד, לא אומר שהאחד גרם לשני.

והנה עוד קריקטורה בשביל ההפנמה שקורלציה איננה סיבתיות
קורלציה איננה סיבתיות

הבנו אותך, אבל תאכל'ס מה לעשות? להשתמש בסלולרי או לא?

פרופסור סדצקי (שאני משוכנע שמבינה בתחום היטב) אמרה: "לדעתי כמומחית בבריאות הציבור, האינדיקציות האלה מצדיקות נקיטת עמדה זהירה" והוסיפה כי "ישנה תת הערכה של הסיכון האמיתי וסביר להניח שהוא גבוה יותר".
עכשיו השאלה מה עושים עם זה.
מעיון במאמר, אני רוצה להפנות לעמוד 7 והילך, שם מופיעות הטבלאות שמסכמות את תוצאות המחקר.
מה שמעניין בטבלאות הללו אינם הנתונים, אלא דווקא התיאור של הנתונים בכותרת.
בתיאור נכתב: excludes use with hands-free devices
כלומר – הם הסירו מהצגת הנתונים שלהם את האנשים שהשתמשו בדיבוריות ואוזניות. ומה שאני שואל את עצמי (בקול רם) זה מדוע.
הנה הניחוש שלי (זה רק ניחוש, אני לא יודע באמת): אני מנחש שהם הסירו את הנתונים הללו, מכיוון שהנבדקים שהשתמשו בדיבוריות ואוזניות דיללו להם את האפקט. הם רצו לסיים את המחקר עם איזשהם תוצאות ברורות, והוספת הנבדקים הללו יצרה להם בעיה משמעותית בהצגת התוצאות.
המשמעות של זה עשויה להיות (אבל לא בהכרח), ששימוש באוזניות או דיבוריות מגינות על הסכנה הפוטנציאלית לסרטן כתוצאה מהשימוש בסלולרי.
האם זה באמת כך? אני לא יודע. בשביל זה הרי צריך לעשות מחקר…

ולפני שנסיים – מה זה בעצם סיכון מוגבר ב- 40% ??

(פה הכביש נהיה קופצני, ראו הוזהרתם)

סוג המחקר שמתואר בכתבה הוא של case control study (אחת משיטות המחקר היותר קלות, אך גם הרבה יותר בעייתיות, במחקר אפידמיולוגי).
שזה אומר – תמצאו לנו חולים (בסרטן מוח), אז תמצאו אנשים בריאים שדומים לחולים. ואז נשווה את פרופורציות השימוש של כל קבוצה בסלולרי. אם אחוז
זהו מדד לקורלציה בין הסרטן לשימוש בסלולרי.
המדד שבו השתמשו במחקר כדי לתאר "עליה בסיכון" מכונה odds ratio (אפשר לקרוא עליו עוד, הרבה, כאן)
לדוגמא: נניח שיש לנו 150 חולי סרטן. 50 מהם השתמשו בטלפון סלולרי למול 100 שלא השתמשו.
לעומתם, היו לנו 125 אנשים בריאים (הביקורת), 25 השתמשו בסלולרי למול 100 שלא השתמשו.
במצב כזה, ה- OR יהיה 50/100 ואת זה נחלק ב- 25/100 סך הכל אנחנו מקבלים OR = 2.
כלומר, בדוגמא שהבאתי, יהיה סיכון גדול יותר למשתמשי סלולרי בקבלת סרטן.

אבל המדד שמעניין אותנו לדבר עליו איננו ה- OR אלא ה- RR.
RR (או Relative Risk), משמעותו מדד ל"סיכון יחסי" המשמעות שלו (שהיא זו שמעניינת אותנו) היא מהו היחס בין אחוז החולים בסרטן אצל המשתמשים בטלפון סלולרי, חלקי אחוז החולים בסרטן אצל הלא משתמשים בטלפון סלולרי.
או במילים אחרות, כמה יותר חולים יהיו לנו בסרטן, בגלל שהם השתמשו בטלפון סלולרי.
אז לדוגמא, אילו ה- RR היה שווה ל- 2, זה היה אומר שאם כולם משתמשים בטלפונים סלולרים, אז חצי מהמקרים שחלו בסרטן היו יכולים להיחסך, אם לא היינו משתמשים בטלפונים סלולרים.
אבל רגע, מה שהמחקר שלנו בדק היה OR, לא RR. אז איך אפשר לקשר בין האחד לשני?
התשובה היא שבמקרים שבהם מדובר במחלה מאד נדירה (לדוגמא… סרטן מוח), אז ה- OR הוא די קרוב ל- RR (עוד על כך אפשר לקרוא כאן).
לכן, במקרה של המחקר שלנו, אם הם קיבלו OR של 1.4 עבור שימוש כבד בסלולרי ( של חצי שעה ביום), למול אי-שימוש, אז מכיוון שסרטן המוח זה דבר נדיר הם יכולים לומר שבעצם יש להם אומדן לא רע לכך שה- RR = 1.4.
כלומר, שבאוכלוסיה של משתמשי הטלפון הסלולרי יהיופי 1.4 יותר חולים בסרטן המוח מאשר היו אצלם אילו כל האוכלוסיה לא הייתה משתמשת בסלולרי.

דוגמא נוספת, ה- RR (סיכון יחסי) לקבלת סרטן ריאות עבור אנשים מעשנים הוא 23.3 (לפחות לפי הנתונים שכאן).
כלומר, יש פי 23.3 יותר מקרים של סרטן ריאות אצל אנשים שמעשנים, מאשר היה אילו הם לא היו מעשנים.

אז לסיום – לדאוג או לא??

באופן עקרוני – לדאוג. באופן ספציפי – לא לדאוג.

המחקר שבוצע לא יודע לומר לנו מה המצב.
הוא רק מצביע על כיוון שיש טעם לחקור אותו יותר לעומק.
האם אני חושב שכדאי לחקור את הנושא יותר? בהחלט! היות ותפוצת השימוש בסלולרים היא עצומה, הבדיקה של אופן השימוש הבריא במכשיר הזה היא הכרחית.
האם אני חושב שהממצאים של המחקר הנוכחי מעידים על סכנה? לא. הם מעידים על אפשרות תאורתית פוטנציאלית לסכנה, מה שאומר שצריך לבדוק – זה לא אומר שיש סכנה. באותה מידה בדיוק, המחקר הנוכחי גם גילה שאנשים שמשתמשים בסלולרי באופן קל עד בינוני הם בעלי פחות סיכון לחלות בסרטן המוח מאשר אנשים שלא משתמשים בסלולרי בכלל (בחיי, תפתחו את המחקר ותקראו). החוקרים חושבים שהסיבה לזה היא בחירה מוטה של קבוצת הביקורת אליה הם השוו את החולים (בעיה ידועה במחקרים מקרה-ביקורת). אז האם זה אומר ששימוש בסלולרי (אבל לא יותר מידי) בעצם מגן על אנשים מסרטן מוח (מאשר אם הם לא היו משתמשים במכשיר בכלל). גם כן לא – הם מעידים על אפשרות תאורתית פוטנציאלית לזה שיש פה גורם מגן.
איך יודעים? מבצעים מחקר מסוג שהוא בעל תיקוף מדעי חזק יותר מאשר מקרה-ביקורת (לדוגמא, מחקר עוקבה כבר יהיה שיפור).

* להזכיר: אינני רופא, פסיכולוג, כירפורקט, פסיכופט או ניורולוג – אין במאמר זה משום מתן המלצה בעלת יומרה רפואית משום סוג שהוא. רוצים עצה מקצועית – אנא פנו למומחה ושלמו לו עבורה :-)

יום עיון בנושא "יישומי סטטיסטיקה בשיווק"

אני אהיה שם.

הכנס השלישי של הקבוצה הישראלית ליישומי סטטיסטיקה בתעשייה ובעסקים – isENBIS

יום עיון בנושא "יישומי סטטיסטיקה בשיווק"

יום ראשון, י"א באייר תש"ע, 25 באפריל 2010

קריית האוניברסיטה הפתוחה ע"ש דורותי דה רוטשילד

אולם נוידרפר, דרך האוניברסיטה 1, רעננה

(הכניסה לחניה מרחוב ויצמן – צומת רעננה צפון; החניה ללא תשלום)

כניסה חופשית עם רישום מוקדם באתר http://www.kpa.co.il/isENBIS

15:00 – 14:30  התכנסות ורישום

מנחה: פרופ' דוד שטיינברג חוג לסטטיסטיקה וחקר ביצועים, בית הספר למדעי המתמטיקה, אוניברסיטת תל אביב

15:10 – 15:00 ברכות: פרופ' עירד בן גל, המחלקה להנדסת תעשייה, אוניברסיטת תל אביב,ד"ר יובל כהן, הנדסת תעשיה וניהול האוניברסיטה הפתוחה

15:40 – 15:10 רות לוריא, מנהלת המחקר, מחלקת השיווק הקמעונאי, קוקה קולה: "אם לא תשאל, איך תדע?"

16:10 – 15:40 ד"ר יובל כהן, ראש התוכנית להנדסת תעשייה וניהול, האוניברסיטה הפתוחה:"שיווק חבילות הנחה לקמעונאים עם ביקוש אקראי"

16:30 – 16:10 הפסקת קפה

17:00 – 16:30 פרופ' רון קנת KPA בע"מ, ואוניברסיטת טורינו, נשיא לשעבר של  ENBIS:"פעילויות מתוכננות של ENBIS"

17:30 – 17:00 מנו גבע, מנכ"ל מכון המחקר "מדגם" ויו"ר איגוד מכוני המחקר הישראלי:"סקרי דעת קהל ומחקרי שוק באינטרנט"

18:00 – 17:30 ד"ר דיאמנטה בנסון-קרעי, האוניברסיטה הפתוחה: "חיזוי חדירה לשוק של מוצרים חדשים בעלי עקומת ביקוש בצורת S באמצעות שיטת RMM (Response Modeling Methodology)"

פרטים והרשמה: KPA בע"מ, ת"ד 2525 רעננה 43100,

טל':  7408442 – 09, פקס': 7408443- 09  דוא"ל: info@kpa.co.il

ענת קם – הקשר בין עמדות פוליטיות לדעות על הפרשה

(אם הגעתם בשביל התוצאות, הם מופיעות בסוף הפוסט). כנסו לכאן אם ברצונכם למלא את השאלון ולהופיע שוב בניתוח המעודכן

רקע – ענת קם

חברי המלומד (והמתפלסף) טל ירון לקח על עצמו באחרונה לכתוב באריכות על ענת קם.
למי שלא הספיק להתעדכן, זה בסדר – אתם לא אמורים לדעת על זה.
ממה שהתפרסם בעיתונות ה"זרה", בארץ,  בטוויטר, בויקיפדיה (כלומר, הערך על ענת קם נמחק, אבל הדיון על המחיקה נשאר) ובבלוגוספירה בכלל (לדוגמא: פה, כאן, שם, וגם ב |||||, וגם זה וכמובן הוא וגם זה, ובטח שכחתי כמה…), נראה שהסיפור הוא ש (ואני מצוטט את טל ירון):
בהמלצת חברים – הסרתי את הטקסט עד להסרת צו איסור הפירסום

ענת קם, שהיתה חיילת בפיקוד מרכז, העבירה לאורי בלאו, כתב הארץ כאלף מכתבים, המסווגים סודי-ביותר. מתוך אלף המכתבים, הצליח הכתב אורי בלאו להשיג אישור מהצנזור לפרסם שני מכתבים. המכתבים מכילים פקודות שנתן יאיר נווה, אלוף פיקוד מרכז, לחיסול ממוקד של מבוקשים שלא לצורך, בניגוד להוראות בג"צ בעניין. ככל הנראה, מערכת הבטחון פעלה כדי לאתר את מקור המידע של בלאו. בדצמבר 2009, ענת קם, שהייתה כבר עיתונאית בוואלה, נתפסה. אורי בלאו, הכתב, ברח לבריטניה, כדי לחמוק מעדות במשפטה של קם. [...]
החל מאוקטובר הוציאה מדינת ישראל (כנראה לבקשת השב"כ) בבית משפט השלום צו איסור פרסום על הפרשה.[...] אף עיתונאי לא הסכים לפרוץ את מעגל השתיקה [...]. אבל הסוד לא נשמר זמן רב, מרגע שמספר בלוגרים לקחו על עצמם את היוזמה לפרסם את המידע. מרגע שזה קרה, הרשתות החברתיות התעוררו והתפוצצו במידע על הסיפור. והוא זכה לתפוצה רחבה מאד באינטרנט (חפשו בגוגל "ענת קם" ותראו כמה תוצאות תקבלו על הנושא).

(עידכון 8.4.2010: לינק למאמר בווינט בנושא)

רקע – סקר הדעות של הקוראים לגבי ענת קם

ומה בין זה לסטטיסטיקה?
ובכן, עושה רושם שהדעות בציבור לגבי הפרשה (שכמובן אף אחד לא שמע עליה), הן חלוקות. יש אנשים שהם בעד ענת קם ויש אלו שנגד, בעד אורי בלאו, ויש נגד, בעד יאיר נווה, ויש נגד.
ההגיון דורש שיהיה קשר בין העמדות הפוליטיות העקרוניות של האנשים לבין התפיסה שלהם את הפרשה המסויימת הזו. את הקשר הזה ביקש טל ירון לגלות באמצעות עריכת "סקר משפט ציבורי" בנושא של ענת קם וסביבותיה. נכון לרגע זה כ- 78 איש ענו על הסקר (אני, אגב, לא עניתי). ואת הניתוח הסטטיסטי של הסקר נתבקשתי לבצע – ואבצעו כאן כעת.

ניתוח סטטיסטי של הסקר

אז לפני שנפנה להציע ניתוח של הסקר, נאמר מילה על מה אפשר לקבל ממנו: הסקר לא מייצג נאמנה אף "קהל" מלבד קהל הקוראים של הבלוג של טל ירון. להניח שהקהל הזה איכשהו מייצג את האוכלוסיה הרחבה זה יהיה גוזמה לא ריאלית. גם הקשרים הסטטיסטיים שיתקבלו בין המשתנים עשויים להיראות אחרת אילו הסקר היה מוצג לאוכלוסיה הרחבה (ואני לא אכנס היום להסבר מדוע), מה שאומר שהסקר הזה הוא בעיקר לשם השעשוע, וקבלת התחושה הבסיסית של איך הקשרים בין המשתנים עשויים להיראות.

הסקר מורכב מארבע שאלות העוסקות בעמדות הפוליטיות של אנשים וב-5 שאלות העוסקות בדעות של האנשים על הפרשה של ענת קם.
טל ירון ביקש שהניתוח שלי יענה על שתי שאלות:
1) האם יש קשר בין השקפת העולם למצב גיבורי הסיפור
2) האם יש קשר למפלגה ולהשקפת העולם

כדי לענות על השאלות הללו, הרי שלא יעזור לנו הסתכלות חד ממדית על כל אחד מתשעת המשתנים שלנו (זה מה שגוגל מציע, וזה לא עוזר במיוחד לענות על השאלות).
אף על פי כן, הנה תוצאות הניתוח על פי גוגל (לחצו על התמונה לגירסה מוגדלת)

anat kam - google spraedsheet analysis - 1

אני לא התייחס בהרחבה לתוצאות הללו, אתם מוזמנים לעבור על התמונה ולהתרשם בעצמכם.

ניתוח סטטיסטי של הסקר – ניתוח דו-ממדי – שיקולים סטטיסטיים

כדי לענות על השאלה שטל ירון שאל, עלינו להשוות בין התוצאות במשתנה אחד לתוצאות באחר. אני אתחיל מלתאר כמה מהשיקולים בכלים הסטטיסטיים בהם השתמשתי ואז אציג את התוצאות.
הכלים בהם נשתמש כאן הם:
0) גוגל דוק – היכולת שלי לבצע את הניתוח הסטטיסטי הזה בזריזות ובקלות, מסתמך על זה שהנתונים נאספו (על ידי גוגל-טפסים) הישר לתוך גליון שאותו יכולתי לשאוב לתוך R (התוכנה הסטטיסטית האהובה עלי). כתבתי עוד על החיבור בין השניים בפוסט: Google spreadsheets + google forms + R = Easily collecting and importing data for analysis
1) קורלציות – אנחנו רוצים לראות מהי הקורלציה בין כל צמד משתנים. נשים לב שהיות והמשתנים שלנו הם קטגוריאליים סדורים, הרי שהקורלציה היותר מתאימה כאן היא זו של ספירמן (הא-פרמטרית) ולא זו של פירסון (שמתאימה לנתונים רציפים).
2) תרשימי פיזור – נשים לב שבמקרה שלנו תרשימי פיזור הם אתגר. מדוע? כיוון שכאשר מציגים תרשים פיזור עבור זוג משתנים עם 5 רמות בלבד, צפוי שנקבל הרבה נקודות שיעלו אחת על גבי השניה. ואז השאלה היא כיצד להציג מצב כזה. אני בחרתי לפתור זאת באמצעות שינוי גודל הנקודות (ככל שיש יותר נקודות במקום מסויים, כך גודל הנקודה המייצגת תהיה גדולה יותר). וגם, על ידי הוספה של קו מגמה מוחלק (LOWESS, למי שהיה סקרן לדעת).
3) השילוב הרב ממדי – השילוב של הצגת הרבה זוגות של השוואות (בהקשרנו) מתבצע על ידי גרף שנקרא "תרשים מטריצת-פיזור של קורלציות". הסברתי עוד כיצד אני מייצר את התרשים הזה ב- R בפוסט Correlation scatter-plot matrix for ordered-categorical data . אגב, נשים לב שבמקרה שמישהו לא ענה על אחת השאלות, החלטתי להסיר את התשובה שלו מהתרשים (המדקדקים היו ממלאים את הנתון שלו בנתון זמני, אבל החלטתי לוותר על זה ולהציג רק אנשים שהשיבו על כל השאלות. כמו כן, התעלמתי מסוגיית ההשוואות המרובות – עמכם הסליחה)
(הערה אחרונה – שימו לב שהניתוח שלי הצליח לשאוב את העברית של גוגל-מסמכים לתוך התוכנה R, ולהציג אותה בפלט. בהזדמנות קרובה אני אכתוב פוסט שבו הסברתי איך עושים זאת. אך לבינתיים תדעו שזה אפשרי וגם שזה לא טריוויאלי לעשות…)

ועכשיו, לתוצאות -
להמשיך לקרוא

העלייה ה"מרשימה" (אך לא מובהקת סטטיסטית!) בקוראי מעריב

פוסט משותף עם עידו קינן.

בסופ"ש האחרון פנה אלי עידו וביקש ממני התייעצות קטנה. הוא נתקל בידיעה בעיתון מעריב, המדווחת על "עלייה מרשימה בחשיפה לעיתון" בהתאם לסקר TGI.
עליה מרשימה בחשיפה לעיתון מעריב

היות ועמדו לרשותו קובץ הנתונים של סקר TGI (להנתאכם, הנה הוא: TGI-media ), הוא התייעץ איתי האם המסקנה של עיתונאי מעריב תקפה או לא. מהסתכלות זריזה בקובץ, ראיתי שהתשובה היא חד משמעית – לא.

הנתונים בקובץ מספרים לנו שבמדד החצי שנתי, יש ירידה הדרגתית מ-16.6% (חציון 2 2007) ל-15.1% (ח1 2008) ל-13.8% (ח2 2008), ואז עליה קלה ל-14.4% (ח1 – 1 200). גם העליה הקלה בחציון האחרון נמצאת בטווח הטעות של הנתונים, היות שרווחי הסמך הם של אחוז אחד לכל אחד מהמספרים, בעוד שהעלייה הייתה של פחות מאחוז.

הנתונים שבעיתון מציגים את השינוי באחוזים, אבל לא את מידת הוודאות שבהבדלים (כלומר, את מידת הוודאות שלנו שאם נקח מדגם אחר נקבל תוצאות דומות). הגרף שלפניכם (אשר נוצר בעזרת התוכנה הסטטיסטית R), מציג את השינוי שנעשה באחוזי הקוראים אך משלב בתוכו את רווחי הסמך:

the big non rise

הגרף מדגים היטב שההבדל באחוזים איננו מובהק סטטיסטית, היות ורווחי הסמך "עולים" האחד על גבי השני. ואינם ניפרדים ממש בגובהם.

כדי לעשות מבחן סטטיסטי תקף, צריך להשתמש בנתונים הגולמיים ולבצע עליהם מבחן סטטיסטי מתאים (אפשר מבחן להפרש פרופורציות או מבחן חי בריבוע, הם שקולים מבחינת הערך P/רמת-המובהקות שהם יפיקו). הנה הטבלה של הנתונים (לקוחה מהנתונים של הסקר):

קוראים מעריבלא קוראים מעריב
יולי-דצמבר 2008 690.9664316.034
ינואר-יוני 2009721.0084285.992

הפעלה של מבחן חי בריבוע על הנתונים מביא לערך P של 0.40.
או במילים אחרות – אין שינוי מובהק באחוז הקוראים בין התקופה האחת לאחרת.

לסיכום: מעבר לבעיות המובנות בסקר TGI (כפי שעידו מציין בפוסט שלו), הבעיה אותה חשפנו כאן היא דיווח על מספר (אומדן לאחוז החשיפה לעיתון), מבלי התחשבות במידת הרעש של הנתונים (רווחי הסמך של האומד). חוסר התחשבות כזו מאפשרת להגיע למסקנות שגויות ביותר, ועל זה קיבלנו דיווח ממעריב. מזכיר קצת את הדיווח הלקוי שהתקשורת סיפקה לסקרי הבחירות האחרונות.

ועל זה כבר אמר מרק טווין הרברט וולס (H. G. Wells) - "החשיבה הסטטיסטית בעידן המודרנית היא מיומנות הכרחית לאזרחות טובה"