שלוש שגיאות שעמותות עושות במחקרים שלהן

אתם מכירים את זה. פעם בכמה זמן עמותה מפרסמת דו"ח או מחקר שעוסק בהיקף העוני בישראל, או באפליה בשכר, או במבקשי המקלט. הנושא משתנה, אבל הוא תמיד שנוי במחלוקת או טריגר לדיונים לוהטים. לעיתים לא רק הנושא שנוי במחלוקת, ובדיון על ערכים מתערבב דיון על נתונים. מי שמבקשים לערער על המסקנות יטילו בהם ספק. הבעיה מתעוררת כאשר הם צודקים.

בעבר, מצב כזה גרם לי לדילמה: מצד אחד, כל ביקורת בונה על הדו"ח תשמש כדי לתקוף את הנושא, וויכוח על הנתונים עלול להסיט את הדיון מהנושא העיקרי. מצד שני, הגנה על מסקנות חסרות או שגויות עלולה להביא אנשים להסתמך עליהן בעתיד, מבלי לדעת שהן בעייתיות. כשהתחלתי לייצר מסמכים כאלה, ולא רק לצרוך אותם, נעשיתי ער יותר לשגיאות האלה, לסיבות ולהשלכות שלהן. ברשומה זו, במיטב המסורת של המגזר השלישי, אני מעוניין להגביר את המודעות אליהן.

לפני שנתחיל, חשוב לי להבהיר שבכל הארגונים שעבדתי עבורם פגשתי אנשים מוכשרים ומקצועיים, שהקפידו על סטנדרט גבוה ונמנעו מרוב השגיאות שאני מזכיר כאן, הן מיוזמתם והן בזכות פידבק שאני נתתי. אני יודע שגם הרבה מהעוסקים במחקר ובכתיבה במגזר השלישי הם כאלה. למרות זאת, הבעיות שאני מתאר עדיין צצות לעיתים קרובות מדי. חשוב לי גם להבהיר שאני לא בא להעליב או להכפיש אף אדם או גוף, ומסיבה זו בחרתי לא לתת דוגמאות ספציפיות.

זו השיטה, טמבל

באקדמיה, כל מאמר שמציג תוצאות של מחקר חייב גם להציג באיזה אופן הן הושגו, והפרק "שיטות מחקר" מופיע לפני הפרק "תוצאות". זה מאפשר, לפחות על הנייר, לכל קורא לשחזר בעצמו את התוצאות, לתקף אותן ולחזק את הממצאים. בשיח השקיפות שמתגבר בשנים האחרונות, זו הייתה יכולה להיות השקיפות האולטימטיבית. מסר של "בואו, נסו אותי. ואם טעיתי – אתקן". פירוט שיטת העבודה נותן לכל מסמך משנה תוקף וערך מוסף. אלא שמחוץ לאקדמיה, לא כל הגופים ששים להסגיר את שיטות העבודה שלהם.

בעבודתי עם המגזר השלישי, הן בתור החוקר והן בתור מי שצורך את המחקרים, ניסיתי להציף את הנושא, ובדרך כלל נתקלתי באחת או יותר מן ההתנגדויות הבאות:

  • "זה יאפשר למתחרים להעתיק מאיתנו"
  • "אנשים רוצים לקרוא את הממצאים שלנו, הם לא רוצים לקרוא פרק שיטה מייגע"
  • "זה מחליש את הממצאים ואת המסר"

לטיעון הראשון יש אולי מקום במגזר הפרטי (וגם שם, אם הוא נלקח לקיצוניות הוא יוצר מצבים בעייתיים), אבל לא כאשר מדובר במוסד ללא כוונות רווח. להיפך, ברגע שגוף אחר עושה שימוש הוגן בשיטת העבודה שלך, הוא מפיץ ומקדם אותה ואת הנושא שלקידומו אתה פועל מלכתחילה. ברגע שהידע זמין לכולם, כולם יכולים לפעול על פיו. בטיעון השני יש מידה מסוימת של צדק. המטרה כאן היא שונה משל פרסום אקדמי, ורוב הקוראים לא כאן כדי לשחזר את התוצאות או להמשיך את המחקר. גם זה לא תרוץ להשמיט לחלוטין את החלק הזה. מה שנעשה לעיתים כפשרה, ומה שגם אני ממליץ עליו, זה לציין בקצרה דברים כאלה בהערות השוליים או בנספח, אבל לציין ולא להשמיט.

הטיעון השלישי לחלוטין לא מקובל עלי. הזכרתי שהצגה מסודרת של שיטת העבודה רק מחזקת את הממצאים, לא מחלישה אותם. אבל בתוך שיטת העבודה חבויים דברים שמי שהזמין את המחקר אולי היה מעדיף לא לחשוב עליהם. אולי, לדוגמה, מפורט שם שהממצאים תקפים רק במצב מאוד ספציפי, ובדו"ח הוא קיווה להציג ממצאים עם תוקף רחב. במקרה כזה, התייחסות לשיטה היא לא מה שמחליש את המסר, אלא המסר והממצאים חלשים מלכתחילה. זה מביא אותנו לשגיאה הבאה.

המטרה מקדשת את הנתונים

לפעמים במחקר אתה לא מוצא את מה שקיווית למצוא. לפעמים התמונה מורכבת יותר ממה שחשבת, או אפילו הפוכה. אדם שגם ישר וגם לא מושקע ריגשית, אידיאולוגית או כספית בציפיות האלה יקבל את המצב הזה. אבל כשהצלחת המאבק או המשך המימון שלך תלויים בזה, גם אדם ישר עלול להתפתות להציג רק נתונים תומכים ולהתעלם ממה שסותר, או, כמו שהזכרתי כבר, לא להזכיר שתוקף הממצאים מוגבל. רוב המוסדות, כמובן, לא נוהגים כך, אבל יש מספיק שבמודע או שלא במודע מפרסמים רק את מה שנוח להם או, כפי שנראה בשגיאה הבאה, מציגים דברים רק בצורה שנוחה להם.

מי שמנסה להעלות מודעות לבעיה או לקדם מטרה כלשהי, ומפרסם מידע חלקי או לא נכון, מחבל בה פעמיים. ראשית, החלטות שייעשו על סמך המידע הזה, עלולות להיות שגויות. שנית, כשבסופו של דבר יתברר שהנתונים לא נכונים, אנשים עלולים להשתכנע שהבעיה שמנסים לתאר כלל לא קיימת, גם אם מאוחר יותר יבואו עם נתונים אחרים ויראו שכן.

באקדמיה, ביקורת עמיתים (אנשים זרים מאותו התחום שבוחנים את המחקר ומחפשים בו בעיות) אמורה למנוע את כל זה, וגם לה אין מאה אחוזי הצלחה. כשאין ביקורת עמיתים והמסר הוא המטרה, המטרה עלולה לקדש את האמצעים.

שקרים יפים

גם אם המחקר שלך כולל את כל הנתונים הרלוונטיים ומכיל נספח מפורט על אופן העבודה, מה שאחרי זה כולם יזכרו זה החלק והיזואלי. גרפים ואינפוגרפיקה הם כלים מצוינים להפיכת מידע למסר חד וקליט (כמו לדוגמה הגרף שמחכה לכם בסוף הרשומה הזו…). לעיתים נעשה בהם שימוש טוב ולעיתים… לא כל כך. הצגה גרועה יכולה להטעות ולעוות את הממצאים ואת המסר, גם אם השאר נכון.

בגלל האימפקט שיש לצד החזותי, החלטתי להתייחס לכך כאל שגיאה נפרדת. להבדיל מהשגיאות הקודמות, יש לי פחות מה לחדש בנושא. הבלוג "שקרים יפים", שכותרת השגיאה מוקדשת לו, כבר מכיל דוגמאות מצוינות לאיך לא עושים את זה כמו שצריך.

סיכום

המגזר השלישי מלא בא\נשים מסורים, מקצועיים ובעלי כוונות טובות, שרוצים לדחוף מטרות שנראות להם חשובות, ולהעלות מודעות לבעיות אקוטיות. עם זאת, הצורך לייצר מסרים אקטואליים ורלוונטיים, שיישמעו על פני ההמולה הכללית (ולעיתים גם תמריץ כספי במידה ולמממנים יש אג'נדה נוקשה במיוחד), עלול להביא אותם לפרסם מידע פגום, שחותר תחת המטרות שהם מנסים לקדם. בתחילת הרשומה הזכרתי שהייתי בעבר בדילמה לגבי איך להגיב כאשר מתגלים ליקויים כאלה במסמך שמקדם מטרה שאני מאמין בה.

הדילמה נגמרה אחרי שהתחלתי בעצמי לפרסם מחקרים ולהגן עליהם. אם אתקל בעבודות לקויות בנושאים שיקרים לליבי, לא אהסס בעתיד לבקר אותן ולפרק אותן לגורמים, גם מעל בלוג זה. הביקורת נעשית דווקא מתוך סולידריות עם מאבקים שאני מאמין בהם. מתוך רצון להציף בעיות על ידי עובדות ועל נתונים שיילקחו ברצינות. ולקוראות ולקוראים אני מציע להמשיך ולקרוא כל טקסט, גם אם אתם מסכימים איתו, עם גרגר של מלח.


הודעה חשובה: היום לפני שנה פירסמתי את הרשומה הראשונה בבלוג הזה, באכסניה הראשונה שלו בבלוגספוט. לא הייתי בטוח אם יהיו מי שיקראו, או אם אצליח לעמוד במכסת הרשומה-אחת-לפחות-בחודש שקבעתי לעצמי. אבל הנה אנחנו, שנה מאוחר יותר, מעל ומעבר לציפיות שהיו לי כשהתחלתי. בהזדמנות זו אני רוצה להודות לכל הקוראות והקוראים, ולכל מי שפירגנו, תמכו, העירו, שאלו שאלות ונתנו משוב. אני רוצה גם להודיע שהחלטתי לקחת את הבלוג לשלב הבא: רשומות ארוכות יותר ומעמיקות יותר, שמתפרסמות לעיתים קרובות יותר, סקירות, ניירות עמדה ואולי גם מחקר מקורי. כתיבת הבלוג נעשית בהתנדבות ודורשת השקעה. הרחבתו דורשת השקעה רחבה יותר. כאן אתם\ן נכנסים\ות לתמונה.

תימכו בבלוג

הגרף באדיבות חגילר

אני משיק היום קמפיין מימון המונים דרך Patreon, שמאפשר מתן תרומות מתחדשות ליוצרים. בדף שלי שם תוכלו לקבוע תרומה שתתחדש בכל פעם שאפרסם רשומה חדשה. הבלוג ימשיך להיות חינמי כמובן, אך אם אהבתם לקרוא אותו, אשמח לקבל את תמיכתכם\ן. תרומות נדיבות במיוחד יזכו בתמורות כמו הזכות לקבוע על מה אני הולך לכתוב וגישה לטיוטות של רשומות חדשות לפני כולם. מה שאפרסם ייכתב לפי אמות המידה שהצבתי ברשומה זו – נאה דורש, נאה מקיים!

מודעות פרסומת
פוסט זה פורסם בקטגוריה כלכלה, קידום עצמי, רשימות, עם התגים , , . אפשר להגיע ישירות לפוסט זה עם קישור ישיר.

2 תגובות על שלוש שגיאות שעמותות עושות במחקרים שלהן

  1. yoni6 הגיב:

    אחלה תמונה-ציור, מעולה 🙂

    לגבי התוכן,
    אני מרגיש שהיו לך דוגמאות בראש של דברים לא יפים ולא מנומסים בלשון המעטה שראית, אבל נמנעת מלכתוב עליהם מסיבות שונות וייתכן לגיטימיות. הבעיה היא שהאמירות הכלליות שכתבת משאירות אותי לפחת עם תחושה שקראתי עוגיית מזל או כתבת ואיי-נט שאומרת שכדי להיות בריא צריך לעשות ספורט ולאכול נכון. לו היית מציג דוגמאות מפתיעות/מרשימות של אנשים שחשבו שהם עושים ספורט ואכלו בריא אבל טעו, או אולי אנשי מכירות שמציגים את האוכל שלהם כבריא אבל משקרים לי, הייתי מתחבר הרבה יותר לעניין.

    במילים אחרות, זאת הקדמה סבבה לכתבה האמיתית שגרמה לך לכתוב את ההקדמה 🙂

    אהבתי

    • עמית הגיב:

      תודה רבה, הקרדיט על הציור מגיע למי שהזמנתי אותו אצלו 🙂

      זו באמת הקדמה – הקדמה לפעם הבאה בה ארצה לפרק לגורמים מחקר או דו"ח שתהיה לי בעיה איתו – ואני בטוח שתהיה כזו. חשוב לי לבסס קודם את המוטיבציה לזה, לקראת רשומות עתידיות, וספציפיות, בנושא.

      אהבתי

השארת תגובה

הזינו את פרטיכם בטופס, או לחצו על אחד מהאייקונים כדי להשתמש בחשבון קיים:

הלוגו של WordPress.com

אתה מגיב באמצעות חשבון WordPress.com שלך. לצאת מהמערכת / לשנות )

תמונת Twitter

אתה מגיב באמצעות חשבון Twitter שלך. לצאת מהמערכת / לשנות )

תמונת Facebook

אתה מגיב באמצעות חשבון Facebook שלך. לצאת מהמערכת / לשנות )

תמונת גוגל פלוס

אתה מגיב באמצעות חשבון Google+ שלך. לצאת מהמערכת / לשנות )

מתחבר ל-%s