हिट गणना; नहीं मिस

हमारे जीवन में विभिन्न बिंदुओं पर, हमने सभी को पढ़ा है या उन्हें बताया कि कैसे किसी ने अपने जीवन का कुछ हिस्सा बदल दिया है। इनमें से कुछ (या उनमें से कम से कम भिन्नताएं) संभवतः परिचित ध्वनि: "मैंने अपने आहार से रोटी काट दिया और सभी को अचानक इतना अच्छा लगा"; "एमी ने घरेलू भोजन आहार की गोलियां बेचने से काम करने का भाग्य बनाया"; "डॉक्टरों के बाद पता नहीं था कि मेरे साथ क्या गलत था, मैंने इस चाय पीने शुरू कर दिया और मेरी अचानक जांच हो गई" इस तरह की कहानियों का पूरा मुद्दा यह है कि इन मामलों में एक आकस्मिक लिंक आज़माएं: (1) रोटी खाने से आपको बीमार महसूस होता है, (2) आहार की गोलियां बेचना पैसा बनाने का एक अच्छा तरीका है, और (3) चाय उपयोगी है संक्रमण का मुकाबला करने के लिए इनमें से कुछ या सभी बयानों का सच हो सकता है, लेकिन इन कहानियों के साथ वास्तविक समस्या उन आंकड़ों की कमी है जिन पर वे आधारित हैं। यदि आप उन बयानों के बारे में अधिक निश्चित होना चाहते हैं, तो आप अधिक जानकारी चाहते हैं। ज़रूर; आप उस चाय पीने के बाद बेहतर महसूस कर सकते हैं, लेकिन अन्य 10 लोगों के बारे में क्या समान चाय पीते हैं और कोई परिणाम नहीं मिलता है? बाकी सभी लोग आहार की गोलियां बेचते हैं जो दिन के वित्तीय छेद में थे और कभी भी इससे बाहर नहीं चले, क्योंकि यह वास्तव में एक घोटाला था? यदि आप उन बयानों की सच्चाई के मूल्य को समझने के करीब लेना चाहते हैं, तो आपको डेटा को संपूर्ण रूप में समझने की आवश्यकता है; सफलता की कहानियां और विफलता की कहानियां हालांकि, आहार गोलियों को बेचने से किसी को अमीर नहीं होने की कहानियां काफी हद तक चलती नहीं हैं, इसलिए दिन की रोशनी नहीं दिखती है; कम से कम शुरू में नहीं उपाख्यानों का यह पहलू द दीयन द्वारा कई साल पहले की रोशनी बना था (और क्लिकहोले ने हाल ही में खुद को अपना लिया था)।

Flickr/Lloyd Morgan
"पहले तो वह विफल रहा, लेकिन कुछ सकारात्मक सोच के साथ वह फिर से विफल रहा"
स्रोत: फ़्लिकर / लॉयड मॉर्गन

ये उपाख्यानों अक्सर असफल (अनदेखी) की अनदेखी करते हुए सफल मामलों (हिट) पर स्पॉटलाइट का प्रयास करते हैं और परिणामस्वरूप एक पक्षपातपूर्ण तस्वीर बनती है कि कैसे चीजें बाहर निकल जाएंगी। वे हमें सत्य के करीब नहीं मिलते हैं मनोवैज्ञानिक अनुसंधान के निर्माण और उपभोग करने वाले अधिकांश लोग सोचते हैं कि मनोवैज्ञानिक इन प्रकार के उपाख्यानों से आगे बढ़ते हैं और दिमाग में कैसे काम करता है, इस बारे में उपयोगी अंतर्दृष्टि उत्पन्न करते हैं, लेकिन हाल ही में उठाए गए बहुत से चिंताओं को ठीक से तय किया गया है कि वे औसत पर कितना आगे बढ़ते हैं, मोटे तौर पर प्रजनन परियोजना के परिणाम के कारण। मनोविज्ञान अनुसंधान के तरीके के बारे में उठाए गए कई मुद्दे हैं: या तो विशेष राजनीतिक और सामाजिक स्थितियों (जो प्रयोगात्मक डिजाइनों और सांख्यिकीय व्याख्याओं को विचलित करता है) के लिए वकालत के रूप में या जिस तरह से डेटा को छेड़छाड़ या उस पर ध्यान आकर्षित करने के लिए चुनिंदा तरीके असफल भविष्यवाणियों को स्वीकार किए बिना सफल डेटा नतीजा साहित्य में काफी संख्या में झूठी सकारात्मक और अधिक वास्तविक असली हैं।

हालांकि इन चिंताओं की पुष्टि की जा रही है, लेकिन समस्या की मात्रा का आकलन करना मुश्किल है। आखिरकार, बहुत कम शोधकर्ता बाहर आये जा रहे हैं और कहते हैं कि वे अपने प्रयोगों या डेटा को हेरफेर करने के लिए उन परिणामों को खोजने के लिए चाहते थे, जिनसे वे चाहते थे क्योंकि (ए) यह केवल अपने करियर को नुकसान पहुंचाएगा और (बी) कुछ मामलों में, उन्हें यह भी पता नहीं है कि वे यह कर रहे हैं, या यह कि वे क्या कर रहे हैं गलत है इसके अलावा, क्योंकि अधिकांश मनोवैज्ञानिक शोध पूर्व-विनियोजित और निष्फल निष्कर्षों को प्रकाशित नहीं करता है, इसलिए शोधकर्ताओं ने साहित्य को पढ़कर सिर्फ एक मुश्किल उपक्रम प्राप्त करने की उम्मीद की है (लेकिन नहीं)। शुक्र है, फ्रेंको एट अल (2016) से एक नया पेपर कुछ आंकड़े लाता है कि उसमें कितना अंडरपोर्टिंग चल रहा है। हालांकि यह डेटा इस विषय पर किसी भी तरह से अंतिम शब्द नहीं होगा (मुख्यतः उनके छोटे नमूना आकार के कारण), वे सही दिशा में कुछ पहले चरण प्रदान करते हैं।

मनोविज्ञान प्रयोगों के एक समूह पर फ्रैंको एट अल (2016) रिपोर्ट जिनके प्रश्नावली और डेटा सार्वजनिक रूप से उपलब्ध कराए गए थे। विशेष रूप से, ये सोशल साइंसेज (टीईएसटी) के लिए टाइम-शेयरिंग प्रयोगों से आते हैं, एक एनएसएफ कार्यक्रम जिसमें राष्ट्रीय प्रयोग-जनसांख्यिकी सर्वेक्षणों में ऑनलाइन प्रयोग एम्बेडेड होते हैं। उन शोधकर्ताओं ने जो कुछ सवाल पूछ सकते हैं, उन पर टीएएसएस की कठोर सीमा का उपयोग करने के लिए हमें बताया गया है, इसका अर्थ है कि हमें यह अपेक्षा करना चाहिए कि वे सबसे अधिक सैद्धांतिक रूप से सार्थक लोगों के लिए अपने प्रश्नों को प्रतिबंधित करेंगे। दूसरे शब्दों में, हम काफी आश्वस्त हो सकते हैं कि शोधकर्ताओं के पास कुछ विशिष्ट भविष्यवाणियां थीं, जिन्हें वे प्रत्येक प्रयोगात्मक स्थिति और परिणाम माप के लिए परीक्षण करने की आशा रखते थे, और ये भविष्यवाणियां वास्तव में डेटा प्राप्त करने के पहले बनाई गई थीं। फ्रैंको एट अल (2016) तब टेसस स्टडीज को अंतिम रूप से प्रकाशित किए गए प्रलेखों के माध्यम से ट्रैक करने में सक्षम थे, यह देखने के लिए कि क्या प्रयोगात्मक मेहनती और परिणाम थे और जिनकी रिपोर्ट नहीं की गई थी। इसने लेखकों को पूर्वाभ्यास रिपोर्टिंग के लिए जांच करने के लिए 32 अर्द्ध-पूर्व-पंजीकृत मनोविज्ञान प्रयोगों के सेट प्रदान किए।

Flickr/Pat Kight
एक छोटा सा नमूना मैं लापरवाही से सभी मनोविज्ञान अनुसंधान के लिए सामान्यीकृत होगा
स्रोत: फ़्लिकर / पैट केट

पहला कदम प्रयोगात्मक परिस्थितियों और परिणाम चर की संख्या की तुलना करना था जो टीएएसएस अध्ययनों में मौजूद संख्या में प्रकाशित हुए थे, जो अंततः प्रकाशित पांडुलिपियों में आ गए थे (यानी लेखक ने रिपोर्ट किया कि उन्होंने क्या किया और वे क्या मापा?)। कुल मिलाकर, TESS अध्ययनों में से 41% अपनी प्रायोगिक शर्तों में कम से कम एक रिपोर्ट करने में विफल रहे; जबकि अध्ययन में 2.5 प्रयोगात्मक शर्तों के औसत थे, प्रकाशित पत्रों में केवल 1.8 का औसत बताया गया है। इसके अलावा, 72% पेपर अपने सभी परिणाम चर की रिपोर्ट करने में विफल रहे; जबकि प्रश्नावली में 15.4 परिणाम चर के औसत थे, प्रकाशित रिपोर्ट्स में केवल 10.4 का उल्लेख किया गया है, प्रयोगों में से केवल 1-इंच -4 में उन्होंने जो कुछ किया और जो उन्होंने मापा, हैरानी की बात है, इस पैटर्न के रूप में अच्छी तरह से रिपोर्ट प्रभाव के आकार के लिए बढ़ाया। सांख्यिकीय महत्व के संदर्भ में, औसत दर्जे की पी-वैल्यू महत्वपूर्ण (.02) थी, जबकि मध्य-रहित पी-मान (.32) नहीं था; रिपोर्ट के दो-तिहाई परीक्षण महत्वपूर्ण थे, जबकि रिपोर्ट के केवल एक-आगे परीक्षण थे। अंत में, प्रकाशित प्रभाव के आकार लगभग दो बार न मिलने वाले लोगों के रूप में बड़े थे।

एक साथ उठाया गया, जो पैटर्न उभरा है वह है कि मनोविज्ञान के शोध में प्रयोगात्मक मेहनत को कम किया जा रहा है, जो उपाय नहीं किए गए हैं, और छोटे प्रभाव भी कम हैं। यह लगभग कोई भी आश्चर्यचकित नहीं होना चाहिए, जिसने मनोविज्ञान शोधकर्ताओं या शोधकर्ताओं के पास बहुत समय बिताया है जिन्होंने बेकार निष्कर्षों (या, वास्तव में लगभग कुछ प्रकाशित करने का प्रयास किया है) प्रकाशित करने का प्रयास किया है। डेटा अक्सर गड़बड़ और असहयोगपूर्ण है, और लोगों को उन चीजों के बारे में पढ़ने में कम रुचि होती है जो काम नहीं करती (जब तक कि उन्हें उचित संदर्भों में रखा न जाए, जहां प्रभावों को पाने में विफलताएं वास्तव में सार्थक समझा जा सकती हैं, जैसे कि जब आप ' फिर से एक सिद्धांत के खिलाफ सबूत प्रदान करने की कोशिश कर रहा है)। फिर भी, इस तरह के चयनात्मक रिपोर्ट का नतीजा काफी बड़े पैमाने पर प्रतीत होता है कि रिपोर्ट किए गए मनोविज्ञान अनुसंधान की संपूर्ण विश्वसनीयता कभी कम हो जाती है, एक समय में एक झूठी सकारात्मकता।

तो इस मुद्दे के बारे में क्या किया जा सकता है? एक सुझाव जो अक्सर आसपास फेंका जाता है, यह संभावना है कि शोधकर्ताओं को अपने काम को अग्रिम में पंजीकृत करना चाहिए, यह स्पष्ट करता है कि वे कौन से विश्लेषण करेंगे और वे क्या भविष्यवाणियां करेंगे। वर्तमान डेटा में यह मामला (प्रकार) था, और फ्रेंको एट अल (2016) इस विकल्प का समर्थन करते हैं। यह लोगों को इसके प्रकाशित खातों पर निर्भर करने के बजाय अनुसंधान का आकलन करने की अनुमति देता है। हालांकि यह एक अच्छा सुझाव है, यह केवल साहित्य की स्थिति में सुधार के लिए अभी तक जाता है। विशेष रूप से, यह वास्तव में पत्रिकाओं की समस्या को पहले स्थान पर नल निष्कर्षों को प्रकाशित नहीं करने में मदद करता है, न ही यह जरूरी है कि शोधकर्ताओं ने अपने डेटा के बाद-तश्तरी का विश्लेषण करने और इसके अतिरिक्त झूठी सकारात्मक को बदलना बंद कर दिया। शायद इन मुद्दों को दूर करने का एक और महत्वाकांक्षी तरीका क्या है जो दिमाग में आता है, सामूहिक रूप से पत्रिकाओं को प्रकाशन के लिए कागजात स्वीकार करने के तरीके को बदलना होगा। इस वैकल्पिक प्रणाली में शोधकर्ता अपने लेख की एक रूपरेखा प्रस्तुत करने से पहले एक पत्रिका में जमा करेंगे, स्पष्ट कर रहे हैं (ए) क्या उनकी जोड़-तोड़ होगी, (बी) उनके परिणाम के उपाय क्या होंगे, और (सी) कौन सा सांख्यिकीय विश्लेषण वे काम करेंगे फिर, और यह महत्वपूर्ण है, या तो शोधकर्ता या पत्रिकाओं को पता है कि परिणाम क्या होंगे , या तो पेपर प्रकाशित करने के लिए निर्णय लिया जाएगा या नहीं। इससे नल परिणाम मुख्यधारा के जर्नलों में अपना रास्ता बना सकते हैं, जबकि शोधकर्ताओं ने स्वयं को फिर से शुरू करने की इजाजत दी है अगर चीजें अच्छी तरह से काम नहीं करती हैं संक्षेप में, यह सांख्यिकीय रूप से धोखा देने के लिए शोधकर्ताओं के कुछ प्रोत्साहनों को हटा देता है पत्रिकाओं का आकलन तब पर आधारित नहीं होगा कि क्या दिलचस्प परिणाम उभरे हैं, लेकिन इसके बजाय कि एक महत्वपूर्ण महत्वपूर्ण शोध प्रश्न पूछा गया है या नहीं।

Flickr/Scott
जो अच्छा है, इस बात पर विचार करते हुए कि कितने वास्तविक, मजबूत परिणाम दिखाई देने लगते हैं
स्रोत: फ़्लिकर / स्कॉट

उस सुझाव के लिए कुछ डाउनसाइड्स हैं, हालांकि। एक के लिए, योजना में कुछ समय लगेगा, भले ही हर कोई बोर्ड पर था। पत्रिकाओं को वास्तव में पूरा किया जा रहा पेपर के प्रकाशन या हफ्ते के महीनों के लिए एक पत्र स्वीकार करने की आवश्यकता होगी। पत्रिकाओं के लिए यह कुछ अतिरिक्त जटिलताएं पैदा करेगा क्योंकि शोधकर्ता समय-समय पर शोध को पूरा करने में कभी-कभी असफल हो जाएंगे या प्रिंट के योग्य नहीं होने वाले उप-सम-पत्रों को प्रस्तुत करेंगे, जो संभव प्रकाशन अंतराल को छोड़कर होगा। इसके अलावा, कभी-कभी इसका मतलब यह होगा कि एक जर्नल का मुद्दा मनोवैज्ञानिक शोध के क्षेत्र में किसी भी बड़े प्रगति के बिना चला जाता है (कोई भी इस समय कुछ भी नहीं मिला), जो प्रश्नों में पत्रिकाओं के प्रभाव के कारक पर नकारात्मक रूप से प्रभावित हो सकता है। दरअसल, यह आखिरी हिस्सा संभवत: प्रकाशन प्रणाली के लिए प्रमुख ओवरहाल बनाने में सबसे बड़ी बाधा है जो कि वर्तमान में है: अधिकांश मनोविज्ञान अनुसंधान संभवत: अच्छी तरह से काम नहीं करेगा, और इसका मतलब शायद कम लोगों को अंततः पढ़ने में और पढ़ने में दिलचस्पी होगी यह। हालांकि यह संभव है, मुझे लगता है कि रिक्त निष्कर्षों को वास्तव में सकारात्मक दरों के लिए उद्धृत किया जाएगा, जो दिखने के लिए बने रहेंगे, और उस जानकारी के अभाव में मुझे लगता है कि पत्रिकाओं को अपनी नीतियों को बदलने और लेने में बहुत रुचि रखते हैं वह जोखिम

संदर्भ: फ्रेंको, ए, मल्होत्रा, एन।, और साइमनोविट्स, जी (2016)। मनोविज्ञान प्रयोगों में अंडरपोर्टिंग: एक अध्ययन रजिस्ट्री से साक्ष्य। सामाजिक मनोवैज्ञानिक और व्यक्तित्व विज्ञान, 7 , 8-12