मनोविज्ञान की रिसर्च रिपॉलिकेशन समस्या

अब तक, आपके में से बहुत से पुनरुत्पादन परियोजना के बारे में कोई संदेह नहीं है, जहां 100 मनोवैज्ञानिक निष्कर्षों को प्रतिकृति प्रयासों के अधीन किया गया था। यदि आप इसके बारे में परिचित नहीं हैं, तो इस प्रोजेक्ट के परिणाम क्षेत्र में शोध के एक छोर से कम नहीं थे: अपेक्षित 89 प्रतिकृतियां, केवल 37 प्राप्त हुईं और प्रभाव का औसत आकार नाटकीय रूप से गिर गया; विशेष रूप से सामाजिक मनोविज्ञान अनुसंधान इस संबंध में विशिष्ट रूप से बुरा लग रहा था। इससे पता चलता है कि, कई मामलों में, नमक के एक जोड़े के साथ कई मनोवैज्ञानिक निष्कर्ष लेने से अच्छी तरह से सेवा की जाएगी।

स्वाभाविक रूप से, यह कई लोगों को यह सोचने के लिए प्रेरित करता है कि किसी भी तरह से वे अधिक आश्वस्त हो सकते हैं कि एक प्रभाव वास्तविक है , इसलिए बोलना है। एक संभावित माध्यम जिसके माध्यम से आपके आत्मविश्वास को बढ़ाया जा सकता है या नहीं, प्रश्न में शोध में वैचारिक प्रतिकृतियां शामिल हैं या नहीं

ये मामलों का क्या उल्लेख है, जहां एक पांडुलिपि के लेखकों ने विभिन्न तरीकों के साथ एक ही अंतर्निहित चीज़ को मापने के लिए समर्पित कई अलग-अलग अध्ययनों के परिणाम की रिपोर्ट की है; यही है, वे एक्स, वाई, और जेड के तरीकों के साथ विषय ए का अध्ययन कर रहे हैं। यदि ये सभी सकारात्मक बनाते हैं, तो आपको अधिक आत्मविश्वास होना चाहिए कि असर वास्तविक है दरअसल, मेरे पास एक बार एक पेपर खारिज कर दिया गया है जिसमें केवल एक प्रयोग होता है। पत्रिकाएं अक्सर एक पेपर में कई अध्ययनों को देखना चाहते हैं, और ये शायद यही कारण है कि: एक ही प्रयोग निश्चित रूप से कई लोगों की तुलना में कम विश्वसनीय है।

Flickr/Michael Caroe Andersen
यह कहीं नहीं जाता है, लेकिन कम से कम यह इतना मज़बूती से होता है
स्रोत: फ़्लिकर / माइकल कैरो एंडर्सन

प्रतिकृति विफलता के अनजान मॉडरेटर खाते के अनुसार, मनोवैज्ञानिक शोध के निष्कर्ष संक्षेप में, अक्सर चंचल होते हैं। कुछ निष्कर्ष उस दिन के समय पर निर्भर हो सकते हैं जब माप लिया गया, नमूना देश, उत्तेजना सामग्री के कुछ विशेष विवरण, चाहे प्रयोगकर्ता पुरुष या महिला हो; जो तुम कहो। दूसरे शब्दों में, यह संभव है कि ये प्रकाशित प्रभाव वास्तविक हैं, लेकिन केवल कुछ विशेष संदर्भों में होते हैं, जिनमें से हम पर्याप्त रूप से अवगत नहीं हैं; इसका मतलब यह है कि वे अनजान चर द्वारा नियंत्रित किए गए हैं यदि यह मामला है, तो यह संभव नहीं है कि कुछ प्रतिकृति प्रयास सफल होंगे, क्योंकि यह काफी संभावना नहीं है कि सभी अद्वितीय, अज्ञात, और अनुचित मध्यस्थों को भी दोहराया जाएगा। यह वह जगह है जहां वैचारिक प्रतिकृतियां आती हैं: यदि एक पेपर में एक ही विषय का अध्ययन करने में दो, तीन या अधिक अलग-अलग प्रयास होते हैं, तो हमें उम्मीद करनी चाहिए कि जिन प्रभावों को वे बदलते हैं वे संदर्भों के बहुत ही सीमित सेट से आगे बढ़ने की अधिक संभावना रखते हैं और उन्हें दोहराना चाहिए ज्यादा तत्परता से।

ये प्रतिकृति विफलताओं को समझाने के लिए एक चापलूसी परिकल्पना है; वहाँ सिर्फ पर्याप्त प्रतिकृति prepublication पर नहीं जा रहा है, इसलिए सीमित निष्कर्ष प्रकाशित हो रहे हैं जैसे कि वे अधिक सामान्यीकृत थे कम चापलूसी परिकल्पना यह है कि कई शोधकर्ता, एक बेहतर शब्द की कमी के कारण, बेईमान अनुसंधान रणनीति का प्रयोग करके धोखा दे रहे हैं। डेटा एकत्र करने के बाद ये रणनीतियां शामिल हो सकती हैं, केवल प्रतिभागियों को इकट्ठा करते हैं, जब तक डेटा का कहना न हो कि शोधकर्ता क्या चाहते हैं और तब रोकते हैं, अलग-अलग समूहों में विभाजित नमूने अलग-अलग समूहों तक एकत्रित होते हैं, और इसी तरह।

पत्रिकाओं का कुख्यात मुद्दा केवल नकारात्मक लोगों के बजाय सकारात्मक परिणामों को प्रकाशित करता है (धोखा देने के लिए एक बड़ा प्रोत्साहन बनाने के रूप में, ऐसा करने के लिए सजा सभी मात्र गैर-मौजूद हैं, जब तक कि आप सिर्फ डेटा नहीं बना रहे हैं)। यह इन कारणों से है कि शोध के पूर्व-पंजीयन की आवश्यकता होती है – स्पष्ट रूप से बताते हुए कि आप समय से आगे क्या देखना चाहते हैं – सकारात्मक निष्कर्षों को स्पष्ट रूप से छोड़ देता है अगर सिस्टम को धोखा देने में असफल रहने की वजह से प्रणाली को धोखा दिया जा रहा है, तो अधिक आंतरिक प्रतिकृतियां (वही लेखकों से) वास्तव में उस चीज़ की मदद नहीं करती हैं, जब बाहरी प्रतिकृति (बाहरी पार्टियों द्वारा आयोजित) की भविष्यवाणी करने के लिए ये वास्तव में बहुत मदद नहीं करते हैं। आंतरिक प्रतिकृतियां केवल शोधकर्ताओं को धोखा देने के कई प्रयासों की रिपोर्ट करने की क्षमता प्रदान करती हैं।

इन दो अनुमानों को पूर्ववत प्रजनन परियोजना से डेटा से संबंधित विभिन्न भविष्यवाणियां मिलती हैं: विशेष रूप से, अन्तर्निहित मॉडरेटर परिकल्पना सही होने पर आंतरिक प्रतिकृति युक्त अनुसंधान को सफलतापूर्वक दोहराए जाने की अधिक संभावना होनी चाहिए। यह निश्चित रूप से एक "यह खोज सच है" परिप्रेक्ष्य से एक अजीब स्थिति होगी यदि कई वैचारिक प्रतिकृतियां एकल अध्ययन पत्रों की तुलना में प्रतिलिपि प्रस्तुत करने योग्य साबित होने की अधिक संभावना नहीं थीं। यह कहने के समान होगा कि जिन प्रभावों को दोहराया गया है, उनके प्रभावों की तुलना में बाद में दोहराए जाने की संभावना नहीं है। इसके विपरीत, धोखाधड़ी परिकल्पना (या, अधिक नम्रतापूर्ण, संदिग्ध अनुसंधान प्रथाओं परिकल्पना) को इस विचार के साथ कोई समस्या नहीं है कि आंतरिक प्रतिकृति एकल अध्ययन पत्रों के रूप में बाह्य रूप से प्रतिकृति साबित हो सकते हैं; तीन बार पता लगाना धोखा देने का मतलब यह नहीं है कि यह एक बार धोखा देने से भी सच हो सकता है

Flickr/vozach1234
यह धोखा नहीं है; यह सिर्फ एक "संदिग्ध परीक्षण रणनीति" है
स्रोत: फ़्लिकर / वोज़ैक 1234

यह मुझे कुनेर्ट (2016) द्वारा एक नए पेपर के लिए लाया है, जो पुनरुत्पादन परियोजना से कुछ डेटा का पुन: विश्लेषण किया गया। 100 मूल पत्रों में से, 44 में आंतरिक प्रतिकृतियां शामिल थीं: 20 में केवल एक प्रतिकृति होती है, 10 को दो बार दोहराया जाता था, 9 को 3 गुना दोहराया जाता था, और 5 में तीन से अधिक होते थे। इन की तुलना 56 कागजात के साथ की गई थी जिसमें आंतरिक प्रतिकृतियां शामिल नहीं थीं, जो बाद में बेहतर रूप से दोहराएंगे (सांख्यिकीय महत्व को प्राप्त करने के द्वारा मापा जाएगा)। जैसा कि यह पता चला, आंतरिक प्रतिकृतियों वाले कागजात बाहरी रूप से लगभग 30% समय की प्रतिलिपि बनाते थे, जबकि आंतरिक प्रतिकृति के बिना कागजात बाह्य रूप से लगभग 40% समय को दोहराया गया था। न केवल आंतरिक रूप से दोहराए गए कागजात, काफी हद तक बेहतर थे, वास्तव में वे इस संबंध में वास्तव में थोड़ा बदतर थे। एक समान निष्कर्ष औसत प्रभाव के आकार के बारे में पहुंचा था: आंतरिक प्रतिकृतियों वाले कागजात बाद में इस तरह की प्रतिकृति के बिना कागजात के सापेक्ष, बड़े प्रभाव आकार में होने की संभावना नहीं थे।

यह संभव है, निश्चित तौर पर, उन पेपरों से अलग होते हैं जिनके अंतर्गत आंतरिक प्रतिकृतियां होती हैं, ऐसे कागजात से अलग होते हैं जिनमें ऐसी प्रतिकृतियां नहीं होतीं इसका मतलब यह संभव हो सकता है कि आंतरिक प्रतिकृति वास्तव में एक अच्छी चीज है, लेकिन उनके सकारात्मक प्रभावों को दूसरे, नकारात्मक कारकों से भी अधिक किया जा रहा है उदाहरण के लिए, विशेष रूप से उपन्यास परिकल्पना का प्रस्ताव रखने वाला कोई व्यक्ति अपने पेपर में अधिक आंतरिक प्रतिकृति को शामिल करने के इच्छुक हो सकता है, जो कि किसी एक का अध्ययन कर रहे हैं; उत्तरार्द्ध शोधकर्ता को अपने पेपर में अधिक प्रतिकृति की आवश्यकता नहीं है क्योंकि इसे प्रकाशित किया जाता है क्योंकि प्रभाव को पहले से ही दूसरे काम में दोहराया गया है

इस बिंदु की जांच करने के लिए, कुनरट (2016) ने ओपन साइंस सहयोग से 7 प्रजनन प्रजनन प्रत्याशियों का इस्तेमाल किया – अध्ययन, प्रभाव प्रकार, मूल पी-मान, मूल प्रभाव आकार, प्रतिकृति शक्ति, मूल प्रभाव की आश्चर्य की बात और चुनौती प्रतिकृति का आयोजन – यह आकलन करने के लिए कि आंतरिक-प्रतिकृति काम गैर-आंतरिक-प्रतिकृति नमूने से किसी भी उल्लेखनीय तरीके से भिन्न होता है। जैसा कि यह पता चला है, दो नमूनों एक के अलावा सभी कारकों पर समग्र समान थे: अध्ययन के क्षेत्र। मनोवैज्ञानिक मनोविज्ञान (54%) की तुलना में आंतरिक रूप से दोहराया जाने वाला प्रभाव सामाजिक मनोविज्ञान से अधिक बार (70%) आया। जैसा कि मैंने पहले उल्लेख किया है, सामाजिक मनोविज्ञान के कागजात ने अक्सर कम दोहराए हैं। हालांकि, अज्ञात मॉडरेटर प्रभाव विशेष रूप से किसी भी क्षेत्र के लिए समर्थित नहीं था जब व्यक्तिगत रूप से जांच की गई।

संक्षेप में, फिर, आंतरिक प्रतिकृति वाले पेपर को बेहतर प्रदर्शन करने की अधिक संभावना नहीं थी, जब यह बाहरी प्रतिकृतिओं में आया था, जो मेरे मन में, सुझाव देते हैं कि कहीं कुछ प्रक्रिया में बहुत गलत हो रहा है। संभवत: शोधकर्ता अपने डेटा को विश्लेषण और इकट्ठा करने के लिए अपनी आजादी का उपयोग कर रहे हैं, क्योंकि वे निष्कर्ष को देखते हुए उन्हें फिट दिखते हैं; शायद पत्रिकाएं उन लोगों के निष्कर्षों को प्राथमिकता दे रही हैं जो भाग्यशाली हैं, जिनके पास इसे सही मिला है। ये संभावनाएं, ज़ाहिर है, परस्पर अनन्य नहीं हैं अब मुझे लगता है कि कोई ऐसा तर्क जारी रख सकता है जो कुछ ऐसा हो जाता है, "कागज़ात जिसमें अवधारणात्मक प्रतिकृतियां होती हैं, कुछ और अलग करने की संभावना होती है, केवल एक अध्ययन के साथ कागज़ात के सापेक्ष," जो संभवतः ताकत की कमी की व्याख्या कर सकता है आंतरिक प्रतिकृति द्वारा, और जो कुछ भी "कुछ" सीधे वर्तमान पेपर में वर्णित वेरिएबल्स द्वारा टैप नहीं किया जा सकता है संक्षेप में, इस तरह का एक तर्क यह सुझाव देगा कि अनजान मॉडरेटर सभी तरह से नीचे हैं

Flickr/ynnil
"… और वह कछुआ एक बड़ा कछुए के खोल पर खड़ा है …"
स्रोत: फ़्लिकर / यिनल

हालांकि यह सच है कि इस तरह के विवरण वर्तमान परिणामों से इनकार नहीं किए जाते हैं, इसे किसी भी प्रकार के डिफ़ॉल्ट रुख के रूप में नहीं लिया जाना चाहिए, क्योंकि यह शोध दोहराने में असफल क्यों है। "शोधकर्ताओं ने धोखा दे रहे हैं" स्पष्टीकरण मुझे इस स्तर पर थोड़े अधिक प्रशंसनीय रूप से मारता है, बशर्ते कि अन्य स्पष्ट स्पष्टीकरण नहीं हैं कि क्यों असामान्य रूप से दोहराए गए कागजात प्रतिकृति के लिए बेहतर नहीं हैं। जैसा कि कुनर्ट (2016) स्पष्ट रूप से कहते हैं:

इस रिपोर्ट से पता चलता है कि, मनोवैज्ञानिक विज्ञान में व्यापक बदलाव किए बिना, इसे अनौपचारिक टिप्पणियों, उपाख्यानों और अनुमानित काम से अलग करना मुश्किल हो जाएगा।

इससे हमें इस बात की बात आती है कि इस मुद्दे के बारे में क्या किया जा सकता है समस्या को हल करने का प्रयास करने की प्रक्रियात्मक तरीके हैं – जैसे कि कुर्ट (2016) ने पत्रिकाओं को अपने परिणामों से स्वतंत्र पत्र प्रकाशित करने की सिफारिश की है – लेकिन प्रकाशन के सैद्धांतिक पहलुओं पर मेरा ध्यान केंद्रित है और जारी है। मनोविज्ञान में बहुत सारे कागजात शोधकर्ताओं को किसी भी अर्थपूर्ण ढंग से अपने निष्कर्षों की व्याख्या करने के लिए बिना किसी स्पष्ट आवश्यकता के प्रकाशित हो जाते हैं; इसके बजाय, वे आमतौर पर केवल अपने निष्कर्षों को पुन: विश्राम करते हैं या लेबल करते हैं, या वे जो मिलते हैं (जैसे "एक्स लोगों को अच्छा लगता है," या "आत्म-नियंत्रण कार्य भारी चयापचय नालियों हैं") के लिए कुछ जैविक रूप से अचूक काम करता है। मनोवैज्ञानिक शोध के लिए विकासवादी सिद्धांत के गंभीर और सुसंगत आवेदन के बिना, अप्रभावित प्रभाव प्रकाशित किए जाने और बाद में विफल करने में विफल हो जाता है क्योंकि यह बताने का कोई अन्य तरीका नहीं है कि कोई खोज समझ में आता है या नहीं। इसके विपरीत, मुझे यह समझ में आता है कि समीक्षक, पाठक और प्रतिकृति-द्वारा – यदि वे सब एक ही सैद्धांतिक रूपरेखा के भीतर तैयार किए गए हैं, तो संभवतः अधिक स्पष्ट रूप से देखा जा सकता है; इससे भी बेहतर, डिजाइन में समस्याओं को आसानी से पहचान और सुधार किया जा सकता है जिससे अंतर्निहित कार्यात्मक तर्क पर विचार किया जा सके, जिससे उत्पादक भविष्य के अनुसंधान के लिए आगे बढ़ सके।

संदर्भ: कुनेर्ट, आर (2016) आंतरिक वैचारिक प्रतिकृतियां स्वतंत्र प्रतिकृति सफलता को बढ़ाती नहीं हैं। मनोवैज्ञानिक बुलेटिन की समीक्षा , DOI 10.3758 / s13423-016-1030-9