द स्टैट्समैन ऑलवेज रिंग्स ट्वाइस

परिणामों के पैटर्न पर एक और नज़र डालें।

स्रोत: मेटेज कस्टलिक / शटरस्टॉक

आप में से जो लोग मनोविज्ञान के विज्ञान में दृश्य पर कुछ ध्यान दे रहे हैं, वे जानते हैं कि एक और दर्शक सड़कों पर घूम रहा है, और इसका नाम Failure to Replicate है । अधिकांश निष्कर्ष, पहरेदार और सतर्कता हमें बताते हैं, मनोविज्ञान, चिकित्सा में झूठे हैं, और भगवान जानते हैं कि और कहां है। कारण कई हैं, लेकिन सूची के शीर्ष के पास हमें मानव शीनिगन मिलते हैं। सामूहिक रूप से, इन शीनिगन्स को पी-हैकिंग के एपिथेट द्वारा जाना जाता है। ‘पी’ का तात्पर्य सांख्यिकीय महत्व परीक्षण से आपके द्वारा काटे गए पी-वैल्यू से है, और ‘हैकिंग’ एक ऐसे स्व (भ्रामक) व्यवहार के सूट को संदर्भित करता है जो पारंपरिक .05 सीमा से नीचे इन पी-मूल्यों को दबाता है ताकि जांचकर्ता घोषित कर सकें इस अर्थ में महत्वपूर्ण है कि शोर की अशक्त परिकल्पना प्राप्त आंकड़ों की संभावना को कम करती है।

यदि हम किसी एकल अध्ययन का मान पी के मान से कहें, तो .03, हम अकेले इस परिणाम से, निष्कर्ष नहीं निकाल सकते कि यह हैक किया गया था। हमें इस बारे में कुछ जानकारी की आवश्यकता होगी कि शोधकर्ता अपने व्यवसाय के बारे में कैसे गए, या हमें पैटर्न का खुलासा करने के लिए प्रतिकृति अध्ययन के परिणामों की आवश्यकता है। यदि प्रतिकृति में एक प्रयास है और यह p = .07 की पैदावार देता है, तो मूल खोज को शून्य घोषित करना उतना ही मूर्खतापूर्ण होगा जितना कि पहले अध्ययन के बाद शून्य परिकल्पना पर जीत की घोषणा करना होगा। अधिक डेटा (जैसा कि वे इन दिनों लिखते हैं) की जरूरत है।

• प्यार की एक प्रेरणादायक कहानी
• स्टिल्स ऑफ भरपूर रोमांस, यहां तक ​​कि 65 साल बाद भी
• एक सार्थक जीवन जीना
• 5 तरीके कम आत्म विश्वास आत्मविश्वास पैदा कर सकते हैं
• आपकी खुशी, और आपकी जिम्मेदारी

मान लीजिए कि हमारे पास कई प्रतिकृति अध्ययन हैं। अब कथानक मोटा हो गया। हम पी-वैल्यू के वितरण को देख सकते हैं और पी-वक्र विश्लेषण (साइमनोशन, नेल्सन, और सीमन्स, 2014) के उपकरण तैनात कर सकते हैं। मूल विचार यह है कि तर्कसंगत मान्यताओं के किसी भी सेट के तहत, पी-मानों की आवृत्ति वितरण को तिरछा किया जा सकता है, लेकिन यह एकतरफा होगा। कोई स्थानीय चोटियां नहीं होनी चाहिए, और .05 और .01 के बीच मीठे क्षेत्र में एक विशेष शिखर नहीं होना चाहिए, वह क्षेत्र जो दोनों महत्व देता है और संसाधनों को बचाता है। यह स्थानीय शिखर संदिग्ध होगा क्योंकि हम जानते हैं कि पी-वैल्यू का वितरण एक सच्चे शून्य परिकल्पना के तहत सपाट (एक समान) है और एक झूठा शून्य परिकल्पना (क्रुएगर एंड बीक, 2018) के तहत तेजी से तिरछी (अधिक छोटे पी-मूल्यों के साथ) है। ।

पी-वक्र विश्लेषण उपलब्ध जानकारी का शोषण नहीं करता है। अध्ययनों के एक सेट को देखते हुए, हमारे पास नमूना आकार (या स्वतंत्रता की डिग्री) और प्रभाव के आकार की जानकारी भी हो सकती है। अध्ययन के दौरान, पी-मान, नमूना आकार (डीएफ) और प्रभाव आकार (ईएस) के बीच के अंतरसंबंधों का खुलासा हो सकता है या कम से कम वे कर सकते हैं – जैसा कि समकालीन पंडित कहना पसंद करते हैं – “सवाल उठाएं।”

इस तरह के दृष्टिकोण के लिए क्षमता का वर्णन करने के लिए [और यह उपन्यास नहीं हो सकता है], मैं लासालिटा एट अल द्वारा एक प्रकाशन से डेटा का उपयोग करता हूं। (2014), फिर से, लेखकों को थोपने के लिए नहीं, बल्कि एक तरह के सांख्यिकीय पैटर्न विश्लेषण का प्रयास करने के लिए। लेखकों ने दिलचस्प परिकल्पना का परीक्षण करने की मांग की जो मन के उदासीन फ्रेम में होने के कारण धन की आवश्यकता और प्रशंसा की कमी होती है। छह अध्ययनों में, वे पाते हैं कि उदासीनता उत्पादों के लिए भुगतान करने की इच्छा को बढ़ाती है, एक तानाशाह के खेल में उदारता बढ़ाती है, पैसे के कथित महत्व को कम करती है, पैसे के कथित मूल्य को कम करती है, किसी दिए गए धन के लिए प्रतिकूल उत्तेजनाओं को सहन करने की इच्छा को बढ़ाती है। , और कुछ सिक्कों के कथित आकार को कम करता है। छह पी-मान .031, .020, .045, .027, .062 और .026 हैं। एक सहनीय अपवाद के साथ .05 और .01 के बीच मीठे क्षेत्र में क्लस्टरिंग को नोटिस करें। यह चिंता के लिए केवल कमजोर आधार प्रदान करता है क्योंकि लेखकों ने एक मध्यम प्रभाव आकार की भविष्यवाणी की हो सकती है, एक शक्ति विश्लेषण किया है, और उचित नमूना एकत्र किया है (लेकिन वे रिपोर्ट नहीं करते हैं कि उन्होंने इसमें से कोई भी किया है)। प्रभाव आकार हैं ।55, .48, .46, .48, .37, और .63। वे माध्यम हैं (जहाँ d लगभग .5 है, d के भीतर अंतर-समूह मानक विचलन के साधनों के बीच अंतर का अनुपात है)। लेकिन डीएफ (नमूना आकार) में भी भिन्नता है, अर्थात्, 67, 125, 81, 98, 102 और 56।

• दूसरों से उदारता प्राप्त करें
• द हीलिंग पावर ऑफ़ जेनोसिटी
• प्यार में भरोसा रखें
• सम्मान और प्यार के साथ एक कैनाइन दोस्त को अलविदा कहना
• ट्रामा पर काबू पाने: एनएफएल संस्करण

अब हम p, df और ES को इंटरकनेक्ट कर सकते हैं, और पूछ सकते हैं कि क्या परिणाम “सवाल उठाते हैं।” यहाँ हमें क्या मिलता है: सबसे पहले, p-मान और ES, r (p, ES), के बीच सहसंबंध है -.71। बड़े प्रभाव आकार छोटे पी-मानों के साथ चलते हैं। यदि हम सभी छह अध्ययनों के लिए एक ही मध्यम प्रभाव की भविष्यवाणी कर चुके हैं, तो एक ही शक्ति विश्लेषण और एक ही डीएफ के परिणामस्वरूप, हम यही उम्मीद करेंगे। फिर ES, पढ़ाई पर पूरी तरह से समान नहीं है, पी के साथ नकारात्मक रूप से सहसंबंधित होगा। दूसरा, नमूना आकार (डीएफ) और प्रभाव आकार (ईएस), आर (डीएफ, ईएस) के बीच सहसंबंध, -66 है। बड़े ES छोटे नमूनों के साथ जाते हैं। अगर ईएस में अंतर की भविष्यवाणी की गई थी, और नमूना आकार के लिए अलग-अलग सिफारिशों के कारण बिजली विश्लेषणों की पैदावार हुई थी, तो हम यही उम्मीद करेंगे। इसलिए हमारे पास एक सहसंबंध है, आर (पी, ईएस), जो समझ में आता है कि निरंतर और मध्यम ईएस की भविष्यवाणी की गई थी ताकि डीएफ स्थिर हो सके। और हमारे पास एक और सहसंबंध है, आर (डीएफ, ईएस), जो समझ में आता है कि ईएस में भिन्नता की भविष्यवाणी की गई थी ताकि छोटे नमूने बड़े अपेक्षित प्रभावों के लिए पर्याप्त हों। यह एक या दूसरे, दोनों नहीं है।

तीसरे के बारे में दो परस्पर विरोधी संबंध “सवाल उठाते हैं”, df और p के बीच संबंध। हम पाते हैं कि r (df, p) = .03 बड़े नमूने समान पी वैल्यू (औसतन) प्राप्त कर सकते हैं जैसे कि छोटे नमूने करते हैं यदि ईएस में अंतर की भविष्यवाणी की गई थी, और शक्ति विश्लेषणों में अलग-अलग नमूना आकार मिले थे। दूसरे शब्दों में, सटीक

बिजली की भविष्यवाणियाँ प्राप्त पी मानों की सीमा को छोटा करती हैं और उन्हें df से घटा देती हैं।

समीक्षा करने के लिए, ES को p, और df दोनों के साथ नकारात्मक रूप से संबद्ध किया गया है। यही है, जैसा कि प्रभाव आकार बड़ा हो जाता है, पी-मान और नमूना आकार दोनों छोटे हो जाते हैं। यह परस्पर विरोधी परिणाम है। फिर, हम कल्पना कर सकते हैं कि ES कितना बड़ा हो जाता है, पी df में बदलाव के बिना छोटा हो जाता है। और हम कल्पना कर सकते हैं कि जैसे जैसे ES बड़ा होता है, df p में बहुत अधिक बदलाव के बिना छोटा होता जाता है। लेकिन हम एक ही समय में दोनों की कल्पना नहीं कर सकते। अब हम पूछ सकते हैं कि पी और डीएफ के बीच किस तरह का संबंध है, हम यह उम्मीद करने के हकदार हैं कि क्या ईएस में कोई मतभेद नहीं थे जो पी और डीएफ के साथ नकारात्मक रूप से सहसंबंधित थे। पी और डीएफ के बीच आंशिक सहसंबंध, ईएस के लिए नियंत्रित करना -.89 है। इसलिए यदि ES में भिन्नता अज्ञात है, तो बड़े नमूने निम्न पी मान प्राप्त करेंगे। यहां ऐसा नहीं हुआ, और यह सवाल उठता है: डीएफ में परिणाम के साथ काफी भिन्नता क्यों है कि डीएफ पी से संबंधित नहीं है?

एक वैकल्पिक विश्लेषण

इस निबंध पर प्रतिक्रिया देते हुए, उली शिमैक ने इस विश्लेषण का प्रस्ताव दिया:

अपर्याप्त भिन्नता का परीक्षण प्रकाशन पूर्वाग्रह (या कुछ अन्य गड़बड़ क्यूआरपी) का सबसे शक्तिशाली परीक्षण है।

चरण 1
Z = -nnorm (p / 2) का उपयोग करके p- मानों को z- स्कोर में परिवर्तित करें

p = c (.031, .020, .045, .027, .062, .026)
z = -nnorm (पी / 2)
z
[१] २.१५ 1० 2.३ २.३२६३४] २.२४६५४ २.०११५१86 १.29६६२ ९ ६.२२६२१२

चरण 2
Z- स्कोर के संस्करण की गणना करें
var.z = var (z)
var.z
[१] ०.०२ 1०28२6६

चरण 3
अवलोकन किए गए विचरण की अपेक्षा विचरण से करें (z- स्कोर का मानक विचलन = 1)
pchisq (var.z * (k-1), k-1) k = पी-मानों की संख्या (6) के साथ

> पिसिसक (var.z * 5,5)
[१] ०.०००३ 1३66०६६

निष्कर्ष: स्वतंत्र अध्ययन के एक सेट से पी-वैल्यू स्टेम की संभावना बहुत कम है, पी = .0004.फिशर ने बहुत पहले देखा था, “[टी] उन्होंने कहा कि राजनीतिक सिद्धांत कुछ भी साबित हो सकता है कि आंकड़े पेश करने से उत्पन्न होते हैं उपलब्ध आंकड़ों का केवल एक चयनित सबसेट ”(फिशर 1955, पृष्ठ 75) [उद्धरण के लिए दबोरा मायो का धन्यवाद]

https://replicationindex.wordpress.com/…/the-test-of…/

संदर्भ

क्रूगर, जेआई, और हेक, पीआर (2018)। परीक्षण महत्व परीक्षण। कोलाबरा: मनोविज्ञान, 4 (1), 11. डीओआई: http://doi.org/10.1525/collabra.108।

लासाल्टाटा, जेडी, सेडिकाइड्स, सी।, और वोहस, केडी (2014)। उदासीनता धन की इच्छा को कमजोर करती है। उपभोक्ता अनुसंधान जर्नल, 41 , 713-729।

सिमोनसोहन, यू।, नेल्सन, एलडी, और सीमन्स, जेपी (2014)। पी-वक्र: फाइल-ड्रावर की एक कुंजी। प्रायोगिक मनोविज्ञान जर्नल: जनरल, 143, 534-547