बस कितने अमेज़ॅन MTuke सर्वेक्षण-कर रहे हैं वहाँ?

इन दिनों, अधिकांश प्रयोगात्मक उपभोक्ता शोधकर्ता (सामाजिक मनोवैज्ञानिकों, राजनीतिक वैज्ञानिकों, व्यवहार अर्थशास्त्री, आदि का उल्लेख नहीं करते हैं) ने अमेज़ॅन मैकेनिकल तुर्क (एमटीयूके) श्रमिकों के साथ अपने शोध को संचालित करने के लिए छात्र विषय पूल को बदल दिया है या पूरक किया है। अनुसंधान के लिए एमटयूकेक सर्वेक्षण-खरीदार का उपयोग सुविधाजनक, सस्ता और त्वरित है (यह अक्सर शोषक भी है, लेकिन यह एक अलग ब्लॉग पोस्ट है)।

स्रोत: रॉोल नाटिस फ़्लिकर द्वारा Zol Korabi 2.0 सीसी के तहत लाइसेंस प्राप्त

यह कोई आश्चर्य नहीं है कि हर साल हजारों मनोविज्ञान अध्ययनों का अध्ययन किया जा रहा है, वर्तमान में एमटीयूके श्रमिकों का उपयोग सर्वेक्षण-खरीदार के रूप में किया जा रहा है। (जब मैंने एमटीयूके पर खोज की थी क्योंकि मैं इस ब्लॉग पोस्ट को लिख रहा था, तो मुझे एक एमटीयूकेकर् कार्यकर्ता के रूप में 3 9 9 सर्वेक्षणों को भरने के लिए उपलब्ध था, और मेरे पास एमटीयूकेक मास्टर योग्यता भी नहीं है!)

यह देखते हुए कि आजकल सामाजिक विज्ञान अनुसंधान का एक महत्वपूर्ण हिस्सा एमटीयूके श्रमिकों पर निर्भर है, निश्चित रूप से इन लोगों के बारे में अधिक जानना निश्चित है। यह जानकारी आयोजित की जा रही अनुसंधान की वैधता पर असर पड़ रही है। ऐसे कई महत्वपूर्ण सवाल हैं जैसे:

• ये लोग कौन हैं?
• क्या वे एक गंभीर तरीके से सर्वेक्षण का जवाब दे रहे हैं?
• क्या हम इस बात से आश्वस्त हो सकते हैं कि इस समूह के साथ जो कुछ भी हम पाते हैं, वह वास्तव में व्यापक जनसंख्या पर लागू होता है? दूसरे शब्दों में, क्या वे प्रतिनिधि हैं?
• उनके उत्तर से कितने मान्य हैं? हमें किस चीज के बारे में चिंतित होना चाहिए?

इन सवालों में से प्रत्येक में खोदने के लायक है हालांकि इस पोस्ट में, मैं एक अलग सवाल पर विचार करना चाहता हूं, जिसमें मैं बहुत उत्सुक था: "बस अमेज़ॅन मैकेनिकल तुर्क पर कितने सर्वेक्षण लेने वाले हैं?"

• अंतर्निहित कारण आप फोकस नहीं कर सकते
• मानसिक स्वास्थ्य के 7 लक्षण
• स्टार वार्स मनोविज्ञान: काइलो रेन निदान के साथ समस्याएं
• क्या आप आदी हैं?
• जोखिम भरा व्यवहार और पीड़ित व्यक्ति: दो मुद्दे, एक नहीं

यह सवाल क्यों महत्वपूर्ण है?

एक अध्ययन से प्रेरणा लेना मैं इस पोस्ट में थोड़ी देर बाद चर्चा करूंगा, अमेज़ॅन मिटकेक साइट को एक तालाब के रूप में सोचने में मददगार है, एक मछुआरे या मछुआरे के रूप में प्रत्येक शोधकर्ता, और मछली के रूप में प्रत्येक एमटीयूके कार्यकर्ता हर बार जब एक शोधकर्ता एक अध्ययन का पद लगाता है, तो वे कई सौ मछलियों को पकड़ने के लिए नेट कास्टिंग कर रहे हैं। वे मछलियों को पकड़ते और छोड़ देते हैं, लेकिन इस प्रक्रिया में, वे सवालों के सर्वेक्षण के लिए उत्तर के रूप में मछली के कुछ "सार" बाहर निकालते हैं, मछली को अपने मूल परिस्थितियों से बदलते हैं।

फिलहाल, प्रत्येक सप्ताह (अधिकतर) शिक्षाविदों द्वारा, और पेशेवर पोल्टरों द्वारा तेजी से, हर महीने एमटयूकेक पॉंड में जाल लगाए जा रहे हैं। इसलिए "क्या पर्याप्त मछली है?" के सवाल या क्या हम सभी को एक ही मछली पकड़ रहे हैं महत्वपूर्ण हैं

उत्तरदाताओं के एक बड़े पूल में तीन फायदे हैं: (1) विभिन्न विशेषताओं, और एक निश्चित विशेषताओं, कहना, भारी टीवी पर नजर रखने वाले या लंबी पैदल यात्रा के प्रति उत्साही लोगों की पर्याप्त संख्या में प्राप्त करने की अधिक संभावना; (2) अधिक "ताजा" असंरक्षित उत्तरदाताओं जो सर्वेक्षण का जवाब गंभीरता से लेते हैं और इसे सोचा और ईमानदारी के साथ करते हैं (यानी, जिसने सामान्य आत्म-नियंत्रण पैमाने या सामाजिक और आर्थिक रूढ़िवाद के पैमाने पर एक दर्जन से ज्यादा जवाब नहीं दिए हैं पहले से ही), और (3) बड़े पैमाने पर आबादी का प्रतिनिधि (जो कि इसकी गारंटी नहीं है) के नमूने की अधिक संभावना है।

• क्या आप स्वयं को अवशोषित करते हैं?
• खुश किशोरों
• भगवान का शुभकामनाएं समाप्त हैं: मधुमेह से मुकाबला करना
• प्यार, हानि, और वीर बचाव
• स्वयं के सम्मोहन के साथ श्रम दर्द आसान हो गया

सीधे घोड़े के मुंह से – एमटीक्यूक साइट?

जवाब खोजने के लिए तार्किक पहला स्थान है, एमटीयूकेके साइट ही। आप अमेज़ॅन को यह जानकारी प्रदान करने की उम्मीद करते हैं, दो कारणों से दैनिक अद्यतन करते हैं। सबसे पहले, यह अमेज़ॅन के ग्राहकों (अकादमिक और व्यावसायिक शोधकर्ता) के लिए महत्वपूर्ण जानकारी है जो साइट का उपयोग करने के लिए उन्हें बहुत ही भुगतान कर रहे हैं। सवाल के बिना, यह साइट का उपयोग किए गए अनुसंधान की गुणवत्ता में वृद्धि होगी। और दूसरा, वे पहले से ही जानते हैं कि कितने एमटीयूयूके श्रमिक साइट का इस्तेमाल करते हैं, इसलिए इसे निकालने और प्रकाशित करने के लिए यह बहुत आसान (और सस्ता) है। लेकिन दुर्भाग्य से यह मामला नहीं है।

उनका दावा है कि "1 9 0 देशों के 500,000 से अधिक श्रमिकों तक पहुंचें" बहुत अधिक अर्थहीन है क्योंकि यह कमजोर है और वर्षों में नहीं बदला है। प्लस यह स्पष्ट नहीं है कि इनमें से कितने कथित तौर पर आधे मिलियन लोग वास्तव में सर्वेक्षण लेते हैं या साइट से आए हैं और चले गए हैं।

एक तरफ, यह मन-उड़ा रहा है, और एक असली शर्म की बात है, कितने प्रतिष्ठित मीडिया आउटलेट जैसे कि गार्जियन, वाल स्ट्रीट जर्नल, और यहां तक ​​कि अनुसंधान संस्थान जैसे प्यू रिसर्च सेंटर ने लापरवाही से इस भद्दी संख्या की रिपोर्ट की है। हालांकि यह काफी "नकली समाचार" नहीं है, यह मेरे लिए "आलसी समाचार" जैसा दिखता है क्योंकि यह बाकी की कहानी को विकृत कर सकता है जो कि रिपोर्ट की जा रही है।

शांत नहीं, अमेज़ॅन और बड़े मीडिया! ठीक है, तो अब हमें संख्याओं को खोजने के लिए अन्य स्रोतों की आवश्यकता है।

स्टीवर्ट एट अल अध्ययन, निर्णय और निर्णय लेने, 2015

मनोविज्ञान के प्रोफेसर नील स्टीवर्ट और विभिन्न देशों में फैले सात अलग-अलग प्रयोगशालाओं के शोधकर्ताओं की एक टीम ने इस सवाल का जवाब देने के लिए सबसे व्यापक और प्रभावशाली (आकार और अवधि के संदर्भ में) अध्ययन किया है जो मुझे मिल सकता था। जनवरी 2012 से मार्च 2015 तक अपने सभी प्रयोगशालाओं से एमटीयूकेक डेटा संग्रह को कवर करना, और एक शांत सांख्यिकीय पद्धति को नियोजित करना जो कि पर्यावरणविदों ने आम तौर पर जंगली में किसी विशेष जानवर या पक्षी की आबादी का पता लगाने के लिए उपयोग किया, उन्होंने निष्कर्ष निकाला कि एमटयूकेक का इस्तेमाल करने वाले औसत शोधकर्ता किसी भी समय लगभग 7,300 उत्तरदाताओं का एक पूल तक पहुंच। उन्होंने यह भी पाया कि एमटीयूके के 26% सर्वेक्षण लेने वाले हर तिमाही में "रिटायर" करते हैं और नए श्रमिकों द्वारा उन्हें पुन: प्राप्त किया जाता है। इसके अलावा, उनकी प्रयोगशालाओं में ज्यादातर अमेरिकी-आधारित उत्तरदाताओं का इस्तेमाल होता है मैं उनके तुलना द्वारा मारा गया था:

"इस प्रकार आबादी जो औसत प्रयोगशाला तक पहुंच सकती है, एक ठेठ विश्वविद्यालय में सक्रिय भागीदारी पूल से कुछ ही बार बड़ा होता है (कोर्स क्रेडिट पूल में काफी ऊंचा उठता है), जो एक टर्नओवर दर के साथ आने वाली और जाकर भिन्न नहीं है विश्वविद्यालय के छात्रों की। "(पृष्ठ 485)

तो एमटीकॉम सर्वेक्षण-खरीदार स्टेरॉयड पर एक विश्वविद्यालय के छात्र विषय पूल की तरह हैं!

उनके कुछ अन्य निष्कर्ष समान रूप से सोचा-उत्तेजक हैं, कम से कम कहने के लिए अपने सर्वेक्षणकर्ताओं के लगभग 65% ने एक ही प्रयोगशाला द्वारा आयोजित कई अध्ययनों में भाग लिया (मुझे अपने मूल्य में आँख-बॉलिंग चित्रा 5 से यह मान मिला)। अब यह बहुत संभावना है कि ये अलग-अलग अध्ययन विभिन्न विषयों के बारे में थे, लेकिन यह अभी भी आदर्श नहीं है। और 50% से अधिक प्रतिभागियों ने कई प्रयोगशालाओं से अध्ययन में भाग लिया। यह पकड़ा जा रहा है मछली, जारी है, और फिर पकड़ा, और फिर से जारी, और फिर पकड़ा, और और पर

मुझे पुरानी उत्पत्ति के दो अन्य अनुमान मिलते हैं और / या जो मैंने सोचा था वह कम विश्वसनीय तरीके का प्रयोग कर रहा था:

• कैरन फोर्ट द्वारा कम्प्यूटेशनल भाषाविज्ञान में 2011 का एक अध्ययन, गिलेस एडा और के ब्रेटेनेल कोहे ने 15,0 9 5 और 42, 9 12 के बीच सर्वेक्षण लेने वालों की संख्या का अनुमान लगाया। यह एमटीयूकेकर् श्रमिकों के एक सेट के सर्वेक्षण अनुमानों पर आधारित था और विशेषज्ञ राय का उपयोग करके समायोजित किया गया था। इसके अलावा उन्होंने गैर-अमरीकी उत्तरदाताओं के साथ-साथ (भारत की एक उचित संख्या में श्रमिक शामिल हैं)।
• रेडडिट पर एक अनाम टिप्पणीकार ने संकेत दिया कि वे अपने अध्ययन में भाग लेने वाले लोगों पर कोई शर्त या प्रतिबंध नहीं रखकर एक हफ्ते में 6,000 अनोखे प्रतिसादकर्ता प्राप्त करने में सक्षम थे।

तो इन नंबरों का क्या होगा?

कुछ परिप्रेक्ष्य देने के लिए, ऑनलाइन पैनल कंपनी यूगोव का दावा है कि इसमें 37 देशों के 4 मिलियन पैनलिस्ट का एक ऑनलाइन पैनल है, और 1.8 मिलियन पैनलिस्टों का एक यूएस पैनल है। इसी तरह सर्वेक्षण सर्वे में 30 लाख लोगों के ऑनलाइन पैनल का दावा है, और स्लाइस इंटेलिजेंस को इसके ऑनलाइन पैनल में 4.2 मिलियन लोगों का होना है। जाहिर है, ये सिर्फ दावा करते हैं, जैसे अमेज़ॅन "500,000 से अधिक" … दावा करते हैं, और उनमें से किसी को भी सत्यापित करना असंभव है।

अमेज़ॅन मेटुल्क में वापस आ रहा है, मुझे ऐसा लगता है कि वहां कई मछलियों नहीं हैं और यहां बहुत सारे जाल हैं जो मिंटुक तालाब में डाली जाती हैं। यह निश्चित रूप से अच्छी खबर नहीं है कि यदि आप एक मनोवैज्ञानिक शोधकर्ता हैं क्योंकि एमटीयूके श्रमिकों के विशाल बहुमत में दर्जनों, यदि सैकड़ों नहीं हैं, तो थोड़े समय के भीतर अन्य सर्वेक्षणों में। यह काफी संभावना है कि उनमें से कई मैराथन सर्वेक्षण-सत्र लेने के बीच में हैं यह हर तरह की समस्याएं पैदा कर सकता है यदि शोधकर्ता मनोदशात्मक प्रेरणा, या विशिष्ट मानसिकता आदि जैसे मनोवैज्ञानिक हेरफेर तैयार करने की कोशिश कर रहा है। (भविष्य के पोस्ट में इसके बारे में अधिक)

बहुत से फिशर लोक, पर्याप्त मछली नहीं

तो यह वह छवि है जिसका हम साथ छोड़ दिया जाता है एक तालाब की कल्पना करें कि किसी भी समय लगभग 10,000 मछली तैर रहे हैं और फिर कल्पना करें कि हजारों मछुआरों और मछुआरों को तालाब के आसपास खड़ा किया जाता है और हर हफ्ते वे अपने जाल को हजारों बार काटते हैं, मछलियों को पकड़ते हुए, उन्हें जांचते हुए, उन्हें वापस रिहाते हैं, पकड़ने लगते हैं, जांच कर रहे हैं, फिर रिहा, पकड़े, जांच कर रहे हैं, इत्यादि। यह कोई आश्चर्य नहीं है कि मछली का एक चौथाई हर तीन महीनों में रिटायर हो जाता है। वे संभवतः मछुआरों के बहुसंख्यक जांच से जला दिए जाते हैं। यह ऐसा है जो सामाजिक विज्ञान अनुसंधान करने के लिए एमटीयूके श्रमिकों का उपयोग कर रहा है 2017 के प्रारंभिक समय की तरह।

पुनश्च:

मैंने इस पोस्ट के बाद लिखा था, क्रिस्टी मिलंद (ट्विटर हैंडल: @ टुरकर्नल) ने मुझे एक अध्ययन के लिए एक लिंक भेजा था (नीचे उसकी टिप्पणी देखें)। 2015 में छह सप्ताह की अवधि के दौरान, उन्हें 25,293 अद्वितीय यूएस-आधारित प्रतिभागियों को मिला, और कुल 30,002 प्रतिभागियों (अधिकांश शेष भारत के थे) ने अपना हिट पूरा करने के लिए ध्यान दें, इसमें केवल सभी एमटीयूके श्रमिक शामिल नहीं हैं, न सिर्फ सर्वेक्षण-खरीदार। Kristy के अध्ययन के परिणामों के लिए लिंक यहां पाया जा सकता है

मेरे बारे में

मैं चावल विश्वविद्यालय में एमबीए छात्रों को विपणन और मूल्य निर्धारण सिखाता हूं। आप मेरी वेबसाइट पर मेरे बारे में और अधिक जानकारी प्राप्त कर सकते हैं या मुझे लिंक्डइन, फेसबुक, या ट्विटर @ पर देख सकते हैं I