4 परिवर्तन मैं अनुसंधान के लिए अमेज़ॅन MTurk का उपयोग करते समय करूँगा

स्रोत: रॉबर्ट कॉस-बेकर द्वारा सांता क्रूज़ में सीसी 2.0 के अंतर्गत लाइसेंस प्राप्त हुआ

कुछ दिन पहले, मैंने अपनी बजाय तीव्रता का वर्णन किया था और एक पूर्णकालिक अनुभव के रूप में अंशकालिक काम नहीं किया था अमेज़ॅन मैकेनिकल तुर्क (एमटीयूके)   कार्यकर्ता। न केवल इस अनुभव ने मुझे "हिलाने और उभारा" बोलने के लिए छोड़ दिया था, लेकिन मुझे यह भी बना दिया है कि जब मुझे मेटचुक का उपयोग करने के लिए सर्वेक्षण या प्रयोगात्मक डेटा इकट्ठा करने के लिए एक शोधकर्ता के रूप में वापस जाना है, तो मुझे उस बदलाव के बारे में सोचने की ज़रूरत है।

यहां मेरे चार परिवर्तनों की सूची है जो मैं अपने कार्य के लिए एमटीयूकेक का उपयोग करते समय बनाने की योजना बना रहा हूं (साथी शोधकर्ताओं ने जे में शामिल होने का स्वागत किया है)।

1. श्रमिकों को दो बार ज्यादा वेतन!

वेतन का मुद्दा शायद मेरे अनुभव से सबसे हड़ताली रहस्योद्घाटन था और जो एक सप्ताह के लिए एक एमटीयूकेकर् कार्यकर्ता के जूते में चले बिना असंभव होगा। अब तक, जब मैंने एमटयूकेक पर अपने सर्वेक्षणों को पोस्ट किया था, मैंने श्रमिकों के बारे में बहुत ही सार और फजी तरीके से सोचा था, अगर मैंने उन्हें बिल्कुल सोचा।

पहले वाणिज्यिक विपणन अनुसंधान में काम करने के बाद, मेरे दिमाग के पीछे एक सच्चाई थी कि मैं सौदा-तहखाने की कीमत के लिए अपना डेटा प्राप्त कर रहा था (मैं एक बार कैदियों से जुड़े एक अनुसंधान परियोजना पर काम करता था, और यहां तक ​​कि इस तरह के कैप्टिव श्रोताओं की कीमत भी $ 3 / सर्वेक्षण); लेकिन मैंने इसे ब्रश किया किस कीमत पर? मेरे कार्यकर्ता अनुभव के बाद, यह मेरे लिए स्पष्ट है कि मैं पर्याप्त मूल्य के लिए भुगतान नहीं कर रहा था, जो मुझे एमटीकॉम श्रमिकों से मिल रहा है।

• पुनर्वास और सह-पेरेंटिंग
• सच पछतावा
• पेरेंटिंग: अपने बच्चों की स्तुति मत करो!
• आवश्यक पिताजी
• आदतें सब कुछ हैं

6-7 मिनट के सर्वेक्षण के लिए, मैंने $ .40 और $ .60 के बीच ओपन एंड प्रॉस्पेक्ट्स की संख्या के आधार पर, पैराग्राफ को पढ़ना और समझना आदि के आधार पर पेशकश की। अब से, मैं कम से कम $ 1.00 की पेशकश कर रहा हूं। मेरे सीमित अनुसंधान बजट के साथ, यह एकतरफा वेतन बढ़ाने का अर्थ है कि मुझे अधिक ध्यान से अध्ययन करने और योजना बनाने और उनमें से कम करने के लिए फ्रंट एंड पर कड़ी मेहनत करना होगा।

(और मुझे एहसास है कि अमेज़न ने हाल ही में कमीशन में वृद्धि की जो वे शोधकर्ताओं को काफी हद तक चार्ज करते हैं। लेकिन जिस तरह से मैं इसे देखता हूं, यह एक पूरी तरह से अलग मुद्दा है जो अधिक क्रूर लड़ाकों को छोड़ दिया गया है, यह निष्पक्ष कार्यकर्ता पारिश्रमिक के साथ कुछ भी नहीं है)।

वहाँ तुम जाओ, एक विपणन प्रोफेसर डबल भुगतान करने की पेशकश! अजीब, मुझे पता है

• पूर्वाग्रह में अंतर्दृष्टि
• मेरे बारे में सब!
• आपका शरीर आपकी मार्गदर्शिका बनें
• सही काम करना: एक ब्लॉग पोस्ट में 2,500 साल का नैतिक दर्शन!
• अकर्मक प्राथमिकता संरचनाएं: विलंब ट्रैप

2. निपुणता से सर्वेक्षण गुणवत्ता बनाए रखने और बनाए रखें

एमटीयूकेकर् श्रमिकों की तरफ से, जो भी चीजें उन्हें धीमा कर देती हैं उन्हें दर्द होता है, दोनों को समझना (वे कैसे सोचते हैं और सवालों का जवाब देते हैं) और जेब किताब में! ऐसे दर्द बिंदुओं में कई चीजें शामिल हो सकती हैं प्रश्न जो जीभ-छालेदार होते हैं, खराब या अस्पष्ट तरीके से बोलते हैं, वर्तनी की गलतियों, व्याकरण की गलतियों, गहन सर्वेक्षण प्रवाह, उत्तरदायी बनाने वाले कार्य दो मिनट से अधिक समय तक बैठते हैं, जबकि एक डिजिटल घड़ी उत्सुकता से नीचे जाती है, खुली प्रश्न जो लोग लोगों को लिखने के लिए मजबूर करते हैं कुछ ख़ुफ़िया शब्दों (या वर्ण; मुझे लगता है कि 100 से ज्यादा अक्षर बहुत अधिक हैं), जो बहुत लंबे समय से हैं (अधिक 70 कुल प्रश्न मेरे विचार में बहुत लंबा हैं) सब सर्वेक्षण लेने वाले दर्द के लिए काफी योगदान देते हैं।

अध्ययनों में मैं (या मेरे सह-लेखक) ने एमटीयूकेक पर पोस्ट किया है, हम इन बातों के बारे में आम तौर पर अच्छे हैं। लेकिन हम समय-समय पर झगड़े करते हैं कभी-कभी, हम एक प्रश्न में एक प्रतिक्रिया प्रकार को तोड़ते हैं, ताकि एक रिक्त है जो वास्तव में पाठ से भरा होना चाहिए एक ईमेल पते के लिए एक प्रतिक्रिया को बल देता है। दूसरी बार, हम सर्वेक्षण में एक स्पष्ट टाइपो छोड़ देते हैं जब हम इसे पोस्ट करते हैं जो उत्तरदाताओं को विचलित करता है। यह ऐसी छोटी सी बात है कि हम फिक्सिंग पर ध्यान केंद्रित करने जा रहे हैं।

मेरी सबसे बड़ी गुणवत्ता नियंत्रण नियंत्रण यह है कि मैं प्राय: प्रश्नावली के माध्यम से कॉपी-एडिटिंग, प्रेटेस्टिंग और चलना छोड़ दूँगा जो मीटुक पर पोस्ट कर रहा हूं (सरासर आलस्य या अनिर्दिष्ट अति विश्वास से, मुझे नहीं पता है)।

अब से मेरा मंत्र: कमेटीट और फिर अपने आप (और सह-लेखक या मिनियन) पर प्रश्नावली को कम से कम तीन बार दिखाते हैं इससे पहले कि वह कभी भी एमटीयूके श्रमिकों के लिए तैनात होता है। अगर मैं इसके माध्यम से आसानी से काम नहीं कर सकता, तो संभावना है कि उत्तरदाता या तो नहीं करेंगे।

मैंने एक चेकलिस्ट बनाई जो इन सभी संभावित मुद्दों के माध्यम से चलता है और ऑनलाइन सर्वेक्षण करने वाले शोधकर्ताओं के लिए उपयोगी हो सकती है। इसे यहां से डाउनलोड किया जा सकता है।

3. न केवल सूचित सहमति प्राप्त करें बल्कि "सूचित प्रतिक्रिया" के लिए अवसर प्रदान करें

अधिकांश शोधकर्ताओं की तरह, मैं अपने प्रश्नावली की शुरुआत में अपने अध्ययन की प्रक्रिया, इसकी संभावित जोखिम, मेरी संपर्क जानकारी आदि समझाते हुए एक सूचित सहमति फ़ॉर्म को सम्मिलित करता हूं। लेकिन अब मुझे एहसास है कि यह रूप में उपयोगी नहीं है क्योंकि यह कुछ कारणों के लिए हो सकता है।

• प्रपत्र बल्कि घने है। अध्ययन शुरू होने से पहले ही 30000 शब्दों को ध्यान से पढ़ने के लिए घड़ी पर मीटुक श्रमिकों की अपेक्षा करने के लिए अनुचित है। यहां तक ​​कि अगर मैं श्रमिकों को भविष्य में संदर्भ के लिए इसे प्रिंट करने के लिए कहूं, तो यह संभव नहीं है कि ज्यादातर ऐसा करते हैं।
• सूचित सहमति फार्म बहुत ही एकमात्र ऐसा स्थान है जहां शोधकर्ता का नाम और संपर्क जानकारी प्रदान की जाती है। हालांकि, कार्यकर्ता को वास्तव में इस जानकारी की अंतिम समाप्ति के बाद बहुत ही अंत की जरूरत है और सर्वेक्षण सबमिट किया जाता है।

इसलिए सूचित सहमति प्राप्त करने के अलावा, मैं सर्वेक्षण के बाद बहुत ही अंत में "सूचित प्रतिक्रिया" प्राप्त करने जा रहा हूं और पूरा कोड दिया गया है। यह वह जगह है जहां मेरी संपर्क जानकारी प्रदान करने और प्रतिक्रिया के लिए पूछना उचित है और किसी शिकायत की आवाज देने का मौका देते हैं।

बाज़ारियों ने नियमित रूप से ग्राहकों को एक रेस्तरां भोजन या हवाई जहाज की सवारी के बाद अपने अनुभव के बारे में पूछना है, इसलिए क्यों नहीं एक शोधकर्ता एमटीक्यूर्क सर्वेक्षण के बाद भी ऐसा ही करते हैं?

4. काफी भिन्न नमूनों और विधियों के साथ एमटीयूके अध्ययन का अनुपूरक

एमटीक्यूक आंकड़ों की सांख्यिकीय पर्याप्तता के बावजूद, सोशल साइंस रिसर्च के बारे में कुछ गड़बड़ी है, जो पूरी तरह से एक विधि के साथ आयोजित किया गया है, जिसमें सर्वेक्षणकर्ताओं ने विधानसभा लाइन कामगारों जैसे एप्पल घड़ियों को इकट्ठा करने वाले सर्वेक्षणों को भरना है।

मुझे बताने दीजिए कि क्यों। नैतिक निर्णय लेने में, समस्याओं का एक महत्वपूर्ण (और भयावह) वर्ग में दो अत्यंत खराब स्थितियों (जो मैं ईमानदारी से उम्मीद करता हूं कि हमारे सभी को कभी भी हमारे वास्तविक जीवन में सामना करना पड़ता है) के बीच चयन करना शामिल है। ऐसे दुविधाओं में शामिल हैं: "क्या आप एक बच्चे को अपने नंगे हाथों से मारना चाहते हैं ताकि एक दर्जन अजनबियों को मारे जाने से बचाने के लिए?" या "क्या आप एक गांव के दावत में अपने पालतू कुत्ते / बलिदान से बचे बचे? "ठीक है !

इन प्रकार के प्रश्न भयानक हैं किसी भी सामान्य इंसान के लिए, जब आप उन्हें मुठभेड़ करते हैं तो वे भावनात्मक और नैतिक अशांति पैदा करते हैं (कम से कम वे मेरे लिए करते थे!) ऐसा करने के लिए वे ऐसा ही करते हैं लेकिन लगता है कि आप एक बार फिर से और फिर से एक ही सवाल का सामना करते हैं; मान लें कि आप इन सवालों के एक दर्जन से 20 प्रश्नों में प्रत्येक सप्ताह (नैतिक निर्णय लेने का एक लोकप्रिय शोध विषय है, सभी के बाद) मिलता है।

क्या आप इस तरह के सवालों का जवाब देने के लिए 17 वें समय के समान नैतिक घबराहट महसूस कर रहे हैं? बिल्कुल नहीं! तुम जैसे हो: "हाँ! ओह ठीक है, मालाओं को खुश करने के लिए, मैं रोवर को गांव के दावत के लिए स्टेक्स में बनाऊंगा! अगला! " मेरा मुद्दा यह है कि जब जवाब देना हो, तो आप प्रश्नों के जवाबों से अभी भी जवाब दे सकते हैं कि शोधकर्ता क्या चाहता है, उम्मीद करता है या भविष्यवाणी करता है, लेकिन बिना किसी निश्चित रूप से ऐसे नैतिक निर्णय के दिल में निहित भावनात्मक उथल-पुथल!

कम से कम दो अन्य कारण हैं जो मीटुक नमूना-आधारित अनुसंधान का संचालन करने के बारे में सावधान हैं I सबसे पहले, एमयूटीयूक अध्ययन चलाने की आसानी, लागत और गति के कारण, एक ही परियोजना के लिए कई अध्ययन चलाने की प्रवृत्ति होती है जो खोजों की नकल करने और छोटे पैमाने पर मेटा-विश्लेषण जैसी फैंसी सांख्यिकीय विधियों का उपयोग करने के विचार के साथ होती है प्रभाव के आकार को अधिक मज़बूती से बाहर

हालांकि, सस्ते अधिग्रहीत आंकड़ों की इस बाढ़ ने इस तथ्य को नजरअंदाज किया है कि सभी अध्ययन सर्वेक्षण-खरीदारों के साथ किए गए हैं, जो समरूप रूप से मारे गए हैं; इसलिए परिणाम असेंबली-रेखा सर्वेक्षण लेने वाले से परे सामान्य नहीं हो सकते हैं। और इस मामले की सच्चाई यह है कि हम इस तथ्य से परे पेशेवर सर्वेक्षण लेने वालों के बारे में बहुत कम जानते हैं कि वे संख्या में अपेक्षाकृत कम हैं।

दूसरा, विशेष रूप से लागू शोधकर्ताओं के लिए, कई ऑनलाइन अध्ययन करने से उत्पन्न होने वाली प्रसन्नता पाठ-आधारित कार्यों से जुड़ी गंभीर सीमाओं को स्वीकार करने से दूर ध्यान केंद्रित करती है जिसमें काल्पनिक कहानियां और परिदृश्य शामिल होते हैं जो कि ऑनलाइन सर्वेक्षणों को खर्च करने में सक्षम हैं ऐसी माप वास्तविक दुनिया में असली फैसलों या व्यवहारों में स्थानांतरित नहीं हो सकती या हो सकता है कि हम वास्तव में अध्ययन करने में रुचि रखते हैं।

इन कारणों के लिए, मैं उपयोग करने की योजना बना रहा हूं एमटीयूके के नमूनों को मुख्य रूप से पूर्व परीक्षण कराने के लिए और खोजपूर्ण अनुसंधान के लिए जो कि किसी विशेष शोध परियोजना में अध्ययन के एक छोटे से अंश का गठन करते हैं। वैसे भी, मैं क्षेत्रीय अध्ययन (उदाहरण के लिए, वास्तविक ग्राहकों के साथ) का संचालन करना पसंद करता हूं और राय के बजाय असली व्यवहार को मापता हूं कि सर्वेक्षण-खरीदार कैसे व्यवहार करेंगे।

मैं एक अंतिम बात कहना चाहता हूं (यदि आप, पाठक, मुझे इस बात से काफी दूर हो गए हैं कि मुझे बिना शाप से कड़ा कर दिया) जब एमटीयूकेक पर काम पोस्ट करते हैं, क्या यह अच्छा नहीं होगा यदि शोधकर्ताओं ने अपने असली नाम का इस्तेमाल किया और उनकी संबद्धता स्पष्ट रूप से बताई? "सॉसपेरफ़लैब्ज़ 37" जैसे छद्म नामों का उपयोग करके ऑनलाइन स्पैमर की छाप पैदा होती है जो हर दिन वियाग्रा को पिचती है!

आगे के संसाधन

डाइनेमो नामक एमटीयूकेकर् श्रमिकों और शोधकर्ताओं के एक सामूहिक ने उन शोधकर्ताओं के लिए एक बहुत बढ़िया दिशा निर्देशों का एक साथ रखा है, जो मैंने उन चीजों का वर्णन किया है जो मैंने यहां बहुत अधिक गहराई से छुआ हैं और बहुत अधिक समूह ने एमटीयूकेकर् श्रमिकों के बीच सामूहिक कार्रवाई पर कुछ दिलचस्प शोध भी किए हैं।

मेरे बारेमें कुछ और

मैं चावल विश्वविद्यालय में एमबीए छात्रों को मुख्य विपणन और मूल्य निर्धारण सिखाता हूं और मेरी शैक्षिक जीवन यहाँ है

आप एसएसआरएन में बहुत सारे शैक्षणिक और मेरे कुछ व्यवसायी-उन्मुख लेखन को पा सकते हैं और डाउनलोड कर सकते हैं। अगर आपको कुछ लिखा हुआ है, तो मुझे ईमेल भेजें और मैं इसे आपको भेजूंगा।

मैनेजरों और व्यवसायिक लोगों के लिए मेरा कुछ लेखन एचबीआरआरजीआर पर पाया जा सकता है और मैं मनोविज्ञान टुडे पर "साइंस फॉर बिहेवियर" नामक एक अपेक्षाकृत नया ब्लॉग भी लिख सकता हूं ।

आप लिंक्डइन या फेसबुक पर मेरे साथ जुड़ सकते हैं, या आप मुझे ईमेल भेज सकते हैं भविष्य के ब्लॉग टुकड़ों या शैक्षिक अनुसंधान परियोजनाओं के लिए सभी प्रश्न, टिप्पणियां, विचार और विचारों का स्वागत है। बस मुझे कोई नफरत मेल न भेजें, कृपया

[यह पोस्ट लिंक्डइन पल्स से क्रॉस पोस्ट किया गया है]