تئوری سؤال- پاسخ و تئوری-کلاسیک- تست: یک مقایسه تجربی از آماره‌های آزمودنی/ سؤال (قسمت اول)

                                 

با وجود تفاوت‌های نظری بین تئوری سؤال- پاسخ و تئوری کلاسیک- تست، فقدان دانش تجربی در مورد اینکه چگونه و تا چه حدی آماره‌های آزمودنی و سؤال بطور متفاوت رفتار می‌کنند وجود دارد. این مطالعه بطور تجربی رفتار آماره‌های سؤال و آزمودنی مشتق شده از این دو چارچوب اندازه‌گیری را بررسی کرد. مطالعه بر دو موضوع تأکید داشت:

الف) چه روابط تجربی بین آماره‌های سؤال و آزمودنی تئوری سؤال- پاسخ و تئوری کلاسیک - تست وجود دارد؟

ب) آماره‌های سؤال تئوری سؤال- پاسخ و آمارهای سؤال تئوری کلاسیک - تست در نمونه‌های متفاوت آزمودنی‌ها در چه حدی باثبات هستند؟ یک پایگاه داده‌های سنجش سطح ایالتی مقیاس وسیع در این مطالعه استفاده شد. یافته‌ها نشان دادند که آماره‌های سؤال و آزمودنی مشتق شده از دو چارچوب اندازه‌گیری کاملاً با همدیگر قابل مقایسه بودند. درجه ثبات آماره‌های سؤال در نمونه‌ها، معمولاً بعنوان برتری تئوریکی مدل‌های تئوری سؤال- پاسخ را نشان داد، همچنین برای دو چارچوب اندازه‌گیری شبیه هم بدست آمد.

COPYIGHI 1998 Sage publication. Inc

تئوری کلاسیک - تست و تئوری سؤال- پاسخ بطور گسترده درک شده است که دو چارچوب اندازه‌گیری خیلی متفاوت هستند با این وجود، مطالعات کمی بطور تجربی شباهات و تفاوت‌های پارامترهای برآورد شده بوسیله این دو چارچوب را به طور تجربی بررسی کرده است. قبل از وارد شدن به این موضوع، یکسری خوانندگان ممکن است یک مرور کوتاه از تئوری‌های مرتبط را در نظر بگیرند. جزئیات بیشتر در جای دیگر موجود است.

(Cf. Crocker & Alging, 1986; Mckinley, Mills,1989)

 

 

 

مرور کوتاه تئوری کلاسیک - تست و تئوری سؤال- پاسخ

اگر چه تئوری کلاسیک - تست به جامعه اندازه‌گیری بیشتر این قرن خدمت کرده است، تئوری سؤال- پاسخ شاهد رشد تعریفی در دهه‌های اخیر بوده است. امتیاز اصلی تئوری کلاسیک - تست مفروضات تئوریکی مربوط ضعیفش است که تئوری کلاسیک - تست را برای کاربرد در موقعیات آزمون‌های زیادی آسان می‌سازد (1993و Hambleton & Jones). مفروضات تئوریک ضعیف مربوطه نه تنها تئوری کلاسیک - تست را مشخص می‌کند بلکه بسط‌های آن را نیز توصیف می‌نماید (برای مثال تئوری تعمیم‌پذیری). اگر چه موضوعات اصلی تئوری کلاسیک - تست بر اطلاعات سطح آزمون تأکید دارد، آماره‌های سؤال (که دشواری سؤال و تمییزسؤال است) هم قسمت مهمی از مدل تئوری کلاسیک - تست هستند.

در سطح سؤال، مدل تئوری کلاسیک - تست نسبتاً ساده است. تئوری کلاسیک - تست یک مدل تئوریکی پیشرفته‌ای برای ارتباط دادن توانایی یک آزمودنی برای موفق شدن در یک سؤال مشخص بکار نمی‌برد.

در عوض، تئوری کلاسیک - تست مجموعاً یک عده از آزمودنی‌ها را در نظر می‌گیرد و بطور تجربی میزان موفقیت‌شان در یک سؤال (با فرض اینکه دو ارزشی نمره‌گذاری شدند) را بررسی می‌نماید. این میزان موفقیت یک عده مشخص آزمودنی‌ها در یک سؤال، بعنوان مقدار p سؤال شناخته شده و بعنوان شاخص دشواری سؤال استفاده می‌شود (در واقع، آن یک نشانگر معکوس دشواری سؤال است. هر چه مقدار بالاتر نشانگر سؤال آسان‌تر می باشد). توانایی یک سؤال و تمییز بین آزمودنی‌های با توانایی بالاتر و آزمودنی‌های با توانایی پایین‌تر بعنوان تمییزسؤال شناخته شده است که اغلب بطور آمار ضریب همبستگی پیرسون بین نمرات در سؤال (برای مثال 0 و 1 در یک سؤال نمره‌گذاری شده صحیح – غلط) و نمرات در کل آزمون است. هنگامی که یک سؤال بطور دو ارزش نمره‌گذاری شود، این برآورد اغلب بعنوان یک ضریب همبستگی دو رشته‌ای نقطه‌ای محاسبه می‌گردد.

محدودیت اصلی تئوری کلاسیک - تست بطور خلاصه می‌تواند در وابستگی مدور خلاصه شود:

الف) آمار آزمودنی (نمره مشاهده شده) وابسته به نمونه (سؤال) است.

ب) آماره سؤال (دشواری سؤال و تمییزسؤال) وابسته به نمونه (آزمودنی) هستند. این وابستگی مدور یکسری مشکلات تئوریکی در کاربرد تئوری کلاسیک - تست در یکسری موقعیات اندازه‌گیری (مثل همتراز سازی آزمون‌ها، آزمون انطباق کامپیوتری) را تحمیل می‌نماید.

با وجود ضعف تئوری کلاسیک- تست در اصطلاح وابستگی مدورش به آماره‌های سؤال و آزمودنی، متخصصان اندازه‌گیری راه‌حل‌های عملی را تمرین کرده‌اند در راستای چارچوب تئوری کلاسیک - تست برای حل مشکلات اندازه‌گیری دیگری، برای مثال، همتراز سازی آزمون بطور تجربی در چارچوب تئوری کلاسیک- تست (برای مثال همترازسازی معادل رتبه‌ای) می‌تواند حاصل شود. مشابهاً رویکردهای تجربی برای اندازه‌گیری ثبات سؤال (برای مثال مقیاس مطلق Thurstone ) پیشنهاد شده است (Englehard , 1990). نسبتاً می‌توان گفت اگر چه یکسری موضوعات را در قالب تئوری کلاسیک - تست ممکن است پاسخ داده نشده باشند، خیلی از موضوعات از طریق روش‌های تجربی تک کاره پاسخ داده شده اند.

از طرف دیگر تئوری سؤال- پاسخ بیشتر بر پایه تئوری است و توزیع احتمالی موفقیت‌ آزمودنی را در سطح سؤال طرح ریزی می‌نماید. همانطور که نامش نشان می‌دهد، تئوری سؤال- پاسخ اصولاً بر اطلاعات سطح سؤال تأکید می‌کند در مقایسه با تئوری کلاسیک - تست که اصولاً بر اطلاعات سطح آزمون تأکید دارد. چارچوب تئوری سؤال- پاسخ یک گروهی از مدل‌ها را در بر می‌گیرد و کاربرد هر مدل در یک موقعیت ویژه بستگی به ذات سؤالات آزمون و پایداری مفروضات متفاوت تئوریکی در مورد سؤالات آزمون دارد. برای سؤال آزمون که به روش دو ارزش نمره‌گذاری می‌شوند، سه مدل تئوری سؤال- پاسخ به نام‌های یک، دو و سه پارامتری مدل تئوری سؤال- پاسخ وجود دارند. اگر چه مدل یک پارامتری ساده‌ترین مدل‌هاست، ممکن است بهتر باشد از مشکل‌ترین، مدل سه پارامتری تئوری سؤال- پاسخ شروع کرد؛ دلیل این نتیجه بحث بزودی آشکار خواهد شد. مدل سه پارامتری تئوری سؤال- پاسخ فرم متعاقب را دارد:

جایی که c عامل حدس و a پارامتر تمییزسؤال عموماً شیب سؤال نامیده می‌شود و b پارامتر دشواری سؤال که عموماً پارامتر موضع سؤال نامیده می‌شود و D یک ثابت قراردادی (بطور نرمال و D=1.7) و (θ) توانایی سطحی از یک آزمودنی شخص است، پارامتر موضع سؤال در همان مقیاس توانایی ، (θ) هست و مقدار θ را در نقطه‌ای که یک آزمودنی با سطح تواناییθ احتمال 50/50 در پاسخ به سؤال بدرستی دارد را بدست می‌آورد. پارامتر تمییزسؤال شیب خط مماس منحنی ویژگی سؤال در نقطه‌ای از پارامتر موضع سؤال است.

هنگامی که عامل حدس فرض یا محدود به صفر (0=C) شود ، مدل سه پارامتری به مدل دو پارامتری که فقط پارامترهای موضع سؤال و شیب سؤال نیاز به برآورد دارند کاهش می‌یابد:

اگر محدودیت دیگر اعمال شود و قید کند که همه سؤالات تمییز ثابت و برابر داشته باشند، آنگاه a یک ثابت می‌شود تا یک متغیر و این پارامتر نیاز به برآورد نخواهد داشت و تئوری سؤال- پاسخ به مدل یک پارامتری کاهش می‌یابد:

بنابراین در مدل یک پارامتری، محدودیت‌ها برد و تا سه تا پارامتر ممکن سؤال اعمال می‌شود و دشواری سؤال تنها پارامتری می‌ماند که نیاز به برآورد دارد. این مدل یک پارامتری که اغلب مدل راش نامیده می‌شود، بعد از محققین که کار پیشگامانه در این حیطه را انجام دادند نام گرفت. از بحث واضح است که مدل سه پارامتری عمومی‌ترین مدل است و دو مدل دیگر تئوری سؤال- پاسخ (دو و یک پارامتری) بعنوان مدل‌های رده بندی و انتخابی تحت مدل سه پارامتری در نظر گرفته شده‌اند.

 

هدف مطالعه

تئوری سؤال- پاسخ بطور نظری بر ضعف‌های اصلی تئوری کلاسیک - تست که وابستگی مدور به آماره‌های سؤال/آزمودنی تئوری کلاسیک - تست هست فائق آمده است، در نتیجه مدل‌های سؤال- پاسخ در تئوری آماره‌های سؤال مستقل از نمونه‌های آزمودنی و آماره‌های آزمودنی مستقل از سری ویژه سؤالات اجراء شده تولید می‌نمایند. این ویژگی ثبات آماره‌های سؤال و آزمودنی تئوری سؤال- پاسخ بطور تئوریکی به تصویر کشیده شده است و در جامعه اندازه‌گیری بطور وسیعی قابل قبول شده استa(Hambleton & swaminathan, 1985; Hembleton, swaminathan & Rogers,1991).

ویژگی ثبات پارامترهای مدل تئوری سؤال- پاسخ از لحاظ نظری این امکان را برای آن فراهم ساخت که یکسری مشکلات اندازه‌گیری مهم که در چارچوب تئوری کلاسیک - تست حل آنها مشکل بوده است همچون مشکلات مواجهه شده با همتراز سازی آزمون و آزمون انطباقی کامپیوتری را برطرف نماید. (Hambleton etal; 1991) با این وجود، بعنوان سنگ بنای تئوری سؤال- پاسخ، اهمیت ویژگی ثبات پارامترهای مدل تئوری سؤال- پاسخ نباید اغراق آمیز گردد زیرا بدون این ویژگی تعیین کننده، پیچیدگی مدل‌های تئوری سؤال- پاسخ هم در زمینه‌های تئوری و هم در زمینه‌های عملی به سختی می‌تواند قانع کننده باشد.

چون تئوری سؤال- پاسخ بطور قابل ملاحظه‌ای با تئوری کلاسیک - تست در تئوری فرق دارد، و تعداد امتیازات تئوریکی تعیین کننده را نسبت به تئوری کلاسیک - تست حکم می‌نماید، انتظار تفاوت‌های محسوس بین آماره‌های آزمودنی و سؤال تئوری سؤال- پاسخ و تئوری کلاسیک - تست منطقی است. به لحاظ تئوری، چنین روابطی به طور کامل واضح نیست، بجز اینکه دو نوع از آماره‌ها بایستی بطور یکنواخت تحت شرایط ویژه مرتبط گردند (Crocker& Algina , 1986; Lord,1980) اما چنین روابطی بندرت بطور تجربی بررسی شده است در نتیجه آنها واقعاً ناشناخته‌اند.

مطالعات تجربی در دسترس در این حیطه اصولاً بر کاربرد دو روش در همترازسازی آزمون تأکید کرده‌اند (Becker& Forsyth,1992; Herris,1991 مثل) در ارتباط با همترازسازی آزمون Hambleton etal (1991) پیشنهاد کرد، از لحاظ تئوری ویژگی ثبات آماره‌های سؤال تئوری سؤال- پاسخ نیاز به همترازسازی آزمون‌ها را مرتفع ساخته است و در عوض، آن یک مقیاس خطی است، نسبت به همترازسازی، که در چارچوب تئوری سؤال- پاسخ ضروری است. بحث دلالت بر این دارد که مدل‌های تئوری سؤال- پاسخ تکالیف همترازسازی را بهتر از رویکردهای همترازسازی تئوری کلاسیک - تست انجام می‌دهند. مطالعات تجربی در این حیطه اگر چه یک تصویر آمیخته‌ای، با تعدادی که برتری رویکردهای تئوری سؤال- پاسخ را نشان دادند (Peterson,Cook & stockin 1983 مثل) ، تعداد نتایج بهتری از رویکردهای یک کاره تئوری کلاسیک - تست پیشنهاد کردند.

(Clemans, 1993; kolen, 1981, Skaggs & lissitz, 1986a شد) و یکسری نتایج هر دو روش همترازسازی تئوری سؤال- پاسخ و تئوری کلاسیک - تست را که نتایج خیلی قابل مقایسه همانند تولید می‌کنند را نشان می‌دهند. این نتایج تصویر آمیخته پژوهشگران را برمی انگیزد که پیشنهاد نمایند ممکن است غیر واقع‌گرایانه باشد که انتظار داشت یک روش، بهترین نتایج همترازسازی برای همه انواع آزمون‌ها را فراهم نماید (Skaggs & Lissitz, 1986؛ مثل).

یک پژوهش مطالعاتی معلوم ساخت که فقط یک مطالعه بود که بطور تجربی قابلیت قیاس آماره های سؤال و آزمودنی تئوری کلاسیک - تست و تئوری سؤال- پاسخ را بررسی نمود (1991)Lawson که آماره‌های سئوال و آزمودنی سه سری از داده‌های متفاوت براساس تئوری کلاسیک - تست و مدل راش یک پارامتری تئوری سؤال- پاسخ را مقایسه کرد، و روابط فوق العاده قوی را بین آماره‌های سؤال و آماره‌های آزمودنی تئوری کلاسیک - تست و تئوری سؤال- پاسخ نشان داد. اگر چه مطالعه براساس یک سری داده‌های تا حدودی کوچک بوده و فقط محدودترین مدل یک پارامتری تئوری سؤال- پاسخ بررسی شد، اما نتایج مطالعه پیشنهاد کرد که اطلاعات دو رویکرد در مورد آماره‌های سؤال و آزمودنی ممکن است خیلی زیاد یکسان باشند.

مشابهاً، ویژگی ثبات پارامترهای سؤال/ آزمودنی تئوری سؤال- پاسخ بطور تجربی جزئی‌ بررسی شده است و اگر چه ثبات بطور تئوری اثبات شده است. (Hambleton& Swaminathan , 1985; Rudner,1983 مثل)  اگر چه (1988) Miller , linn با استفاده از یک نسخه سری داده‌های وسیع، نتایج یک مطالعه را در بررسی تغییرات کارکردهای ویژگی سؤال در زمینه تغییرات آموزشی گزارش کردند.

آنها تفاوت‌های نسبتاً زیادی را در پاسخ‌های منحنی سؤال، که فقدان ثبات را در پارامترهای سؤال تئوری سؤال- پاسخ را گزارش کردند. فقدان ثبات همچنین بوسیله Cook و Eignor و Taft (1988) هم برای برآوردهای دشواری سؤال تئوری سؤال- پاسخ و هم تئوری کلاسیک - تست گزارش شد.

با تعداد محدودی از مطالعات تجربی که مستقیماً یا غیر مستقیم به موضوع ثبات پاسخ می‌دادند یک فقدان واضح بررسی نظام مند در مورد ثبات مطلق آماره‌های سؤال و آزمودنی هم در چارچوب تئوری کلاسیک - تست و هم تئوری سؤال- پاسخ و فقدان مطالعات که بطور تجربی ثبات نسبی آماره‌های سؤال و آزمودنی بدست آمده از تئوری کلاسیک - تست را با آنهایی که از تئوری سؤال- پاسخ بدست آمده مقایسه کند، مشهود است. انتقاد اصلی به تئوری کلاسیک - تست ناتوانی‌اش در تولید آماره‌های سؤال/ آزمودنی است که در نمونه‌های سؤال/ آزمودنی بی‌ثبات می‌باشد. این انتقاد یک نیروی محرکه اصلی برای توسعه مدل‌های تئوری سؤال- پاسخ و رشد استثنایی پژوهش تئوری سؤال- پاسخ و کاربردهایش در دهه‌های اخیر بوده است.

تا حدودی تعجب آور است که مطالعات تجربی که ثبات ویژگی‌های آماره‌های سؤال را در دو چارچوب اندازه‌گیری بررسی و مقایسه می‌نمایند بسیار نادر هستند. بنظر می‌رسد برتری تئوری سؤال- پاسخ نسبت به تئوری کلاسیک - تست در این خصوص بوسیله جامعه اندازه‌گیری مورد تصدیق قرار گرفته است و هیچ بررسی دقیق تجربی ضروری پنداشته نشده است. سکوت تجربی در این موضوع بنظر نابهنجار می‌رسد. این فقدان بررسی‌های تجربی یکسری پژوهشگران را برانگیخت تا بیان کنند که مدل تئوری سؤال- پاسخ بیش از حد بر بسط ریاضی به هزینه نبود مطالعات تجربی تأکید کرده است. (Goldstin & wood , 1989)

مطالعه حاضر طراحی شده است که بطور مفهومی مطالعه (Gall, Borg& Gall,1996;u/kken,1968)  و مطالعه Lawson 1991. را تکرار نماید مطالعه حاضر بر دو موضوع اصلی تأکید دارد:

الف) آماره‌های سؤال و آزمودنی چارچوب تئوری کلاسیک - تست با آنهایی که از چارچوب تئوری سؤال- پاسخ هستند چگونه با یکدیگر قابل مقایسه‌اند (همانندند)؟

ب) آماره‌های سؤال تئوری کلاسیک - تست و تئوری سؤال- پاسخ در نمونه‌های آزمودنی چگونه باثباتند؟ اختصاصی‌تر، مطالعه پنج سؤال پژوهشی ذیل را پاسخ می دهد:

1- برآوردهای توانایی آزمودنی تئوری کلاسیک - تست و تئوری سؤال- پاسخ چگونه با یکدیگر قابل مقایسه‌اند؟

2- برآوردهای دشواری سؤال تئوری کلاسیک - تست و تئوری سؤال- پاسخ چگونه با یکدیگر قابل مقایسه‌اند؟

3- برآوردهای تمییزسؤال تئوری کلاسیک - تست و تئوری سؤال- پاسخ چگونه با یکدیگر قابل مقایسه‌اند؟

4- برآوردهای دشواری سؤال تئوری کلاسیک - تست و تئوری سؤال- پاسخ در نمونه‌های متفاوت آزمودنی‌ها چگونه باثباتند؟

5- برآوردهای تمییزسؤال تئوری کلاسیک - تست و تئوری سؤال- پاسخ در نمونه‌های متفاوت آزمودنی چگونه باثباتند.

 

ادامه دارد:

 

منبع:

(Education and psychological Measurement jun 1998 v 58 p357 (25