پروژه Monte Carlo (قسمت سوم)

ثبات آماره‌های سؤال تئوری سؤال- پاسخ و تئوری کلاسیک- تست:

جداول 4 و 5 نتایج شبیه‌سازی ما را که ویژگی‌های ثبات چارچوب‌های اندازه‌گیری تئوری کلاسیک – تست و تئوری سؤال- پاسخ را بررسی می‌نماید ارائه می‌کند. ارقام ثبت شده در این جداول معدل همبستگی‌های با استفاده از Fisherz transformations برآوردهای برآوردهای دشواری سؤال (جدول 4) و برآوردهای تمییز سؤال (جدول 4) مشتق شده از همان چارچوب اندازه‌گیری در 100 آزمون شبیه‌سازی شده هستند. هر آزمون دو نمونه متفاوت از آزمودنی‌های شبیه‌سازی شده پاسخگو، که در کل 200 نمونه اتفاقی آزمودنی‌ها برای هر شرایط وجود داشت. برآوردهای پارامتری سؤال تئوری سؤال- پاسخ از نمونه‌های متفاوت آزمودنی (نمونه 1 در مقابل نمونه 2) همبستگی برای اندازه‌گیری ثبات آماره‌های سؤال مبتنی بر تئوری سؤال- پاسخ اندازه‌گیری شد. آماره‌های سؤال تئوری کلاسیک-تست حاصل از نمونه‌های متفاوت بطور مشابه با یکدیگر مقایسه گردید.

نتایج در جدول 4 نشان می‌دهند که برآوردهای دشواری سؤال تئوری سؤال- پاسخ و تئوری کلاسیک – تست از نمونه‌های متفاوت آزمودنی‌ها در سطح بالایی باثباتند. بالاحض، برآوردهای دشواری سؤال براساس چارچوب اندازه‌گیری تئوری کلاسیک- تست یک درجه بالای قابل ملاحظه‌ای از ثبات در کل با معدل 0/994 را نشان دادند. آن مقادیر P دشواری سؤال مبتنی بر تئوری کلاسیک- تست حاصل از دو نمونه متفاوت آزمودنی‌های پاسخگو به یک آزمون که تقریباً بطور کامل در همه شرایط همبستگی داشتند. مشابهاً برآوردهای پارامتر b دشواری سؤال مبتنی بر چارچوب اندازه‌گیری تئوری سؤال- پاسخ همبستگی‌های باثبات را تقریباً به اندازه بزرگی در کل معدل 0/972 ارائه نمودند و برای هر دو چارچوب اندازه‌گیری، ثبات آماره‌های دشواری سؤال بطور قابل ملاحظه‌ای بالا بود صرفنظر از تعداد سؤالات در آزمون و دامنه‌شان در سطح دشواری و یا دامنه مقادیر تمییز.

 

جدول 4 : ثبات آماره های سؤال: معدل همبستگی ها بین برآوردهای دشواری سؤال تئوری سؤال- پاسخ و تئوری کلاسیک- تست

 

 

توجه:

IRT تئوری سؤال - پاسخ ; تئوری کلاسیک- تست=CTT ;  هر رقم ورودی ثبت شده براساس معدل 100 همبستگی محاسبه شده در میان 1000 آزمودنی هاست . معدل ضرایب همبستگی‌ها از طریق Fisherz transformations بدست آمد. انحرافات معیار همبستگی‌های خام در پرانتزها ظاهر می شود.

جدول 5 نتایج شبیه‌سازی‌ها که ثبات آماره‌های تمییز سؤال تئوری کلاسیک- تست و تئوری سؤال- پاسخ را بررسی می‌نماید نشان می‌دهد. الگوی کلی جدول نشان می‌دهد که شاخص r_it تمییز سؤال مبتنی بر تئوری کلاسیک- تست میزان‌های بالاتر ثبات آماری را نسبت به پارامتر a تمییز سؤال مبتنی بر تئوری سؤال- پاسخ (که 902 در مقابل 954) نشان داد. یعنی اینکه، در میان تمام سطوح طول آزمون، سطوح دشواری سؤال واقعی، و سطوح تمییز سؤال واقعی، برآوردهای تمییز سؤال تئوری کلاسیک- تست از دو نمونه متفاوت آزمودنی‌ها همبستگی‌های بالاتری نسبت به برآودهای تئوری سؤال- پاسخ کسب نمودند.

آشکار است در جدول 5 دو الگو در برآوردهای ثبات تمییز سؤال می‌توان یافت. اول، می‌توان دید که همبستگی‌های حاصل بالاتر بودند وقتی که در مقادیر تمییز سؤال واقعی از توزیع وسیع‌‌تر 2/5 تا 0/5 در مقایسه با توزیع باریک‌تر 2/0to  1/0 بدست می‌آمد. این بالاحض در برآوردهای پارامتر تئوری سؤال – پاسخ قابل مشاهده بود اما هنوز برای آماره تمییز سؤال تئوری کلاسیک- تست قابل توجه بود.

دومین الگو در ارقام ثبت شده جدول 5 در رابطه بین همبستگی‌های ثبات و مقادیر دشواری سؤال واقعی می‌توان مشاهده کرد. برای برآوردهای مبتنی بر تئوری سؤال- پاسخ، همبستگی‌های حاصل بالاترین (0/927=M) بودند وقتی که مقادیر دشواری سؤال واقعی از توزیع باریک (0/5 تا 0/5 -) و پایین‌ترین (0/876 =M) هنگامیکه مقادیر دشواری سؤال وسیعترین توزیع (2/0 تا 2/0-) را داشت. برای برآوردهای تمییز سؤال تئوری کلاسیک- تست، از طرف دیگر، این الگو برعکس بود. بالاترین همبستگی‌ها با وسیع‌ترین توزیع مقادیر دشواری واقعی (0/967= M) حاصل شد. و پایین‌ترین همبستگی‌ها با باریک‌ترین توزیع مقادیر دشواری (0/935 = M) بدست آمد.

 

جدول5 : ثبات آماره های سؤال: معدل همبستگی ها بین برآوردهای تمییز سؤال  تئوری کلاسیک- تست  و تئوری سؤال تئوری سؤال پاسخ

 

 

توجه:

IRT تئوری سؤال - پاسخ ; تئوری کلاسیک- تست=CTT ;  هر رقم ورودی ثبت شده براساس معدل 100 همبستگی محاسبه شده در میان 1000 آزمودنی هاست . معدل ضرایب همبستگی‌ها از طریق Fisherz transformations بدست آمد. انحرافات معیار همبستگی‌های خام در پرانتزها ظاهر می شود.

تفاوت‌های آماره‌های تمییز سؤال در دو مدل اندازه‌گیری سؤال را ایجاد می‌کند که کدامیک درست است. برای پاسخ به این سؤال، صحت آماره‌های سؤال و آزمودنی مورد بررسی قرار گرفت برای تعیین اینکه اگر آماره‌های کلاسیک- تست و سؤال- پاسخ سطوح متفاوتی از سازش را با پارامترهای سؤال واقعی معلوم کردند.

 

صحت آماره‌های سؤال و آزمودنی تئوری کلاسیک – تست و تئوری سؤال- پاسخ:

امتیاز اصلی پژوهش‌های کامپیوتری استفاده از سؤالات و آزمودنی‌های شبیه‌سازی شده هست که توانایی جهت دستکاری عوامل بطور نظام‌مند را دارند که در حالت نرمال  در سری‌های داده‌های واقعی غیرقابل دسترس هستند. آزمون‌های شبیه‌سازی شده در این مطالعه، برای مثال دستکاری شدند برای تغییر در شرایط طول، مقادیر دشواری سؤال، و مقادیر تمییز سؤال. چون ویژگی‌های سؤالات و آزمودنی‌ها برای ما شناخته شده بودند، آنگاه ما قادر به ارزیابی صحت برآوردهای سؤال و آزمودنی براساس دو چارچوب اندازه‌گیری بودیم.

 

جداول 6 و 7 و 8 نتایج شبیه‌سازی بررسی صحت برآوردهای سطوح ویژگی آزمودنی‌ها مبتنی بر تئوری سوال پاسخ و تئوری کلاسیک تست، دشواری سؤال آزمون، مقادیر تمییز سؤال آزمون را به ترتیب ارائه می‌کند. ارقام ثبت شده در این جداول معدل همبستگی‌ها بین آماره‌های چارچوب‌های تئوری سؤال- پاسخ و تئوری کلاسیک- تست می‌باشند. هر همبستگی‌ براساس 200 نمونه آزمودنی‌های شبیه‌سازی شده (1000=N ) پاسخگو به 100 آزمون‌های شبیه سازی شده (دو نمونه آزمودنی‌ها برای هر آزمون).

نتایج در جدول 6 نشان می‌دهد آماره‌های آزمودنی تئوری سؤال – پاسخ و تئوری کلاسیک- تست بدرستی توانایی‌های واقعی آزمودنی‌های شبیه سازی شده را برآورد نمودند. در میان همه سطوح مقادیر دشواری سؤال و مقادیر تمییز سؤال، پارامتر θ آزمودنی تئوری سؤال- پاسخ و نمره T آزمون آزمودنی تئوری کلاسیک- تست با مقادیر واقعی در سطح بالایی همبستگی‌ داشتند (به ترتیب 0/952 و 0/965= Ms) این نتایج پیشنهاد می‌کند صرفنظر از چارچوب اندازه‌گیری تصمیمات مبتنی بر آزمون در در خصوص برآوردهای توانایی آزمودنی همسان و صحیح خواهد بود.

صحت آماره‌های دشواری سؤال تئوری کلاسیک- تست و تئوری سوال- پاسخ در جدول 7 ارائه شد. تحت چارچوب اندازه‌گیری تئوری کلاسیک تست، همبستگی‌های خیلی بالایی بین مقادیر p دشواری سؤال و مقادیر دشواری سوال واقعی (M=0/991) یافت شدند. بالاترین همبستگی‌ها وقتی مقادیر تمییز سؤال واقعی در (M=0/993) در 1/9 ثابت ماندند متعاقب توزیع (M=0/993) در2/0 تا 1/0 و توزیع (M=0/985) در2/5 تا 0/5 بدست آمدند. تحت چارچوب اندازه‌گیری تئوری سوال- پاسخ، همبستگی‌های بالا همچنین بین مقادیر پارامتر b دشواری سوال و مقادیر دشواری سوال واقعی بدست آمدند. بالاترین همبستگی‌ها هنگامی که مقادیر تمییز سوال واقعی در (M=0/991) در 1/0 ثابت ماندند متعاقب توزیع 2/0 تا 1/0 (M=0/972) و توزیع 2/5 تا 0/5 (M=0/958) بدست آمدند. همبستگی‌های بالاتر همچنین برای چارچوب تئوری سوال- پاسخ هنگامی که توزیع دشواری سوال واقعی (M=0/984) در 2/0 تا -2/0 بودند متعاقب (M=0/979) در 1/0 تا -1/0 و (M=0/972) در1/0 تا 2/0- و (M=0/971) در 2/0 تا 1/0- و نهایتا (M=0/964) در 0/5 تا 0/5- بودند. این نتایج نشان می‌دهد برآوردهای دشواری سؤال تئوری کلاسیک- تست و تئوری سوال پاسخ بوسیله دامنه مقادیر دشواری سوال و تمییز سوال آزمون بصورت جزئی منفی اثرپذیر بوده‌اند. برآوردهای صحت کلی آماره‌های دشواری سوال، اگر چه، بالا تا خیلی بالا برای هر دو چارچوب اندازه‌گیری بودند.

 

جدول 6 : صحت آماره‌های آزمودنی: معدل همبستگی‌ها بین پارامتر آزمودنی واقعی و برآوردهای مبتنی بر تئوری سوال پاسخ و تئوری کلاسیک تست. 

 

توجه:

IRT تئوری سؤال - پاسخ ; تئوری کلاسیک- تست=CTT ;  هر رقم ورودی ثبت شده براساس معدل 100 همبستگی محاسبه شده در میان 1000 آزمودنی هاست . معدل ضرایب همبستگی‌ها از طریق Fisherz transformations بدست آمد. انحرافات معیار همبستگی‌های خام در پرانتزها ظاهر می شود.

 

جدول 7 : صحت آماره‌های آزمودنی: معدل همبستگی‌ها بین برآوردهای پارامتر دشواری واقعی براساس تئوری کلاسیک- تست و تئوری سوال- پاسخ

 

توجه:

IRT تئوری سؤال - پاسخ ; تئوری کلاسیک- تست=CTT ;  هر رقم ورودی ثبت شده براساس معدل 100 همبستگی محاسبه شده در میان 1000 آزمودنی هاست . معدل ضرایب همبستگی‌ها از طریق Fisherz transformations بدست آمد. انحرافات معیار همبستگی‌های خام در پرانتزها ظاهر می شود.

جدول 8 نتایج شبیه‌سازی‌هایی که صحت آماره‌های تمییز سؤال تئوری کلاسیک- تست و تئوری سؤال- پاسخ را بررسی می‌نماید ارائه می‌کند. بخاطر داشته باشید که این برآوردها قبلاً (جدول 3) که تفاوت‌های اساسی در دو چارچوب دارند بدست آمده بود. از این جدول به آسانی واضح است که صحت برآوردهای تمییز سؤال به چارچوب اندازه‌گیری وابسته است. در میان تمام شرایط شبیه‌سازی شده، برآوردهای تمییز سؤال تئوری سؤال- پاسخ همبستگی‌های بالاتر نسبت به برآوردهای تمییز سؤال تئوری کلاسیک- تست (Ms=0/949 در برابر 0/618) . علاوه بر این، تفاوت‌های برآوردهای صحت در دامنه‌ای از خفیف در یکسری شرایط (مثل، وقتی مقادیر دشواری سؤال واقعی دامنه‌ای از 0/924 در برابر Ms=0/963 و 0/5 تا 0/5-) تا خیلی وسیع در شرایط دیگر (مثل وقتی مقادیر دشواری سؤال واقعی در دامنه‌ای از ( 0/379 در برابر Ms=0/936 و 2/0 تا 2/0-) قرار دارد. در هر دو چارچوب اندازه‌گیری همبستگی‌های صحت بالا حاصل شدند وقتی که هر دو دامنه مقادیر تمییز سؤال واقعی وسیع‌ترین بود (که 0/5 تا 0/5) و هنگامی که توزیع مقادیر دشواری سوال واقعی باریک‌ترین بود (که 5/0 تا 5/0- با به ترتیب Ms=0/982 , 0/941 ).

 

 جدول8 : صحت آماره‌های سؤال: معدل همبستگی ها بین  پارامتر و برآوردهای مبتنی بر تئوری سؤال- پاسخ و  تئوری کلاسیک- تست 

 

 

توجه:

IRT تئوری سؤال - پاسخ ; تئوری کلاسیک- تست=CTT ;  هر رقم ورودی ثبت شده براساس معدل 100 همبستگی محاسبه شده در میان 1000 آزمودنی هاست . معدل ضرایب همبستگی‌ها از طریق Fisherz transformations بدست آمد. انحرافات معیار همبستگی‌های خام در پرانتزها ظاهر می شود.

بطور خلاصه، نتایج شبیه‌سازی کامپیوتری بررسی آماره‌های آزمودنی و سؤال تئوری کلاسیک – تست و تئوری سؤال- پاسخ بینش مهمی در دو چارچوب اندازه‌گیری فراهم نموده است. اوَل، راجع به برآوردهای توانایی آزمودنی، پارامتر تتا آزمودنی آزمودنی مبتنی بر تئوری سؤال- پاسخ و نمره T آزمون آزمودنی مبتنی بر تئوری کلاسیک-تست هر دو در سطح بالایی صحت دارند. دوم،‌در خصوص برآوردهای دشواری سؤال آزمون، برآوردهای پارامتر b دشواری سوال- پاسخ و مقادیر p دشواری سؤال تئوری کلاسیک- تست هر دو در سطح بالایی صحیح هستند. اما سوم، در ارتباط با تمییز سؤال آزمون، فقط پارامتر a تمییزسؤال تئوری سؤال- پاسخ برآوردهای در سطح بالایی با صحت را در تمام موارد این مطالعه ارائه کرد، در حالیکه شاخص پارامتر تمییز سؤال r_it تئوری کلاسیک- تست برآوردهای باصحت خیلی بالایی را فقط تحت شرایط تجربی ویژه‌ای ارائه نمود. در یکسری موارد، برآوردهای تمییز سؤال تئوری کلاسیک – تست بطور شگفت آوری نادرست بود.

 

خلاصه و نتیجه‌گیری‌ها:

این بررسی Monte Carlo وضع آماره‌های سؤال و آزمودنی حاصل از چارچوب‌های اندازه‌گیری تئوری کلاسیک-تست و تئوری سؤال- پاسخ را مورد مطالعه قرار داد. مطالعه بر سه موضوع اصلی تأکید داشت:

الف) آماره‌های آزمودنی و سؤال تولید شده روش‌های تئوری کلاسیک- تست و تئوری سؤال- پاسخ چگونه همانندند؟

ب) آماره‌های سؤال تئوری سوال- پاسخ و تئوری کلاسیک- تست در میان نمونه‌های آزمودنی‌ها چگونه باثباتند؟

ج) آماره‌های سؤال و آزمودنی چارچوب‌های تئوری کلاسیک- تست و تئوری سؤال- پاسخ چگونه صحت دارند؟

آزمون‌های شبیه‌سازی شده و آزمودنی‌های شبیه‌سازی شده بوسیله برنامه‌های کامپیوتری که طول آزمون، مقادیر دشواری سؤال،و مقادیر تمییز سؤال را دستکاری کردند تولید شدند.

برای هر شرائط تجربی، 100 آزمون شبیه‌سازی شده بوسیله دو نمونه اتفاقی ایجاد شده از هر یک 1000 آزمودنی بوجود آمدند. قبل از الف- خلاصه سازی یافته‌های اصلی و ب- بحث کاربردهای نتایج ما در ارتباط با آزمون‌سازی، تعدادی عبارت‌های قالبی ابتدا باید تأکید شود.

 

قالب بحث:

در آغاز مهم است که حداقل سه تفاوت مهم بین تئوری کلاسیک – تست بین تئوری سؤال- را تأیید نماییم. ابتدا تئوری سؤال- پاسخ، تلاش می‌کند هر آزمودنی در نقطه‌ی درستی از یک مقیاس اندازه‌گیری فاصله‌ای "θ" تعیین وضع نماید و سعی در تخمین نمرات متغیر توانایی مکنون می‌کند. از طرف دیگر تئوری کلاسیک- تست تأکید بر نمرات مشاهده شده دارد، اگر چه مفهوم نمرات واقعی استناد به یک تلاش در ارزیابی کیفیت نمرات مشاهده شده (که برآورد پایایی نمره است) اطلاق می‌گردد. در تئوری، آزمون‌های متفاوت ممکن است برآورد "θ" باثباتی برای یک آزمودنی ارائه کنند، در حالیکه نمرات مشاهده شده در میان فرم‌های آزمون متنوع می‌باشد؛ و این ممکن است حتی اگر نمرات مشاهده شده تئوری کلاسیک- تست بطور کامل همبستگی داشته باشند رخ دهد زیرا همبستگی‌ها اصولاً ثبات رتبه‌های برآوردهای توانایی (یا تمییز سؤال) را ارزیابی می‌نمایند آنها در نقاط ارائه شده متمرکز می‌شوند.

دوم اینکه، تئوری سؤال- پاسخ، این جاذبه را دارد که توانایی‌های آزمودنی و دشواری‌های سؤال در اندازه‌های استاندارد قابل قباس مدرج می‌گردند طوریکه سؤالات بیشترین اطلاعات منتخت را که به آسانی برای آزمودنی‌های شرکت کننده ارائه می‌نمائید (برای مثال به یک آزمودنی با توانایی 1/5 = θ بطور ایده‌آل باید سؤالات با دشواری حدود 1/5 داده شود). سوم، در عمل، افرادی که به مدل‌های تئوری سؤال- پاسخ استناد می‌کنند نوعاً داده‌های برای آزمودنی‌ها که پاسخ‌های بیش از حد دور از انتظار تحت مدل 1 ارائه شده دارند را بررسی می‌نمایند(برای مثال، یک آزمودنی تیزهوش ممکن است یک تعدادی از آسان‌ترین سؤالات را از دست بدهد) و برای سؤالاتی که الگوهای پاسخ‌شان گمراه کننده دارند ( برای مثال، سؤالاتی که چندین تواناترین آزمودنی از دست می‌دهند). البته در تئوری کلاسیک تست، همین نوع ویرایش داده‌ها می‌توانست انجام شود.

هنوز هم بدون توجه به این تفاوت‌ها، این امکان هست که هر دو تئوری به تصمیمات همانندی در ارتباط با انتخاب سؤال و توصیف مشخصه‌های کیفیت نمرات آزمون منجر می‌گردند. پارامترهای تئوری سؤال- پاسخ الزاماً فقط بدلیل اینکه در اندازه‌های استاندارد کم آشناتر مقیاس‌ها یا بدلیل معادلات ریاضی‌شان که پیچیده‌تر هستند سحرآمیز نیستند.

 

یافته‌های اصلی:

سه یافته‌ی اصلی این مطالعه مطرح شد. اول، آماره‌های دشواری سؤال و آزمودنی چارچوب‌های تئوری سؤال- پاسخ و تئوری کلاسیک – تست در سطح بالایی در همه شرایط با یکدیگر همانند بودند. اگر چه، آماره‌های تمییز سؤال فقط در یکسری شرایط همانند بودند. دوم آماره‌های دشواری سؤال و تمییز سؤال در میان نمونه‌های اتفاقی آزمودنی‌ها وقتی که داده‌ها از چارچوب تئوری سؤال- پاسخ ارزیابی می‌گردیدند در سطح بالایی باثبات بودند. در چارچوب تئوری کلاسیک- تست آماره‌های دشواری سؤال و تمییز سؤال حتی در میان نمونه‌ها باثبات‌تر بودند و برآوردهای ثبات بالاتر ارائه نمودند. سوم تحت هر دو چارچوب اندازه‌گیری تئوری کلاسیک – تست و تئوری سؤال- پاسخ، آماره‌های دشواری سؤال و آزمودنی در میان همه‌ی شرایط در سطح بالایی صحت داشتند. اگر چه، فقط آماره تمییز سؤال تئوری سؤال- پاسخ بطور دقیق مقادیر تمییز واقعی را در میان همه شرایط برآورد کرد. آماره تمییز سؤال تئوری کلاسیک- تست فقط تحت شرایط ویژه آزمون دقیق بود.

در شرایط مورد بررسی در این مطالعه، یافته‌های ما عموماً ویژگی آماره‌های سؤال- ثبات آزمودنی چارچوب تئوری سؤال- پاسخ را مورد حمایت قرار داد. از همه مهم‌تر، این یافته‌ها، برآوردهای آماره‌های سؤال و آزمودنی چارچوب تئوری سؤال- پاسخ را در میان تنوع گوناگونی از شرایط آزمودنی شبیه‌سازی شده بطور دقیق نشان داد. مشابهاً، نتایج شبیه‌سازی نشان دادند که آماره‌های سؤال تئوری کلاسیک – تست هم ثبات آزمودنی داشتند. اگر چه فقط آماره‌های آزمودنی و دشواری سؤال چارچوب تئوری کلاسیک – تست برای برآورد دقیق مقادیر پارامتر واقعی نشان داده شد. آماره‌های تمییز سؤال تئوری کلاسیک- تست برآوردهای دقیق که در یکسری شرایط آزمودنی بودند ارائه کردند اما فقط در حد متوسط تا پایین در شرایط دیگر ارائه نمودند. این یافته‌ها سؤالات جالبی راجع به تفاوت‌های بین چارچوب‌های اندازه‌گیری تئوری کلاسیک- تست و تئوری سؤال- پاسخ بوجود می‌آورد و اثر نهایی در تلاش‌های آزمون سازی دارد.

 

کاربردهای آزمون سازی:

تکنیک‌های استاندارد آزمون‌سازی برای ارتقاء اندازه‌های پیشرفت، استعداد، علاقه، و شخصیت با استفاده از تئوری کلاسیک- تست عموماً در انتخاب سؤالات آزمون بر طبق ویژگی‌های آماری و محتوایشان عمل می‌نمایند. این آماره‌ها معمولاً شامل شاخص‌های مقادیر p دشواری سؤال و مقادیر r_it تمییز سؤال بودند (Hambleton&Swaminathan , 1985 ; hambleton etal1991) اگر طراح آزمون بهترین سری سؤالات را از منبع سؤال وسیع‌تر انتخاب نماید، بستگی به دقت این دو آماره‌های سؤال دارد. اگر یکی، یا هر دو این آماره‌های سؤال دقیق نباشند، امکان دارد که تعدادی سؤال خوب برای آزمون پایانی انتخاب نشوند و تعداد سؤال ضعیف حذف نگردند.

وقتی مجموعه‌ای از سؤالات آزمون بالقوه در یک بانک حاوی یک دامنه باریک مقادیر دشواری سؤال (رایج در سنجش‌های شخصیت و علاقه) باشند، آنگاه برآوردهای تمییز سؤال بایستی برای هر دو چارچوب اندازه‌گیری تئوری کلاسیک- تست و تئوری سؤال- پاسخ بسیار دقیق باشند. در چنین موقعیتی، تصمیمات انتخاب سؤال براساس هر چارچوب بایستی منتج به انتخاب دقیق همان سری از سؤال‌های آزمون باشد. از طرف دیگر، اگر دامنه آماره‌های دشواری سؤال از یک دامنه باریک مقادیر دشواری سؤال (حدود 0/5 تا 0/5- رایج در آزمون‌های توانایی و پیشرفت) تخطی نماید، آنگاه صحت برآوردهای تمییز سؤال با روش تئوری کلاسیک- تست شروع به کاهش می‌نماید. در بدترین سناریو، اگر منبع سؤالات بالقوه حاوی یک دامنه خیلی وسیع مقادیر دشواری سؤال باشد، بطور غیر قابل قبولی دقت پایین برآوردهای تمییز سؤال تحت چارچوب تئوری کلاسیک- تست ممکن است نتیجه دهد. در نتیجه یکسری تصمیمات انتخاب سؤال ممکن است نادرست باشد در حالتی که سری نهایی سؤالات آزمون انتخاب شده ممکن نیست بهینه باشند. در تقابل با مشکلات بالقوه همراه با انتخاب سؤال تحت چارچوب تئوری کلاسیک تست، تصمیمات راجع به انتخاب سؤال تحت مدل‌های تئوری سؤال- پاسخ کمتر تحت تأثیر سوء‌گیری‌ها در ویژگی‌های منبع سؤال است. در واقع آماره‌های سؤال تئوری سؤال- پاسخ در سطح بالایی از دقت در میان تمام شرایط تجربی در این مطالعه حفظ شد. این یافته‌ها پیشنهاد می‌کند که تصمیمات انتخاب سؤال براساس برآودهای دشواری سؤال و تمییز سؤال روش‌های تئوری سؤال- پاسخ احتمال بیشتری دارد در بهترین امکان زیر مجموعه سؤالات آزمون نتیجه دهد.

و، همانطور که در بالا اشاره شد، این ملاحظات ممکن است بیشتر در ارتباط با حیطه اندازه‌گیری توانایی، و استعداد باشند، در جایی که دامنه وسیعی از دشواری‌های سؤال نوعاً بعنوان یک ایده‌آل در نظر گرفته می‌شود. 

 

 

 

 

 

منبع:

 

A Monte Carlo comparison of Item and person statistics based on Item Response Theory Versus classical Test Theory.

Paul Macdonal and sampovpaunonen

Educational and psychological Measurement 2002; 62;921 university of Western Ontario