تئوری سؤال- پاسخ و تئوری-کلاسیک- تست: یک مقایسه تجربی از آماره‌های آزمودنی/ سؤال (قسمت پنجم)

سؤال پژوهشی 5

آخرین سؤال پژوهشی که پرسیده شده بود "شاخص‌های تمییزسؤال تئوری کلاسیک - تست و تئوری سؤال پاسخ در میان نمونه‌های متفاوت آزمودنی‌ها چگونه پاثبات‌اند"? جدول 8 نتایج تجزیه و تحلیل همبستگی‌های شاخص‌های تمییزسؤال تئوری کلاسیک - تست و تئوری سؤال پاسخ را ارائه می‌کند. همانطور که قبلاً توضیح داده شد مدل یک پارامتری تئوری سؤال پاسخ (راش) برآوردهای تمییزسؤال را برای سؤال‌های جداگانه فراهم نماید و به جای آن تمییزسؤال ثابت را برای همه‌ی سؤال‌ها فرض می‌کند، هیچ همبستگی برای مدل یک پارامتری نمی‌توانست محاسبه شود، از این رو "کاربردی نیست" در هر ستون مدل یک پارامتری تئوری سؤال- پاسخ در جدول لحاظ شده است. این نکته قابل ارزش است که بیان شود هر رقم ثبت شده در جدول یا معدل همبستگی‌های دو رشته‌ای نقطه‌ای تئوری کلاسیک - تست بین دو نمونه‌ها است یا معدل همبستگی شیب های سؤال تئوری سؤال- پاسخ بین دو نمونه‌هاست. هر رقم ثبت شده معدل 100 ضریب همبستگی حاصل 100 جفت نمونه می‌باشد.

تئوری سؤال- پاسخ و تئوری-کلاسیک- تست: یک مقایسه تجربی از آماره‌های آزمودنی/ سؤال (قسمت چهارم)

سؤال پژوهش 4

چهارمین سؤال پژوهش ('' برآوردهای دشواری سؤال تئوری کلاسیک - تست و تئوری سؤال- پاسخ در میان نمونه‌های متفاوت آزمودنی چگونه باثباتند؟'' ) یک سؤال تعیین کننده را در مورد دو تئوری پاسخ می‌دهد همانگونه که قبلاً بحث شد، فرضیه که ثبات پارامتر سؤال در میان نمونه‌های متفاوت آزمودنی مهمترین نقش را در توسعه و کاربرد مدل‌های تئوری سؤال- پاسخ دارد را ارائه نموده‌ است.

تئوری سؤال- پاسخ و تئوری-کلاسیک- تست: یک مقایسه تجربی از آماره‌های آزمودنی/ سؤال (قسمت سوم)

سؤال پژوهشی 1

برای اولین سؤال پژوهشی (برآوردهای توانایی آزمودنی‌ها براساس تئوری کلاسیک - تست و تئوری سؤال- پاسخ چگونه با هم قابل مقایسه‌اند (همانندند؟)،جدول 4 نتایج هم آزمون‌های ریاضی و درک مطلب و هم نمونه‌های تحت شرایط متفاوت نمونه‌گیری را ارائه می‌کند. سه مرحله در ورود ارقام داده‌ها در جدول 4 انجام شدند:

الف- از هر نمونه آزمودنی‌ها، برآوردهای توانایی تئوری کلاسیک - تست و مدل‌های یک – دو – سه پارامتری تئوری سؤال- پاسخ به ترتیب اخذ شدند.

ب- برآوردهای توانایی تئوری کلاسیک - تست و تئوری سؤال- پاسخ از هر نمونه یکسان با یکدیگر همبستگی گرفته شدند.

ح- از همبستگی‌های بین برآوردهای توانایی تئوری کلاسیک - تست و تئوری سؤال- پاسخ هر نمونه‌های مجزا معدل گرفته شد در نمونه‌های همان آزمون و تحت همان شرایط نمونه‌گیری داخل هر جدول معدل بیست ضریب همبستگی اخذ شده از 20 نمونه اتفاقی است. (هر کدام 1000=n) . در جدول 4 و تمام جداول متعاقب یک معدل ضریب همبستگی اخذ شده بوسیله :

الف) تبدیل ضرایب همبستگی انفرادی به ها Fisher z

ب) معدل Fisher Zs

ج) تبدیل معدل Fisher Z به ضریب همبستگی پیرسون

تئوری سؤال- پاسخ و تئوری-کلاسیک- تست: یک مقایسه تجربی از آماره‌های آزمودنی/ سؤال (قسمت دوم)

روش‌ها :

منابع داده‌ها :

داده‌های مورد استفاده در این مطالعه از آزمون‌های TAAS سنجش مهارت‌های دانشگاهی تگزاس اجراء شده در اکتبر 1992 برای دانشجویان گرید یازدهم می‌باشد. TAAS یک آزمون اجباری ایالتی معیار مدار شامل آزمون‌های درک مطلب، ریاضی، نوشتن است که برای سنجش تسلط در اهداف آموزش مدرسه طراحی گردیده است. آزمون نوشتن شامل هم سؤالات چند گزینه‌ای و هم سؤالات تشریحی بود. آزمون‌های درک مطلب (48سؤال) و ریاضی (60 سؤال) شامل سؤالات چند گزینه‌ای دو ارزشی نمره‌گذاری شده بصورت صحیح یا غلط بودند. سؤالات جواب داده نشده بصورت پاسخ‌های غلط نمره‌گذاری شدند. داده‌های آزمون درک مطلب و ریاضی در مطالعه حاضر استفاده شد. تعداد آزمودنی‌ها در پایگاه اطلاعاتی بیش از 000 193 آزمودنی بود. جدول 1 اطلاعات دموگرافیک عمده آزمودنی‌ها را در این پایگاه اطلاعائی ارائه می‌کند. 

تئوری سؤال- پاسخ و تئوری-کلاسیک- تست: یک مقایسه تجربی از آماره‌های آزمودنی/ سؤال (قسمت اول)

                                 

با وجود تفاوت‌های نظری بین تئوری سؤال- پاسخ و تئوری کلاسیک- تست، فقدان دانش تجربی در مورد اینکه چگونه و تا چه حدی آماره‌های آزمودنی و سؤال بطور متفاوت رفتار می‌کنند وجود دارد. این مطالعه بطور تجربی رفتار آماره‌های سؤال و آزمودنی مشتق شده از این دو چارچوب اندازه‌گیری را بررسی کرد. مطالعه بر دو موضوع تأکید داشت:

الف) چه روابط تجربی بین آماره‌های سؤال و آزمودنی تئوری سؤال- پاسخ و تئوری کلاسیک - تست وجود دارد؟

ب) آماره‌های سؤال تئوری سؤال- پاسخ و آمارهای سؤال تئوری کلاسیک - تست در نمونه‌های متفاوت آزمودنی‌ها در چه حدی باثبات هستند؟ یک پایگاه داده‌های سنجش سطح ایالتی مقیاس وسیع در این مطالعه استفاده شد. یافته‌ها نشان دادند که آماره‌های سؤال و آزمودنی مشتق شده از دو چارچوب اندازه‌گیری کاملاً با همدیگر قابل مقایسه بودند. درجه ثبات آماره‌های سؤال در نمونه‌ها، معمولاً بعنوان برتری تئوریکی مدل‌های تئوری سؤال- پاسخ را نشان داد، همچنین برای دو چارچوب اندازه‌گیری شبیه هم بدست آمد.

COPYIGHI 1998 Sage publication. Inc

یک مقایسه بین تئوری کلاسیک – تست و تئوری سؤال – پاسخ (قسمت دوم)

 

تجزیه و تحلیل داده‌ها :

دو بخش تجزیه و تحلیل داده‌ها برای اخذ ویژگی‌های روانسنجی انجام شدند. ابتدا استفاده از مراحل تئوری کلاسیک- تست است که شامل تجزیه و تحلیل سؤال است. میکروسافت Excel برای تجزیه و تحلیل و محاسبات مرتبط با تجزیه و تحلیل تئوری کلاسیک- تست استفاده شد.

 نرم افزار SPSS هم برای تعیین پایایی آزمون استفاده شد. دوم، روش تئوری سؤال – پاسخ برای کالیبراسیون دشواری‌های سؤال و آزمودنی بکار رفت. نرم افزار WINSTEPS برای این تجزیه و تحلیل‌ها بکار رفت. آزمون عملکرد افتراقی سؤال با استفاده از نرم افزار در محاسبه آماره‌های مرتبط با آزمون‌های نسبت درست نمایی تئوری سؤال- پاسخ برای تعیین سوء‌گیری سؤال در ارتباط با گروه‌های متفاوت آزمودنی انجام شد. نرم افزار وب سایت L.L آزمایشگاه روانسنجی Thurstone در دانشگاه Chapel, South Carolina Hill دانلود شد. 

یک مقایسه بین تئوری کلاسیک – تست و تئوری سؤال – پاسخ (قسمت اول)

چکیده :

هنگام ارزیابی کیفیت یک سنجش آموزشی، پایایی، روایی و سوء‌گیری سؤال در فرآیند شاخص هستند. این مطالعه، تئوری کلاسیک- تست و تئوری سؤال- پاسخ را در ارزیابی کیفیت یک سنجش ساخته شده پیشرفته تحصیلی ریاضی دانشجویان دانشگاه را بکار میبرد.

پروژه Monte Carlo (قسمت سوم)

ثبات آماره‌های سؤال تئوری سؤال- پاسخ و تئوری کلاسیک- تست:

جداول 4 و 5 نتایج شبیه‌سازی ما را که ویژگی‌های ثبات چارچوب‌های اندازه‌گیری تئوری کلاسیک – تست و تئوری سؤال- پاسخ را بررسی می‌نماید ارائه می‌کند. ارقام ثبت شده در این جداول معدل همبستگی‌های با استفاده از Fisherz transformations برآوردهای برآوردهای دشواری سؤال (جدول 4) و برآوردهای تمییز سؤال (جدول 4) مشتق شده از همان چارچوب اندازه‌گیری در 100 آزمون شبیه‌سازی شده هستند. هر آزمون دو نمونه متفاوت از آزمودنی‌های شبیه‌سازی شده پاسخگو، که در کل 200 نمونه اتفاقی آزمودنی‌ها برای هر شرایط وجود داشت. برآوردهای پارامتری سؤال تئوری سؤال- پاسخ از نمونه‌های متفاوت آزمودنی (نمونه 1 در مقابل نمونه 2) همبستگی برای اندازه‌گیری ثبات آماره‌های سؤال مبتنی بر تئوری سؤال- پاسخ اندازه‌گیری شد. آماره‌های سؤال تئوری کلاسیک-تست حاصل از نمونه‌های متفاوت بطور مشابه با یکدیگر مقایسه گردید.

پروژه Monte Carlo (قسمت دوم)

آماره‌های سؤال و آزمودنی

آماره‌های سؤال و آزمودنی تئوری سؤال- پاسخ و تئوری کلاسیک- تست برای هر سری داده‌های پاسخ ایجاد شده در این مطالعه برآورد شدند. نتایج برای قابلیت قیاس (هم نظیری)، ثبات و صحت مورد بررسی قرار گرفتند. این فرآیند 100 بار برای هر وضعیت مطالعه انجام شد. دشواری سؤال در چارچوب تئوری کلاسیک-تست بعنوان نسبت آزمودنی‌ها که بطور موفقیت آمیز به هر سؤال (مثل 100) پاسخ دادند اندازه‌گیری شد. یک شاخص دشواری سؤال بالا برای یک سؤال نشان می‌دهد که نسبت بزرگتری از آزمودنی‌ها بطور صحیح پاسخ دادند. بدین صورت، مقادیر دشواری بالا سؤالات آسان‌تر را نشان می‌دهد، در حالیکه مقادیر پایین سؤالات سخت‌تر را نشان می‌دهد. آماره‌های دشواری سؤال در چارچوب اندازه‌گیری تئوری سؤال- پاسخ برای هر سؤال بعنوان پارامتر b (دامنه‌ی حدود 2 تا 2- ) در هر دو مدل یک و دو پارامتری تئوری سؤال- پاسخ اندازه‌گیری شد. در این چارچوب، مقادیر پارامتری بالا سؤالات مشکل را نشان می‌دهند، در حالیکه مقادیر پایین سؤالات ساده را نشان می‌دهند.

پروژه Monte Carlo (قسمت اول)

با وجود امتیازات نظری شناخته شده تئوری سؤال- پاسخ نسبت به تئوری کلاسیک-تست تحقیقاتی که ویژگی‌های تجربی‌شان برای معلوم کردن تفاوت‌های پایدار قابل اثبات بودند، ناکام ماندند. این مطالعه با استفاده از تکنیک‌های Monte Carlo با داده آزمون شبیه سازی شده ویژگی آماره‌های آزمودنی و سؤال حاصل از این دو چارچوب اندازه‌گیری را بررسی نمود. یافته‌ها ارائه نمودند که برآوردهای توانایی آزمودنی و دشواری سؤال مبتنی بر تئوری سؤال- پاسخ و تئوری کلاسیک- تست در شرایط شبیه‌سازی آزمون با یکدیگر بسیار قابل مقایسه (همانند) باثبات و دقیق هستند. اگر چه، در حالیکه برآوردهای تمییزسؤال براساس تئوری سؤال- پاسخ در میان اکثر شرایط تجربی درست هستند، پارامترهای تمییزسؤال مبتنی بر تئوری کلاسیک- تست ثابت شد تنها تحت یکسری شرایط صحت دارند. کاربردهای نتایج این مطالعه برای تجزیه و تحلیل سؤال روانسنجی و انتخاب سؤال بحث می‌شود.