یک مقایسه بین تئوری کلاسیک – تست و تئوری سؤال – پاسخ (قسمت دوم)

 

تجزیه و تحلیل داده‌ها :

دو بخش تجزیه و تحلیل داده‌ها برای اخذ ویژگی‌های روانسنجی انجام شدند. ابتدا استفاده از مراحل تئوری کلاسیک- تست است که شامل تجزیه و تحلیل سؤال است. میکروسافت Excel برای تجزیه و تحلیل و محاسبات مرتبط با تجزیه و تحلیل تئوری کلاسیک- تست استفاده شد.

 نرم افزار SPSS هم برای تعیین پایایی آزمون استفاده شد. دوم، روش تئوری سؤال – پاسخ برای کالیبراسیون دشواری‌های سؤال و آزمودنی بکار رفت. نرم افزار WINSTEPS برای این تجزیه و تحلیل‌ها بکار رفت. آزمون عملکرد افتراقی سؤال با استفاده از نرم افزار در محاسبه آماره‌های مرتبط با آزمون‌های نسبت درست نمایی تئوری سؤال- پاسخ برای تعیین سوء‌گیری سؤال در ارتباط با گروه‌های متفاوت آزمودنی انجام شد. نرم افزار وب سایت L.L آزمایشگاه روانسنجی Thurstone در دانشگاه Chapel, South Carolina Hill دانلود شد. 

 

نتایج :

این بخش به سه قسمت تقسیم می‌گردد. ابتدا ارائه ویژگی‌های روانسنجی آزمون پیشرفت ریاضی است. تجزیه و تحلیل روایی و پایایی ارائه شده اینجا براساس هر دو تئوری کلاسیک- تست سؤال- پاسخ انجام شدند. بسته آماری علوم اجتماعی (SPSS 15) برای انجام تجزیه و تحلیل و بر طبق تئوری کلاسیک- تست استفاده شد. دوم، ارائه تجزیه و تحلیل‌های تئوری سؤال- پاسخ، با استفاده از نرم افزار WINSTEPS BIGSTEPS برای برآورد توانایی آزمودنی‌ها و دشواری سؤال و برازش سؤال‌ها انجام گرفتند. سوم و آخرین قسمت ارائه عملکرد افتراقی سؤال در نتیجه تجزیه و تحلیل IRTLRDIF می باشد.

 

پایایی

همسانی درونی آزمون با مقدار آلفا کرونباخ 0/77 بالا بود. این مقدار یک پایایی خوب برای آزمون پیشرفت نشان می‌دهد. صرفنظر از همسانی درونی، روش دو نیمه که منتج به ضریب Guttman 0/72 شد یک مقداری بود که نشاندهنده همسانی درونی پاسخ‌های آزمون بود. سرانجام، کودریچاردسون، KR20 هم در تعیین همسانی درونی با مقدار 0/90 بدست آمد.

 

دشواری سؤال و تمییز سؤال

هر شاخص دشواری و شاخص تمییز سؤال با استفاده از تئوری کلاسیک- تست بدست آمد. نشان می‌دهد که (٪73) 27 سؤال‌ها، سؤال‌های متوسط هستند. باقی مانده ٪27 به  سؤالات آسان و دشوار تعلق دارند. این نتیجه دلالت بر این داشت که آزمون پیشرفت نسبتاً دشوار بود زیرا بیش از نیمی از آزمودنی‌ها به بیشتر سؤالات به درستی پاسخ دادند. اما، با ملاحظه اینکه آزمودنی‌ها در رشته‌های ریاضی و انگلیسی بودند، نتایج همچنین می‌توانست این معنی را دهد که آنها واقعاً توانایی جواب سؤالات حتی دشوار را بدهند. رشته‌های انگلیسی و ریاضی آزمون صلاحیت سخت برای رسیدن به مرحله تخصصی دارند. از این رو، برای انتخاب رشته در ریاضی و انگلیسی، آزمودنی‌ها باید یک نمره بالای متوسط در آزمون ورودی دانشگاه بدست آورده باشند.

از 37 سؤال در نظر گرفته شده در آزمون، فقط ٪ 3 یا ٪8 سؤالات ضعیف بودند. این سؤالات رد شدند. فقط دو سؤال (سؤالات مرزی) نیاز بود ارتقاء یابند. 30 یا٪81 سؤالات یا خوب بودند یا خیلی خوب بودند. این فقط نشان می‌دهد که عموماً، سؤالات آزمون پیشرفت واقعاً توانایی یادگیری آزمودنی‌ها را ارائه می‌کند. بیشتر سؤالات می‌تواند گروه‌های عملکردی بالا و پایین را بخوبی متمایز کند.

 

مدل یک پارامتری – راش :

مدل راش برای پاسخ‌های 80 آزمودنی در آزمون پیشرفت در فرم اصلی‌اش برای 40 سؤال چند گزینه‌ای بکار گرفته شد. ابتدا، قبل از هر تفسیر داده‌ها جدایی و پایایی سؤال و آزمودنی بررسی شدند. مقادیر جدائی آزمودنی و پایایی برای داده‌های آزمایشی 1/84 ، 0/77 به ترتیب بودند. جدایی آزمودنی تعداد گروه‌های آزمودنی‌ها که بر طبق توانایی‌اشان می‌توانند تفکیک شوند را نشان می‌دهد. از این رو، در این مورد تقریباً دو سطح متفاوت عملکرد در نمونه وجود دارند. همچنین، جدایی و پایایی سؤال برای داده‌های آزمایشی به ترتیب 4/4 و 0/95 بودند (جدول 1).

با ملاحظه اندازه نمونه متوسط، پایایی‌های آزمودنی و سؤال برای ادامه تجزیه و تحلیل مناسب بودند. 

 

 جدول 1 : خلاصه اندازه‌های آزمودنی 

 

همه  سؤالات با پیش‌بینی‌های مدل راش برازش داشتند. بعبارت دیگر، همه سؤالات آماره‌های infit , outfit  

 ZSTD بین 2 و 2- (جدول 2) داشتند.

تفسیر سؤال (که سؤالات در سمت چپ و آزمودنی‌ها از طریق تعدادشان نشان داده می‌شوند) به منظور تعیین فاصله‌ها در جاهایی که یک تعداد آزمودنی‌ها در طول پیوستار بدون سؤال هدفمند در آن سطح توانایی قرار گرفتند بررسی شد. (شکل 1 برای دوایری که فواصل را نشان می‌دهند). سؤالاتی که ملحق می‌شوند باعث ایجاد سطوح متناظر دشواری و فراهم نمودن اندازه‌های دقیق‌تر توانایی‌های آزمودنی در این سطوح می‌شوند. توجه کنید که فواصلی بین سؤال 27 و سؤال 23 با نزول 5 آزمودنی در این دامنه توانایی وجود دارد. مشابهاً، 12 آزمودنی در فاصله بین سؤال 31 و 38 تنزل داشتند و الی آخر. اضافه نمودن سؤالات در این سطوح دشواری اندازه‌های دقیق‌تری را برای آزمودنی‌ها در این سطوح توانایی فراهم می‌نماید.

 

جدول 2- آماره‌های سؤال ترتیب عدم برازش: 

 

نقشه‌ی سؤال همچنین برای بررسی اینکه آیا دشواری سؤالات در همه پنج حیطه محتوا گسترده شده است یا نه به کار رفت: الگوها و روابط، معادلات و فواصل، هندسه و مثلثات، اشکال، نواحی و مقادیر و ترکیب و احتمال، از برآیند نقشه سؤال می‌توان استنتاج نمود که دشواری سؤالات در سرتاسر حیطه‌ها بخوبی توزیع شدند.

 

 تجزیه و تحلیل عملکرد افتراقی سؤال:

نتیجه روش IRTLRDIF برای همه‌ی سؤالات آزمون پیشرفت در شکل 2 نشان داده می‌شود. آزمون‌های معنی‌دار برای سؤالات 3 ، 4 ، 7 ، 8 ، 11 ، 36 ، 38 ، 40 عملکرد افتراقی سؤال را نشان دادند. رشته‌های انگلیسی احتمال بیشتری در پاسخ دهی در طبقه‌های در نمره پایین‌تر سؤال 3 داشتند که از طریق مقدار (chi-square (x²=3/84 بزرگتر از مقدار شاخص x=3/84 به اثبات رسید . مقادیر مشابه معنی‌دار در سؤالات 4 ، 7، 8، 11 ، 36، 38 و 40 با محاسبه مقادیر chi-square و 6/4 و 4/9 و 4/6 و 3/9و8/1 و 14/11 و 5/5 به ترتیب ملاحظه شدند. این نتایج نشان می‌دهد که دشواری عملکرد افتراقی سؤال را در سطح دو گروه و در نتیجه، آزمودنی‌های رشته انگلیسی و ریاضیات ممکن است احتمال‌های متفاوتی در کسب نمرات یکسان داشته باشند. از طرف دیگر، براساس امتحانات محدود سؤالات، ممکن است این مفهوم را در برداشته باشد که این مفاهیم سؤالات ویژه بطور عمقی در رشته‌های انگلیسی بحث نگردیدند. با این وجود، همه این سؤالات با عملکرد افتراقی سؤال برای مرور یا طور دیگری بیان شدن به روشی که بایستی برای هر دو گروه آزمودنی‌ها تعادل ایجاد کند نشان‌دار شدند.

براساس نتایج آزمون، مؤلف همه سؤالات نشان دار شده را برای مرور در تجزیه و تحلیل تئوری سؤال-پاسخ مورد بازبینی قرار داد. سؤال 9 در آزمون پیشرفت متعلق به ساده‌ترین سؤالات بود، با این وجود، هیچ آزمودنی قادر به پاسخگوئی به آن نبود. سؤال رد خواهد شد یا بطور کامل مورد بازبینی قرار خواهد گرفت تا بعنوان اولین سؤال در سعی برای تعیین وضع یک سؤال سادتر در سنجش آزمودنی قرار گیرد. سؤال با واژه‌های دیگری بیان خواهد گردید زیرا مؤلف احساس کرد آزمودنی‌ها سؤال را بیش از حد تجزیه و تحلیل می‌کردند. سؤال با همبستگی منفی سؤال- کل آزمون (سؤال 7) حذف خواهد شد زیرا سؤال در کل گیج کننده بود.

در کل، از نتیجه تجزیه و تحلیل چنین استنتاج شد که آزمون پیشرفت یک آزمون خوب بود. اگر چه سؤالاتی وجود دارند که حذف، بازبینی، و با عبارات دیگر بیان شدند، بیشتر سؤالات خوب بودند در حالیکه روش‌های تئوری کلاسیک- تست و تئوری سؤال- پاسخ در خیلی از روش‌ها متفاوتند، نتایج تجزیه و تحلیل با استفاده از این روش‌ها چنین اختلافی را نشان نمی‌دهد.

سؤالاتی که بصورت سؤالات بد در تئوری کلاسیک- تست بودند البته در مدل راش برازش نداشتند. سؤالات 7، 9، 16، 24 ، 26 اگر در تئوری کلاسیک- تست سؤالات ضعیف نبودند بصورت سؤالاتی مرزی بودند. این سؤالات همچنین در نهایت اندازه‌های منطقی کفایت در عدم برازش با مدل ویژگی مکنون ظاهر شدند.

بطور شگفت انگیزی، تعدادی از سؤالات در تجزیه و تحلیل عملکرد افتراقی سؤال بصورت سوء دار ظاهر شدند. سؤالات 3 ، 4 ، 7 ، 8 ، 11 ، 36 ، 38 و 40 برای مرور و حذف سوء‌گیریشان در رشته‌های ریاضیات تعیین گردیدند (جدول 2). اگر چه می‌توانست گفته شود که رشته‌های ریاضیات در آزمون‌گیری امتیاز دارند، نبایستی در آنجا متوقف شوند. آزمون به منظور اندازه‌گیری دانش فرضی که بوسیله آزمودنی بدست آمد صرفنظر از رشته تخصصی‌اش ساخته شد. علاوه بر این، بیشتر سؤالات از سؤالات ریاضیات در واحد آموزش عمومی زبان انگلیسی جائی که هیچ سوء‌گیری در سؤالاتش تست الگوبرداری شدند.

 

منبع:

 

The International journal of Educational and psychological Assessment. April 2009 Vol . 1, Issue 1 , pp. 19-26

Evaluation of Mathematics Achievement Test: A Comparison between CTT and IRT.

 

 

Romel A.Morales

 

 

University of Eastern Philippines , Northern, Northern samar