یک مقایسه بین تئوری کلاسیک – تست و تئوری سؤال – پاسخ (قسمت اول)

چکیده :

هنگام ارزیابی کیفیت یک سنجش آموزشی، پایایی، روایی و سوء‌گیری سؤال در فرآیند شاخص هستند. این مطالعه، تئوری کلاسیک- تست و تئوری سؤال- پاسخ را در ارزیابی کیفیت یک سنجش ساخته شده پیشرفته تحصیلی ریاضی دانشجویان دانشگاه را بکار میبرد.

نمونه این مطالعه شامل دانشجویان رشته دبیری انگلیسی سال سوم و ارشد از دانشگاه فیلیپین شرقی در سمر شمالی هستند. یک نمونه 80 آزمودنی برای این مطالعه اخذ شد. آزمون پیشرفت ریاضی که برای دانشجویان دانشگاه طراحی شده بود بوسیله‌ی مؤلف مورد استفاده قرار گرفت. داده‌ها در دو بعد تجزیه و تحلیل شدند. اول، ویژگی‌های روانسجی با استفاده از تئوری کلاسیک- تست و تئوری سؤال- پاسخ تجزیه و تحلیل شدند؛ دوَم ،کشف سؤال سودار با استفاده از یک روش عملکرد افتراقی سؤال

یک آزمون پیشرفت ریاضی در یک تلاش برای غلبه بر ضعف‌های عملکرد دانش آموخته‌های آموزش دبیری در حیطه ریاضی در امتحان اخذ گواهی دبیران (LET) طراحی شد. این سنجش هم راستا با اهداف اختصاصی برنامه درسی ریاضی دانشکده و هم آهنگ با توانایی ریاضی مورد نیاز در امتحان مدرک دبیری است. امید است عملکرد دانشجویان ما در این آزمون پیشرفت عملکردشان را در حیطه ریاضی آزمون پیشرفت عملکردشان رادر حیطه ریاضی آزمون مدرک دبیری پیش‌بینی نماید.

تئوری کلاسیک – تست و تئوری سؤال- پاسخ بعنوان دو چارچوب اندازه‌گیری خیلی متفاوت بطور رایج درک شده‌اند. اگر چه تئوری کلاسیک- تست بوسیله جامعه اندازه‌گیری بیشتر اوقات به کار رفته است، تئوری سؤال- پاسخ در دهه‌های اخیر جای خود را کسب کرده و دارد چارچوب اندازه‌گیری مورد علاقه می‌شود. امتیاز اصلی تئوری کلاسیک- تست فرضیات تئوری نسبتاً ضعیفش است که کاربرد تئوری کلاسیک تست را در خیلی موقعیت‌های آزمونی آسان می‌سازد. 

محدودیت‌های اصلی‌اش شامل: آماره آزمودنی وابسته به سؤال است و آماره سؤال همچون دشواری سؤال و تمییز سؤال وابسته به نمونه‌اند.(Hambleton & jones,1993)

از طرف دیگر، تئوری سؤال – پاسخ که بیشتر زمینه تئوری دارد و توزیع موفقیت آزمودنی را در سطح سؤال طرح می‌دهد. همانطور که از نامش دلالت می‌کند، تئوری سؤال- پاسخ اساساً بر اطلاعات سطح سؤال تأکید دارد در مقابل اصل تئوری کلاسیک – تست که بر اطلاعات سطح آزمون تأکید می‌کند. چارچوب تئوری سؤال- پاسخ شامل گروهی از مدل‌هاست، و کاربرد هر مدل در یک موقعیت ویژه بستگی به ذات سؤالات آزمون و عملی بودن فرضیات نظری متفاوت در مورد سؤالات آزمون است.

اندازه‌گیری در ساخت یک سنجش کیفیت دانشجوئی، حتی در مورد سنجش‌های طراحی شده کلاسی یا غیراستاندارد یک اصل است. اندازه‌گیری متغیرها یکی از مراحل ضروری در فرآیند تحقیق است. چه چیزی ابزارهای آماری را در تجزیه و تحلیل داده‌ها دنبال می‌کند. از این رو، تفسیر تجزیه و تحلیل داده‌ها فقط می‌توان بخوبی کیفیت اندازه‌ها باشد. (Bond & Fox 2001) .

اگر چه تعداد زیادی از کتب مرجع آزمون و اندازه‌گیری، تئوری کلاسیک- تست را بعنوان تنها روش تعیین کیفیت یک سنجش ارائه می‌نمایند، تئوری سؤال – پاسخ یک روش جایگزین برای رویکرد کلاسیک- تست را معرفی می‌نماید. چون تئوری کلاسیک- تست ریشه در یک فرآیند وابستگی نسبت به اندازه‌گیری دارد، آن تئوری متکی به متغیر دشواری سؤال برای دقت و درجه بندی نیست و متکی به نمره کل که توانایی اندازه‌گیری شده را نشان می‌دهد هم متکی نیست (Siro tnic ,1987) .از این رو، ضعف‌های تئوری کلاسیک- تست موجب شده است تئوری سؤال پاسخ توجه پژوهشگران را جلب کند زیرا تئوری سؤال- پاسخ در جایی که تئوری کلاسیک- تست امتیازاتی ندارد آن امتیازات را فراهم می‌نماید (DeAyala , 1993 ; Welch & Hoover 1993 ) .تئوری تئوری سؤال- پاسخ براساس دو فرضیه اساسی است. اول، یک آزمودنی تواناتر بایستی احتمال بیشتری از موفقیت در سؤالات سنجش نسبت به یک آزمودنی کم‌ توان‌تر داشته باشد. دوم، هر آزمودنی همیشه احتمال بیشتر دارد که در یک سؤال آسانتر نسبت به سؤال مشکل‌تر دیگر بهتر پاسخ دهد. تئوری سؤال- پاسخ فرض می‌پندارد که دشواری سؤال مشخصه‌‌ای است که بر پاسخ‌های آزمودنی اثر می‌گذارد و توانایی آزمودنی مشخصه‌ای است که بر برآوردهای دشواری سؤال اثر می‌گذارد (Linacre , 1999) . از این رو، در ساخت سنجش‌ها بایستی ملاحظات دقیقی در نظر گرفته شود. سؤالات بایستی آنچنان واضح و مختصر نوشته شوند طوریکه توسط حدس آسیب‌پذیر نباشند.

 در ارزیابی کیفیت یک ابزار سنجشی، یک بحث پایایی و روایی لازم است. پایایی درجه‌ای است که در آن یک ابزار توانایی یک فرد یا یک گروه را بدون تناقض اندازه می‌گیرد.

روایی درجه‌ای است که در آن یک وسیله آنچه مورد هدف است را اندازه می‌گیرد. تئوری کلاسیک- تست یک روش خیلی ساده برای تعیین روایی و پایایی یک آزمون ارائه می‌کند. تجزیه و تحلیل سؤال کلاسیک یک روشی را در خصوص انجام این کار برای ما فراهم می‌نماید. یک نفر می‌تواند از طریق در معرض قرار دادن کل یک آزمون که به آزمون‌های ساده آماری منتهی می‌شود، روایی و پایایی آزمون را تعیین نماید. از طرف دیگر، تئوری سؤال- پاسخ یک روش مشکل‌تر اما قابل اطمینان‌تر در تعیین روایی و پایایی آزمون ارائه می‌کند. اگر تئوری کلاسیک- تست بر کل یک آزمون تأکید  می‌کند، تئوری سؤال پاسخ بر هر سؤال و هر آزمودنی تأکید دارد. مدل‌های صفت مکنون در طراحی آزمون برای اهداف طراحی فرم‌های آزمون، معادل ارتقاء آزمون‌ها که بین سطوح توانایی تمییز قائل می‌شود، و ارتقاء سیستم آزمون انطباقی مورد استفاده قرار می‌گیرند. همچنین، تئوری سؤال- پاسخ برای بررسی سوء‌گیری سؤال مورد استفاده قرار می‌گیرد. اگر همه‌ی زیر جامعه‌ها بطور برابر بوسیله منابع یکسان واریانس تحت تأثیر قرار بگیرند، از این رو برای هر دو گروه منحنی‌های ویژگی سؤال مشابه تولید می‌کنند، یکسری سؤالات را می‌توان بدون سوء‌گیری در نظر گرفت (Cole & Moss,1985) اگر یک سؤال آزمون معانی ضمنی متفاوتی برای گروه‌های متفاوت داشته باشد، آنگاه عملکرد آزمودنی‌ها در آن سؤال ممکن است بعنوان منابع گوناگون غیر مرتبط به سطح توانایی لحاظ شود. این موضوع بعنوان عملکرد افتراقی سؤال ارجاع داده می‌شود و می‌تواند باعث سوء‌گیری سؤال گردد (Crocker & Algina,1986) . همچنین ، اگر یک منبع واریانس غیر مرتبط یک امتیاز نادرستی را به یک گروه در مقایسه با گروه دیگر ندهد، یکسری از سؤالات بدون سوء‌گیری در نظر گرفته می‌شود. (Scheuneman,1979).

متأسفانه، بررسی سو‌ء‌گیری سؤال بصورت قطعی واضح نیست. تئوری سؤال پاسخ، به خوبی  chi-square و دشواری سؤال، می‌تواند سؤالات را بصورت سوء دار نشان دار کند حتی اگر سوء دار نباشند (park & lautenschlager , 1990) . همچنین در نتیجه تفاوت‌ها میان منحنی‌های ویژگی سؤال، چند بعدی‌گرایی بجای سوء‌گیری سؤال می‌تواند با تئوری سؤال- پاسخ اشتباه گرفته شود. حتی وقتی که سوء‌گیری سؤال وجود ندارد تفاوت‌های منحنی‌ ویژگی سؤال می‌تواند رخ دهد. این تمایز می‌تواند نشان دهد که سؤالات تک بعدی نیستند.

روش‌های شناسایی عملکرد افتراقی سؤال می‌تواند اثرات آزمون‌های پیشرفت را بر زیر جامعه‌های مختلف بررسی نماید.(Zwick , Thayer & Mazzeo , 1997) . بعضی تحقیقات روش‌های تجزیه و تحلیل عملکرد افتراقی سؤال را که در ارتباط با انطباق نمرات آزمون آزمودنی‌های دو گروه را ارزیابی کرده‌اند و سپس تفاوت‌های عملکرد سؤال را برای آزمودنی‌های انطباق داده شده مقایسه نمودند (zwick etal,1997;Ackekerman & Evans,1994) . چنین روش‌های شناسایی غیر پارامتریک شامل روش Mantel-Haenzsel و روش shealy و سوگیری سؤال همزمان (Stout (SIBTEST می باشد. اگر چه این روش‌ها قدرت شناسایی، عملکرد افتراقی سؤال غیر یکپارچه را که حتی ممکن است هنگام بررسی سؤالات چند ارزشی بدلیل راههای گوناگون که نمرات سؤال می‌تواند با نمره کل داشته باشد مهمتر باشند، را ندارد (Spray & Miller,1994). روش جدیدتر شناسایی سوء‌گیری سؤال هم وجود دارد، آزمون نسبت درست نمایی عملکرد افتراقی سؤال (IRTLRDIF).از میان همه روش‌های در دسترس برای شناسایی و اندازه‌گیری عملکرد افتراقی سؤال، روش نسبت درست نمایی نسبت تئوری سؤال- پاسخ به رقبایش دارای چندین امتیاز است. روش‌های LRT-LR در ارتباط با آزمون‌های مستقیم فرضیه‌ها در مورد پارامترهای مدل‌های تئوری سؤال- پاسخ هستند، آنها ممکن است عملکرد افتراقی سؤال برخاسته از میزان‌های دشواری افتراقی، روابط افتراقی با ساختار تحت اندازه‌گیری، و یا حتی میزان‌های حدس افتراقی را شناسایی کنند (Thissen,2001). این دلیلی است که چرا مؤلف این روش را در شناسایی سوء‌گیری سؤال استفاده کرد.

اهداف اصلی مطالعه حاضر تجزیه و تحلیل ویژگی‌های روانسنجی ابزار اجرا شده در دو گروه متفاوت آزمودنی‌ها با استفاده از روایی و پایایی ابزار در دو چارچوب CTT-IRT و تعیین عملکرد افتراقی سؤال (DIF) برای  برای هر سؤال بودند. آزمونی که پیشرفت را در دانشکده ریاضیات اندازه‌گیری کرد معیار مدار بود طوریکه نمرات آزمون سطح کفایت را در حیطه تعریف شده ریاضیات تعیین کرد.

 

روش

آزمودنی‌ها

در کل 80 آزمودنی (34 آزمودنی در رشته ریاضی، 46 آزمودنی در رشته انگلیسی) در امتحان پیشرفت ریاضی در طی دوره پایایی نیم فصل دوم، سال تحصیلی 2009-2008 شرکت کردند.

 

اندازه‌گیری

آزمون پیشرفت ریاضی، یک سنجش چندگزینه‌ای طراحی شده برای اندازه‌گیری توانایی ریاضی دانشجویان دانشگاه اجراء شد. طراح یک آزمون پیشرفت ریاضی را تشکیل شده از 40 سؤال چند گزینه‌ای با پنج پاسخ انتخاب طراحی نمود. آزمون پیشرفت با دو گروه دانشجویان سال سوم و دانشجویان ارشد آموزش دبیری بصورت آزمایشی برگزار شد. اولین گروه شامل رشته‌های ریاضی بودند،در حالیکه دومین گروه همه شامل رشته‌های انگلیسی بودند. سؤالات در آزمون پیشرفت به پنج حیطه محتوا طبقه‌بندی شدند: الگوریتم‌ها و روابط، معادلات و فواصل، هندسه و مثلثات ، اشکال، نواحی و مقادیر و ترکیبات و احتمال. در تمام حیطه‌ها، ساختار اصلی آموزش دبیری ریاضی یکسان می‌ماند، از این رو، چارچوب نظری تک بعدی گیری محفوظ می‌ماند. آزمون بوسیله یک پروفسور ریاضی در دانشکده آموزش همان دانشگاه از لحاظ روایی محتوا پوشش داده شد. پیشنهادات اخذ شدند و آزمون بر طبق آنها تجدید نظر شد.

 

 روش

اساتید همکار که آزمون را برای دانشجویان ارشد اجرا کردند همان‌هایی بودند که آزمون را برای سطح دانشجویان سال سوم برگزار کردند. بعد از اخذ دستورالعمل اختصاصی برای آزمون به دانشجویان آزمون داده شد. آزمون همزمان برای دو گروه از دانشجویان اجراء شد. دانشجویان آزمون را در دو ساعت تحت مراقبت اساتیدشان به پایان رساندند. هدف ناظر این امتحان نظارت آزمون در جهت حداقل نمودن خطاهای اندازه‌گیری که می‌توانست در طی یک آزمون واقعی ایجاد شود.

 

 

 

ادامه دارد...

 

منبع:

 

The International journal of Educational and psychological Assessment. April 2009 Vol . 1, Issue 1 , pp. 19-26

Evaluation of Mathematics Achievement Test: A Comparison between CTT and IRT.

 

 

Romel A.Morales

 

 

University of Eastern Philippines , Northern, Northern samar