عنوان پایان‌نامه
بررسی کارکرد افتراقی سوال در یک آزمون توانش زبانی: بررسی نقش دانش پیشین
- رشته تحصیلی
- آموزش زبان انگلیسی
- مقطع تحصیلی
- کارشناسی ارشد
- محل دفاع
- کتابخانه دانشکده زبانها و ادبیات خارجی شماره ثبت: 1492/2;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 49998
- تاریخ دفاع
- ۳۰ آذر ۱۳۸۹
- دانشجو
- حسین کرمی
- استاد راهنما
- سیدمحمد علوی
- چکیده
- در طول سه دهه ی اخیر، نگرانی های فزاینده ای در مورد عادلانه بودن آزمون های توانش زبانی ابراز گردیده است. رویکرد عمومی بر این اساس بوده است که عادلانه بودن آزمون ها بر پایه روایی برابر آزمون برای گروههای مختلف تعریف شود (کمیلی، 2006; کین، 2010). یکی از متداولترین روش ها برای بررسی روایی یکسان کارکرد افتراقی سوال (DIF) می باشد. مطالعه حاضر از مدل رش برای بررسی وجود DIF میان عملکرد آزمودنی هایی با دانش آکادمیکی متفاوت در یک آزمون توانش زبانی، آزمون زبان عمومی دانشگاه تهران (UTEPT) استفاده کرده است. شرکت گنندگان در این مطالعه (N = 5236) از بین 7355 شرکت کننده در آزمون UTEPT سال 2004 انتخاب شده اند. رشته تحصیلی 3585 نفر از آنها علوم انسانی و 1651 نفر باقیمانده علوم پایه و فنی بوده است. نتایج نشان داد که 68 درصد از سوالات کارکرد افتراقی داشته اند. به رغم وجود کارکرد افتراقی در بسیاری از سوالات، مقایسه اندازه گیریها در کل آزمون و یک آزمون دیگر متشکل از سوالاتی که کارکرد افتراقی نداشته اند نشان داد که تورش در آزمون وجود ندارد. با این وجود، نتایج نشان داد که وجود تعداد زیادی سوال با کارکرد افتراقی منجر به تورش در زیرآزمون ها می شود. نتیجه های مطالعه حاضر عادلانه بودن آزمون UTEPT را زیر سوال می برد. همچنین نواقص روش های آماری بررسی عادلانه بودن آزمون مورد مداقه قرار می گیرد.
- Abstract
- Growing concerns have been voiced about the fairness of language tests during the last three decades. The general trend has been to define fairness in terms of equivalent validity for different groups (Camilli, 2006; Kane, 2010). One of the most widely applied techniques for ensuing comparative validity has been Differential Item functioning (DIF). The present study makes use of the Rasch model to investigate the presence of DIF between examinees from different academic backgrounds taking a high stakes language proficiency test, the University of Tehran English Proficiency Test (UTEPT). The participants (N=5236) of this study have been screened from a population of 7355examineeswho had taken the UTEPT in 2004. They were from two major academic backgrounds: Humanities (N=3585) and Science and Technology (N=1651).Theresults indicated that 68 percent of the items are functioning differentially for the two groups. Also, 32 percent of the items are functioning neutrally. Despite the presence of a large number of DIF items in the test, the comparison of mean measures received from the total test and that of a test comprising only neutral items showed that the total test is not biased against any group. Nevertheless, there is evidence that the presence of a large number of DIF items may lead to biased subtests. It is concluded that the overall fairness of the test is under question. In light of the results of the present study, the limitations of statistical approached to fairness analysis are also discussed.
