عنوان پایان‌نامه
تحلیل کارکرد افتراقی سوالات آمون توانش زبانی دانشگاه تهران بر اساس رشته های دانشگاهی
- رشته تحصیلی
- آموزش زبان انگلیسی
- مقطع تحصیلی
- کارشناسی ارشد
- محل دفاع
- کتابخانه دانشکده زبانها و ادبیات خارجی شماره ثبت: 2/2046;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 79076;کتابخانه دانشکده زبانها و ادبیات خارجی شماره ثبت: 2/2046;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 79076
- تاریخ دفاع
- ۱۱ مرداد ۱۳۹۵
- دانشجو
- ترانه صانعی
- استاد راهنما
- سیدمحمد علوی
- چکیده
- در تحقیق برای یافتن عادلانه بودن یک آزمون، یکی از مسایل مورد بررسی، حصول اطمینان از این مساله است که سوالات آزمون، سازه مورد نظر آزمون را اندازه گیری کنند بدون آن که به طور قابل ملاحظه ای تحت تاثیر عوامل غیر مرتبط با سازه مد نظر قرار بگیرند. یکی از این عوامل غیر مرتبط، پیشینه آزمون دهندگان می باشد (مک نامارا و رووِر، 2006). برای تحقق این هدف، محققین با بکارگیری روش هایی تحت عنوان تحلیل کارکرد افتراقی (DIF) سعی در شناسایی سوالاتی کرده اند که برای دو گروه از آزمون دهندگان عملکرد متفاوتی دارند و این عملکرد افتراقی صرفا به علت عضویت آنها در یک گروه خاص است. مطالعه حاضر، در صدد آن است که با تمرکز بر آزمون توانش زبانی دانشگاه تهران (UTEPT) و با به کارگیری مدل رَش و همچنین رگرسیون لجستیک به بررسی وجود و یا عدم وجود سوالاتی که در این آزمون برای شرکت کنندگان با رشته های دانشگاهی متفاوت عملکرد افتراقی دارند بپردازد. شرکت کنندگان در این تحقیق، 1275 آزمون دهنده بوده اند که بر اساس رشته دانشگاهی به دو گروه رشته های علوم انسانی (تعداد: 745 نفر) و رشته های علوم پایه و فنی (تعداد: 530 نفر) تقسیم شده اند. طبق نتایج مطالعه، پس از تحلیل به هر دو روش، تنها تعداد دو سوال از 100 سوال موجود در آزمون، DIF متوسط تا بزرگ نشان دادند. هر دو سوالی که عملکرد افتراقی قابل توجه داشتند از بخش لغات (Vocabulary) آزمون بوده و هر یک از دو سوال برای یکی از دو گروه آسانتر بوده و از این رو اثر یکدیگر را خنثی کرده اند. در نهایت، آزمون عاری از جانبداری (bias) بوده و همچنین نتایجِ دو روشِ به کار گرفته شده، تا حد زیادی مشابه بوده است. نتایج این تحقیق، متخصصان آزمون سازی در زبان را ترغیب می نماید که برای شناسایی جانبداری (bias) در آزمون، از ترکیبی از روش های تشخیص عملکرد افتراقی استفاده نمایند. همچنین از آنجایی که سوالاتی که عملکرد افتراقی دارند بر تحلیل داده های آزمون اثر می گذارند، این تحقیق متخصصان را بر آن می دارد که این سوالات را شناسایی کرده و در تحلیل نهایی از آزمون حذف کنند تا اطمینان حاصل شودکه آزمونی بدون جانبداری (bias) پیشِ روی شرکت کنندگان در آزمون قرار می گیرد.
- Abstract
- In investigating the fairness of a test, one concern is related to whether or not the items in a test measure the construct that they are supposed to measure and are not considerably affected by construct-irrelevant factors, one of which is the test-takers’ background (McNamara & Roever, 2006). To meet this end, researchers have applied techniques referred to as the Differential Item Functioning (DIF) techniques in order to find those items in a test that are functioning differentially for the two groups of test-takers merely as the result of the grouping factor. The present study aims to investigate the existence of academic discipline DIF in the University of Tehran English Proficiency Test (UTEPT) using the Rasch model and Logistic Regression. The participants of the study were 1,275 examinees divided into two groups based on their academic discipline, i.e. Humanities (N=745) and Science and Technology (N=530). The results of the study revealed that only two out of 100 items showed moderate to large DIF detected by both the Rasch model and the logistic regression analysis. The two DIF items detected were both Vocabulary items and canceled each other out since one of them favored the focal group and the other favored the reference group. In sum, the test was shown to be free of academic discipline DIF; furthermore, the results of the two DIF detection techniques used in the study were similar to a considerable extent. This study suggests that language testing specialists examine test bias using a combination of techniques. Moreover, since biased items affect test data analysis, this study also recommends that language testing authorities detect the biased items first and remove them from the final test data analysis.
