عنوان پایان‌نامه
طراحی تصمیم گیرنده های محلی با هدف افزایش کیفیت یادگیری کنترل توجه و ترکیب تصمیم
- رشته تحصیلی
- مهندسی برق-کنترل
- مقطع تحصیلی
- کارشناسی ارشد
- محل دفاع
- کتابخانه مرکزی پردیس 2 فنی شماره ثبت: E 2470;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 63699
- تاریخ دفاع
- ۱۱ مهر ۱۳۹۰
- دانشجو
- سیده زهرا رضوی
- استاد راهنما
- مجید نیلی احمدآبادی, بابک نجاراعرابی
- چکیده
- مساله ی استخراج اطلاعات از میان داده های موجود و اتخاذ تصمیم بهینه بر روی داده ی جدید، یکی از چالش برانگیزترین مسائل موجود در هوش مصنوعی است. استفاده از حسگرهای جدید و گسترش فضای ویژگی مسائل جدیدی در حوزه ی تعامل با بعضی از دسته داده ها پیش روی ما نهاد. در این پروژه، هدف ما ارائه ی قالبی برای تعامل با این دسته داده هاست. مهم ترین مسائل محرک این پروژه عبارتست از : 1) یادگیری تصمیم گیری از روی دسته داده هایی که در آن تعداد داده های موجود در مقایسه با ابعاد فضای ویژگی ناچیز است و مناطق تنک در فضای ویژگی مانع از یافتن مرزهای تصمیم گیری تعمیم پذیر می شود. 2) یادگیری تصمیم گیری از روی دسته داده هایی که در آن ها حصول همه یا برخی از ابعاد فضای ویژگی هزینه بر است و لذا تلاش می کنیم تا بعد فضای ویژگی را کمینه کنیم و زیرفضای بهینه ای از ویژگی ها بیابیم. 3) از سوی دیگر در داده های دارای ابعاد بالای فضای ویژگی ممکن است بتوان زیرفضاهایی یافت که روی همه یا بخشی از داده ها مرزهای تصمیم بهتری به دست دهد. در همین راستا ساختاری شامل مجموعه ای از طبقه بندی کننده پیشنهاد شده است که در آن هر طبقه بندی کننده به یک زیرفضای ویژگی نگاه می کند. در این ساختار دو لایه، تصمیم نهایی بر روی داده ی جدید از ترکیب تصمیم طبقه بندی کننده های محلی گرفته می شود. برای طراحی این ساختار دولایه، طبقه بندی کننده ها به صورت یکی¬یکی طراحی می شوند. به اینصورت که هر طبقه بندی کننده با یک ایده ی Boosting براساس عملکرد مجموعه ی کنونی طبقه بندی کننده ها، زیر فضای ویژگی بهینه را پیدا می کند. انتخاب زیرفضای ویژگی بهینه با یک روش خوشه بندی پیش رونده و براساس معیار جداپذیری که معرفی خواهد شد انجام می پذیرد. سپس برای اتخاذ تصمیم نهایی از روی رای طبقه بندی کننده ها، یک ایده ی ترکیب تصمیم با استفاده از یادگیری تقویتی Q استفاده می شود. در این روش با عبورهای متوالی از روی داده های آموزش شیوه ی اتخاذ تصمیم نهایی از روی تصمیم طبقه بندی کننده ها، یادگرفته می شود. به این ترتیب ساختار دولایه، شکل می گیرد. روش پیشنهاد شده، روی نه دسته از داده های استاندارد UCI پیاده سازی شده است. مقایسه ی نتایج طبقه بندی با نتایج روش های استاندارد و هم چنین دو روش اخیر در ادبیات موضوع، نشان می دهد که ساختار پیشنهادی ما می تواند عملکرد طبقه بندی را تا حد خوبی بهبود ببخشد. در عین حال روش ما با یافتن زیرفضاهای ویژگی بهینه و کاهش تعداد ویژگی های بررسی شده، هزینه¬ی نگاه کردن به ویژگی ها را نیز تا حد خوبی کاهش می دهد.
- Abstract
- In this thesis, we have proposed a framework to tackle the classification of problems having little number of data instances in high dimensional feature spaces. Our key research motivations include: 1) Learning optimal decision in datasets with sparse feature spaces are challenging specially where generalization ability is a concern. 2) Learning optimal decision in cases we confront an expensive feature extraction -e.g. medical domain- is an important requirement. In these cases we try to reduce the dimensionality and seek the optimal feature subspace(s). 3) In high dimensional data, we may need to extract subspaces in which we can find more accurate decision boundaries on the whole or just a subset of data, called ‘localities’, we try to shape them. To achieve these goals, we have proposed an approach for ensemble construction of local classifiers on different feature subspaces. The final decision is attained by fusing local classifiers’ decision. To form this two-layer-classifier-system, we designed local classifiers in a sequential manner using the philosophy of boosting, putting more effort on difficult instances at each step. Actually misclassified instances are used to find the best feature subspace by means of a forward selection scenario. In each step of the algorithm a clustering method has been employed, using candidate features. Then, the feature that maximizes the “separability index” criteria is added to the already formed subset. For the decision fusion layer, a Reinforcement Learning method is employed to learn the best rules for combination of local classifiers by going through the training instances. The method is compared with standard methods like bagging and AdaBoost, as well as two new ensemble classifiers methods proposed in recent years, on ten selected datasets from UCI Machine Learning Repository. The results demonstrated performance improvement on a large set of problems. Furthermore, the method can alleviate the cost of feature extraction, by a significant reduction on the number of total features used by a holistic classifier system.
