عنوان پایان‌نامه
ترکیب شبکه های عصبی برای حل مسائل طبقه بندی باتاکید بر پارامترهای گوناگونی ومنظم سازی
- رشته تحصیلی
- علوم کامپیوتر
- مقطع تحصیلی
- کارشناسی ارشد
- محل دفاع
- کتابخانه پردیس علوم شماره ثبت: 4619;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 51142
- تاریخ دفاع
- ۳۰ شهریور ۱۳۹۰
- دانشجو
- سعید مسعودنیا
- استاد راهنما
- مرتضی محمدنوری
- چکیده
- در حل مسائل طبقه بندی پیچیده، ترکیب طبقه بندها یکی از روش های متداول در بهبود کارایی نسبت به یک طبقه بند منفرد است. پارامترهای متعددی در میزان این بهبود کارایی موثراند که از آن جمله می توان به گوناگونی بین طبقه بندهای پایه و به کارگیری منظم سازی در جهت بهبود قابلیت تعمیم روش ترکیبی اشاره کرد. سیستم های ترکیب طبقه بندها از دو جز اصلی تشکیل شده اند یادگیری طبقه بندهای پایه و روش ترکیب خروجی. در این تحقیق از شبکه های عصبی به عنوان طبقه بندهای پایه و از روش اختلاط خبره ها به عنوان روش ترکیب استفاده شده است. در ابتدا تاریخ چه روش های مبتنی بر اختلاط خبره ها بررسی شده و در ادامه با ارائه یک طبقه بندی جدیدی، روش های این گروه بر حسب نحوه تقسیم فضای مساله به دو گروه تقسیم بندی کرده ایم. بر مبنای ویژگی های مکمل این دو دسته، روش ترکیبی بهبودیافته ای بر پایه اختلاط خبره ها به نام اختلاط خبره های جهت دهی شده اولیه معرفی شده است که کارایی را نسبت به روش های پایه هر دو گروه بهبود داده است. در ادامه روش اختلاط خبره ها از نظر دو پارامتر گوناگونی و منظم سازی بررسی شده و با استفاده از عبارت کنترل همبستگی در روش یادگیری همبستگی منفی، یک عبارت کنترل گوناگونی به تابع خطای اختلاط خبره های پایه افزوده شده است. عبارت اضافه شده، همانند یک عبارت منظم سازی عمل کرده و با تنظیم شبه-بهینه موازنه بایاس-واریانس-کوواریانس موجب افزایش قابلیت تعمیم روش اختلاط خبره ها شده است. بر حسب ویژگی های آن، روش بهبود یافته ی حاصل را، روش اختلاط خبره هایی با همبستگی منفی نامیده ایم. آزمایشات متنوعی برای بررسی ویژگی های این روش انجام و نشان داده شده که روش پیشنهادی در مقایسه با اختلاط خبره های پایه، نرخ طبقه بندی را به طور قابل توجهی افزایش داده است.
- Abstract
- In this thesis, we present our investigation and developments of neural network ensembles, which have attracted a lot of research interests in machine learning and have many fields of applications. More specifically, the thesis focuses on two important factors of ensembles in the Mixture of Experts (ME) model, including the diversity among ensemble members and the regularization. Firstly, we investigate the earlier works on the ME, in which different strategies were developed to divide problem space between the experts. In order to review and analyze these methods more clearly, based on this criterion, we present a categorization in the ME literature. In this categorization, based on the kind of used partitioning strategy, various ME’s implementations are classified into two groups: Mixture of Implicitly Localized Experts (MILE) and Mixture of Explicitly Localized Experts (MELE). Based on the complementary features of both groups, we propose a hybrid ME to incorporate the explicit decomposition of the problem space in the implicit training algorithm of ME in a hybrid learning structure. This hybrid ensemble method is comprised of two steps. In the first step, a decomposition priori acquired by clustering of data is pre-loaded (initialized) in the ME model. In the second step, the conventional learning algorithm of ME is performed. Therefore, we call this hybrid procedure as the Pre-loading in Mixture of Experts. Theoretic analysis and experimental results on an artificial dataset and several real classification benchmark problems showed that Mixture of Pre-loaded Experts method exhibits better performance with more robustness in comparison with the other compared implementations of ME model. Secondly, this thesis investigates the effect of two important factors, including diversity and regularization on the performance of ME model. In this investigation, using the capability of a control parameter for Negative Correlation Learning (NCL) is incorporated in the error function of ME, which enables the training algorithm of ME to establish better balance in accuracy-diversity trade-offs. This control parameter can be regarded as a regularization term added to the error function of ME to provide a convenient way to balance the bias-variance-covariance trade-offs and thus improves the generalization ability. According to the nature of this approach, the proposed method is called Mixture of Negatively Correlated Experts (MNCE). The theoretical analysis and experimental results with various classification benchmark problems show that the proposed hybrid ensemble method preserves the beneficial features of their components and overcomes their deficiencies and displays significantly better performance than the ME and NCL methods. Additionally, several experiments were conducted to investigate the performance of MNCE in comparison with ME in terms of bias-variance-covariance. These experiments show that MNCE controls not only the variance and covariance of the experts but also the bias of the ensemble system; thus, reducing the bias and MSE significantly. Keywords: Combination of Classifiers, Diversity, Regularization, Neural Networks Ensemble, Mixture of Experts, Negative Correlation Learning
