عنوان پایان‌نامه
توسعه یک رویکرد مبتنی بر توجه برای استفاده از دانش خبرگان
- رشته تحصیلی
- مهندسی کامپیوتر-هوش مصنوعی- رباتیک
- مقطع تحصیلی
- کارشناسی ارشد
- محل دفاع
- کتابخانه پردیس 2 فنی شماره ثبت: E 2092;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 53884
- تاریخ دفاع
- ۰۱ شهریور ۱۳۹۱
- دانشجو
- سپهر اقبالی
- استاد راهنما
- مجید نیلی احمدآبادی, بابک نجاراعرابی
- چکیده
- استفاده از دانش خبرگان می¬تواند باعث بهبود در سرعت و کیفیت یادگیری شود. با این وجود، استفاده از دانش خبرگان با خود چالش¬هایی را به همراه دارد. در قدم اول نیاز است تا مدل محاسباتی برای نمایش این دانش ارائه شود و در قدم دوم نیز لازم است تا مسئله¬ی ترکیب مناسب دانش خبرگان مختلف حل شود. یکی از ابزارهای شهودی و احتمالاتی برای نمایش دانش خبرگان شبکه¬های بیزی هستند. دو راه ممکن برای تعیین ساختار شبکه¬های بیزی استفاده از دانش خبرگان و یادگیری می¬باشد. اما یافتن ساختار بهینه برای دستیابی به خطای طبقه¬بندی پایین یک چالش بزرگ در این حوزه می¬باشد. در قسمت اول این پایان¬نامه مسئله¬ی یادگیری ساختار برای شبکه¬های بیزی طبقه¬بند مورد بررسی قرار می¬گیرد. جستجو برای یافتن ساختار بهینه یک مسئله¬ی جستجو با فضای بزرگ می¬باشد و تعداد حالت¬های ممکن ساختار نسبت به تعداد گره¬ها به صورت نمایی رشد می¬کند. برای حل این مسئله، در ابتدا مسئله¬ی یادگیری ساختار به یک فرآیند تصمیم¬گیری مارکف تبدیل شده و در قدم بعد از یکی از روش¬های یادگیری تقویتی برای حل این مسئله استفاده شده است. استفاده از روش¬های یادگیری تقویتی منجر می¬شود تا از یک جستجوی هدفمند در فضای ساختارهای ممکن بهره¬مند شویم که این امر باعث می¬شود جستجو در فضای ساختارهای بدون قید از نظر محاسباتی عملی شود. نتایج طبقه¬بندی بر روی مجموعه داده¬ها نشان می¬دهد که روش پیشنهادی می¬تواند دقت طبقه¬بندی را تا حد مطلوبی نسبت به روش¬های دیگر در این حوزه افزایش دهد. در بخش بعدی چارچوب پیشنهادی برای ترکیب نظرات شبکه¬های بیزی طبقه¬بند ارائه شده است که در آن به جای ساخت یک شبکه¬ی واحد، تعدادی شبکه¬ی بیزی طبقه ساخته و نظرات آنها در یک چارچوب مبتنی بر توجه با یکدگیر ترکیب می¬شود. ترکیب نظرات مبتنی بر توجه به یک فرایند تصمیم¬گیری مارکف تبدیل شده و سپس از روش یادگیری تقویتی بیزی برای حل آن استفاده شده است. همچنین نشان داده شده است که یادگیری شبکه¬های بیزی مختلف در قدم اول و ترکیب نظرات آنها در یک چارچوب مبتنی بر توجه در مرحله¬ی بعد باعث کاهش خطای طبقه¬بندی می¬شود.
- Abstract
- Using experts’ knowledge can accelerate the process of decision making. Nevertheless, incorporating experts’ knowledge is a challenging problem. First of all we need to represent the knowledge of experts in terms of a mathematical model. Second the problem of aggregating the knowledge of experts must be solved. One of the intuitive and probabilistic tools to represent knowledge of experts is Bayesian network. While structure learning and constructing the structure by hand according to an ensemble of domain-expert opinions are two common approaches to make a BN structure, finding an optimal structure to attain a high correct classification rate -especially for high dimensional problems- is still a challenging task. In the first part of this dissertation, we tackle the problem of structure learning for Bayesian network classifiers (BNC). Searching for an appropriate structure is a challenging task since the number of possible structures grows exponentially with the number of attributes. We formulate this search problem as a large Markov Decision Process (MDP). This allows us to tackle the problem using sequential decision making methods. Furthermore, we devise a Monte Carlo tree search algorithm to find a tractable solution for the MDP. The use of bandit-based action selection strategy enables us to have a systematic way of guiding the search, making the search in the large space of unrestricted structures tractable. The results of classification on different datasets show that the use of this method can significantly boost the performance of structure learning for BNCs. In the next part, we propose a framework - called Local Bayesian Network Experts Fusion (LoBNEF) - in that, instead of making a single network, multiple BNCs are built and their outputs are attentively fused. The attentive fusion process is learned interactively using a Bayesian reinforcement learning method. We demonstrate that learning different BNCs in the first step and then fusing their decisions in an attentive and sequential manner is an efficient and robust method in terms of correct classification rate.
