عنوان پایان‌نامه
طراحی عامل های یادگیر با استفاده از روش های تکاملی
- دانشجو
- زینب طالب پور
- استاد راهنما
- مجید نیلی احمدآبادی, بابک نجاراعرابی
- رشته تحصیلی
- مهندسی کامپیوتر - هوش مصنوعی - رباتیک
- مقطع تحصیلی
- کارشناسی ارشد
- محل دفاع
- کتابخانه مرکزی پردیس 2 فنی شماره ثبت: E 2366;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 61525
- تاریخ دفاع
- ۳۰ شهریور ۱۳۹۱
- چکیده
- طراحی سیستم سنسوری برای عامل هوشمند با پیچیده شدن ساختارهای ممکن برای عامل با شیوه‌های معمول قابل انجام نیست. به منظور خودکار نمودن این روند ایده استفاده از روش‌های تدریجی که سمت و سویی از سیستم‌های ساده به سمت سیستم‌های پیچیده دارند مناسب به نظر می‌رسد. طراحی سیستم سنسوری برای عامل‌ها بعنوان زیرمجموعه‌ای از مساله طراحی در حالت کلی در این پژوهش مورد نظر می‌باشد. تغییرات سیستم سنسوری بدلیل تاثیرات ساختاری آن و اثر آن در دستیابی به رفتار مناسب برای هر سیستم بدلیل ماهیت تعاملگرانه‌ای که با محیط اطراف دارد می‌بایست در دو مقیاس زمانی متفاوت صورت گیرند. بدین منظور تغییرات ساختاری با سرعت کمتر را بر عهده تکامل و تغییرات رفتاری با سرعت بیشتر را بر عهده یادگیری قرار می‌دهیم. در این جریان تدریجا بر اساس یک متدولوژی پیچیدگی را افزایش می‌دهیم. سیستم سنسوری بر پایه تکامل تعیین شده و بر اساس آن یک رفتار مناسب توسط یادگیری فراگرفته می‌شود و بر اساس کیفیت این جواب مطلوبیت هر سیستم سنسوری مشخص می‌گردد. حتی با وجود یک رویکرد تدریجی از ساده به پییچیده، با افزایش پیچیدگی سیستم سنسوری، یادگیری کندتر و پرهزینه‌تر می‌گردد. زیرا با افزایش ادراک عامل از محیط، تعامل عامل پیچیدگی بیشتری پیدا خواهد کرد. در این میان استفاده از دانش نسل‌های گذشته می‌تواند راهگشا باشد. انتقال دانش کمک می‌کند تا نسل بعدی با سیستم سنسوری جدید و پیچیده‌تر بتواند از دانش نسل قبلی با سیستم سنسوری متفاوت و ساده‌تر استفاده کند. بدلیل ایجاد عامل‌های ناهمگون که ناشی از تفاوت در ادراک حاصل از تفاوت در سیستم سنسوری عامل‌ها است، می‌بایست بدنبال یک روش طراحی باشیم که مساله این‌همانی میان حالت‌ها را برای عامل‌ها که به خودی خود مساله ای پیچیده می‌باشد برطرف نماییم. از آن جاییکه که مساله مورد بررسی ما طراحی سیستم سنسوری است وجود روند تدریجی ساده به پیچیده، برقراری این‌همانی را برای ما در شرایطی که مجموعه اعمال عامل‌ها مشابه باشد فراهم می‌نماید. معماری ارائه شده برای طراحی عامل در این پژوهش قابلیت انتقال‌پذیری دانش را افزایش داده است و موجب بهبود کیفیت و سرعت دستیابی به پاسخ‌ها شده است. نتایج آزمایشات صورت گرفته این بهبود کیفیت و سرعت را به خوبی نشان می‌دهند و قدرت روش را برای یافتن نسلی از عامل‌های مناسب برای دستیابی به هدف طراحی مشخص می‌نمایند. کلمات کلیدی: طراحی خودکار عامل، الگوریتم ژنتیک، یادگیری تقویتی، انتقال دانش، الگوریتم ممتیک، ترکیب تکامل و یادگیری.
- Abstract
- With the increasing complexity of possible structures for agents, designing the optimal sensory system as part of the whole design process for intelligent agents is no longer possible using the conventional design methods. An automatic design process with an incremental approach starting from the simplest design form and moving towards more complex configurations is considered as a remedy to this problem in our research. Changes in the sensory system must be considered on two different time scales because of their impact on the structure of the agent and also the behavior of the argent through how it interacts with the environment. Evolution is responsible for the changes in the structure of the agent which take place with a slower pace and learning is responsible for the more rapid changes in the behavior of the agent, while the complexity is gradually increased based on a methodology. The sensory system of the agents is specified using evolution and an appropriate behavior is learned using RL accordingly. The overall fitness of each agent is determined based on the quality of this learned behavior. Complex sensory systems result in slow and costly learning even in the presence of an incremental design method, because as the perception of the agents is enhanced the interaction with the environment will become more complicated. Using the knowledge of the previous generations can greatly help to resolve this issue since experiences of the simpler agents in the past can accelerate the learning of more complex agents in the future. Heterogeneous agents which are the product of different perceptions resulted in by different sensory systems, call for a design process which solves the correspondence problem between the states as well. This in itself is a challenging problem that can be resolved using the assumption of increasing complexity in our incremental design method. The architecture proposed for designing agents is shown to increase the transferability of knowledge between agents and improves the quality of solutions while increasing the speed learning and therefore accelerating the whole design process. Results show significant increase in the quality of final solutions and the speed of reaching the optimal solution. Also the ability of finding a generation of fit agents for the desired purpose is increased using our proposed method and architecture. Keywords: Automatic Agent Design, Genetic Algorithm, RL, Knowledge Transfer, Evolution and Learning, Memetic Algorithm
