عنوان پایان‌نامه
مقایسه رفتار مدل آمیخته فرایند گوسی -وارون نرملیده با مدل آمیخته فرایند دیریکله
- رشته تحصیلی
- آمار
- مقطع تحصیلی
- کارشناسی ارشد
- محل دفاع
- کتابخانه پردیس علوم شماره ثبت: 5103;کتابخانه مرکزی -تالار اطلاع رسانی شماره ثبت: 59247
- تاریخ دفاع
- ۳۱ شهریور ۱۳۹۲
- دانشجو
- صادق چگینی
- چکیده
- بطور معمول در مسائل استنباط آماری، داده‌هایی از یک توزیع معلوم با پارامتر E O C R d 0 (معمولا d عدد صحیح مثبت و متناهی است ) در اختیار داریم و می‌خواهیم برآوردی برای آن بدست آوریم. معمولا این پارامتر دارای بعد متناهی است. در روش بیز، این پارامتر را یک متغیر تصادفی فرض کرده و با تعیین یک توزیع پیشین برای آن، توزیع پسین را از رابطه‌ی بیز بدست آورده و با استفاده از آن برآوردهایی برای پارامتر مذکور بدست می‌آوریم. اما در عمل با موارد بسیاری مواجه هستیم که توزیع خود داده‌ها معلوم نیست. در این مورد هم می‌توان از روش بیز استفاده کرد. در مورد قبلی که توزیع داده‌ها معلوم بود و هدف تعیین برآوردی برای پارامتر آن بود، روش بیز را پارامتری و در مورد دوم که توزیع داده‌ها نامعلوم و هدف تعیین برآوردی برای خود توزیع داده‌هاست روش بیز را ناپارامتری گویند. تفاوت عمده‌ای که در روش بیز ناپارامتری وجود دارد در این است که بعد پارامتر (بعد تابع توزیع) نامتناهی است و به همین دلیل است که در این روش به جای اینکه پارامتر را یک متغیر تصادفی فرض کنیم آن را یک فرآیند تصادفی فرض می‌کنیم. یک توزیع پیشین مزدوج و بسیار مهم در روش بیز ناپارامتری فرآیند دیریخله است. این فرآیند سنگ‌بنای بیز ناپارامتری است و در حقیقت با معرفی آن توسط فرگوسن (1973) بود که ادبیات بیز ناپارامتری متولد شد. با دارا بودن ویژگی‌های خاصی از جمله گسسته بودن توابع توزیع در تکیه‌گاه، فرم توزیع پیشگو و ارتباطهای این فرآیند با فرآیندهایی نظیر فرآیند رستوران چینی باعث شده است تا این فرآیند در بسیاری از زمینه‌های علمی مانند ژنتیک، پزشکی، اپیدمیولوژی، اقتصادسنجی و یادگیری ماشین مورد استفاده قرار گیرد. با توجه به تعریف این فرآیند، نمونه‌گیری از آن بصورت مستقیم و دقیق امکان‌پذیر نیست و به همین دلیل برای نمونه‌گیری از تقریب و روش‌های MCMC استفاده می‌شود. همچنین تحقیقات زیادی بر روی بسط این فرآیند و همچنین تلاش برای معرفی جایگزین‌های بهتر انجام گرفته است. از جمله‌ی این جایگزین‌ها، فرآیند گوسین معکوس نرمالیده (N-IG) (لیجوی و همکاران 2005) است که شباهت زیادی از لحاظ تعریف با فرآیند دیریخله دارد اما در عین حال دارای ویژگی‌هایی است که می‌تواند به عنوان جایگزینی ارزشمند برای فرآیند دیریخله به حساب آید. امروزه از موارد مهم مورد استفاده‌ی روش بیز ناپارامتری و فرآیند دیریخله در مدل‌های سلسله مراتبی آمیخته است که در آنها فرآیند دیریخله را به عنوان توزیع پیشین پارامترهای مولفه‌های آمیخته‌ی مدل در نظر می‌گیرند. به منظور مقایسه فرآیندهای دیریخله و فرآیند N-IG در مساله یاد شده از هر دو فرآیند در این مدل استفاده کرده و نتایج را بررسی خواهیم کرد. کلمات کلیدی: روش‌های ، MCMCروش بیز ناپارامتری، فرآیند دیریخله، فرآیند گوسین معکوس نرمالیده، مدل‌های آمیخته‌ی سلسله مراتبی
- Abstract
- Typically in statistical inference problems, we have data from known distribution with unknown parameter ? ? ? ?? R?^d and we want to obtain an estimate of the unknown parameter. Usually, this parameter is finite dimensional. In Bayes method, we assume this parameter as a random variable and by determining a prior distribution for it, we obtain the posterior distribution from Bayes formula and then we obtain the desired estimation using the posterior distribution. However, in practice we are faced with many cases that the data distribution is unknown. Fortunately, we can implement Bayes methods in these cases, too. In the former case where the data distribution was know and we are aimed to determine an estimation for the parameter of the distribution of data, we call the Bayes method “parametric” and for the latter one where the distribution of data is unknown and we are aimed to determine an estimation for the distribution of data, we call the Bayes method “nonparametric”. The main difference in the nonparametric Bayes method is that the dimension of the parameter space is infinite and for this reason we assume the parameter as a stochastic process instead of a random variable. The conjugate and very important prior distribution in nonparametric Bayes method is Dirichlet process. This process is the cornerstone of the nonparametric Bayes method and in fact the literature of nonparametric Bayes was borne with definition of this process by Ferguson (1973). Having especial features like discreteness of distribution functions in the support, the form of the prediction distribution and relating to process like Chinese restaurant process has led this process to be used in many fields of science such as finance, genetics, medicine, epidemiology, econometrics and machine learning. Regarding with the definition of this process, direct and precise sampling from this process is impossible and for this reason some MCMC and approximation methods are used. Also, an intensive investigation on the extension of this process and effort in introducing an alternative was accomplished. One of these alternatives is Normalized Inverse- Gaussian (N-IG) process (Lijoi et al 2005) which is very similar to Dirichlet process in definition, however, has some features so that can be considered as a valuable alternative for Dirichlet process. Today, one of the important uses of nonparametric Bayes method and Dirichlet process is in hierarchical mixture model in where Dirichlet process is considered as the prior distribution of the parameter of mixture components. In order to compare Dirichlet and N-IG process, we use both of these processes in mentioned model and will investigate the results. Keywords : Dirichlet process, Hierarchical mixture model, MCMC methods, Nonparametric Bayes methods, Normalized Inverse-Gaussian process.
