–48

متن کامل پایان نامه را در سایت منبع fuka.ir می توانید ببینید

anja
دانشکده علوم
پایان نامهی کارشناسی ارشد در رشتهی
آمار ریاضی
استنباط آماری مدل رگرسیونی با خطاهای خودبازگشتی به روش لاسو
به کوشش
احمدرضا زنبوری
استاد راهنما
دکتر مریم شرفی
اسفند ماه 1392

e

به نام خدا
اظهارنامه
اینجانب احمدرضا زنبوری دانشجوی رشتهی آمار ریاضی، دانشکدهی علوم اظهار میکنم که این پایان نامه حاصل پژوهش خودم بوده و در جاهایی که از منابع دیگران استفاده کردهام، نشانی دقیق و مشخصات کامل آنرا نوشتهام. همچنین اظهار میکنم که تحقیق و موضوع پایان نامهام تکراری نیست وتعهد مینمایم که بدون مجوز دانشگاه دستاوردهای آنرا منتشر ننموده و یا در اختیار غیر ندهم. کلیهی حقوق این اثر مطابق با آییننامهی مالکیت فکری و معنوی متعلق به دانشگاه شیراز است.
603250262255

به نام خدا
استنباط آماری مدل رگرسیونی با خطاهای خودبازگشتی به روش لاسو
توسط
احمدرضا زنبوری
پایان نامه
ارائه شده به تحصیلات تکمیلی دانشگاه به عنوان بخشی
از فعالیت های لازم برای اخذ درجه کارشناسی ارشد
در رشته:
آمارریاضی
از دانشگاه شیراز
شیراز
-12065419735جمهوری اسلامی ایران
اسفند ماه 1392

شکر شایان نثار ایزد منان که توفیق را رفیق راهم ساخت تا این پایان نامه را به پایان برسانم .
تقدیم به
پدر و مادر
بسیار عزیزم
و برادرانم :
اسماعیل
احسان
و شما خواننده گرامی . . .
 
سپاسگزاری
با تقدیر و تشکر شایسته از استاد فرهیخته و فرزانه سرکارخانم دکترمریم شرفی که با نکته های ارزشمند و گفته های بلند، صحیفه های سخن را  علم پرور نمود و همواره راهنما و راه گشای نگارنده در اتمام واکمال پایان نامه بوده است. از جناب آقای دکتر علیرضا نعمت اللهی که از مشورت و جهتدهی ایشان کمال استفاده را بردم و مرا مدیون اخلاق کریمانه، راهنماییهای ارزندهی خود قرار دادند سپاسگزارم. همچنین از جناب آقای دکتر بازرگان لاری که زحمت مشاورهی این تحقیق را تقبل نموده کمال تشکر را دارم. از جناب آقای دکتر برهانی حقیقی که زحمت داوری این پایان نامه را به عهده گرفتند و همواره لطفشان را از من دریغ نکردند کمال تشکر را دارم، و از سایر اساتید محترم بخش آمار که در طول دورهی کارشناسی و ارشد هرگونه یاری و مساعدت تحصیلی و معنوی را با لطف و بزرگواری به اینجانب هدیه نمودند، قدردانی مینمایم. از بهترین پشتیبان زندگیم پدر عزیز و مادر مهربانم که همواره مأمن آرامش و آسایش مرا فراهم نمودند همچنین از برادرانم که در دوران تحصیل همواره مشوق و یار و یاورم بودند، صمیمانه تشکر میکنم. امیدوارم که این رساله به یاری خداوند متعال قدمی برای پیشرفت علم باشد.
چکیده
استنباط آماری مدل رگرسیونی با خطاهای خودبازگشتی به روش لاسو
به کوشش
احمدرضا زنبوری
درمدلهای رگرسیون خطی، روشهای انقباضی یکی از راهحلها برای بهبود برآورد کمترین مربعات میباشد. در این پایاننامه، پس از معرفی مدل رگرسیون خطی چندگانه و مسئله چندهمخطی، ابتدا به معرفی روشهای انقباضی پرداخته و سپس به برآوردیابی در مدلهای رگرسیونی خطی با خطاهای خودبازگشتی به وسیله روش انقباضی لاسو میپردازیم. دو نوع برآوردگر لاسو سنتی و اصلاح شده را معرفی و خواص مجانبی آنها را مطالعه کردهایم. الگوریتمی را جهت محاسبه این برآوردگرها ارایه داده و در پایان با ارایه دو مثال به مقایسه این برآوردگرها پرداختهایم.
کلید واژه: برآوردگرپیشگو، انقباض،مدل رگرسیونی با خطای خود بازگشتی، لاسو
فهرست مطالب
عنوان صفحه
فصل اول: مقدمات و تعاریف TOC o "1-3" h z u
مقدمه : PAGEREF _Toc382381016 h 21-1-رگرسیون خطی چندگانه و مسئله چند همخطی PAGEREF _Toc382381017 h 21-2-رگرسیون ریج PAGEREF _Toc382381018 h 41-3-بریج PAGEREF _Toc382381019 h 51-4-لاسو PAGEREF _Toc382381020 h 61-4-1-رفتار مجانبی βn PAGEREF _Toc382381021 h 81-5-تعاریف PAGEREF _Toc382381022 h 101-5-1- تُنُکی PAGEREF _Toc382381023 h 101-5-2-برآوردگر پیشگو PAGEREF _Toc382381024 h 101-5-3-نماد لاندا PAGEREF _Toc382381025 h 111-5-4-بهینه سازی محدب PAGEREF _Toc382381026 h 121-5-5-1-همگرایی در توزیع PAGEREF _Toc382381027 h 121-5-5-2-همگرایی در احتمال PAGEREF _Toc382381028 h 131-5-5-3-سازگاری با نرخ ریشه n ام PAGEREF _Toc382381029 h 131-5-5-4-همگرایی با احتمال یک PAGEREF _Toc382381030 h 141-5-6-فرایند ایستا PAGEREF _Toc382381031 h 141-5-7-فرایند خودبازگشتی-میانگین متحرک PAGEREF _Toc382381032 h 141-5-8-معیارهای انتخاب مدل PAGEREF _Toc382381033 h 151-5-8-1-معیار اطلاع بیزی PAGEREF _Toc382381034 h 151-5-8-2-اعتبارسنجی متقابل PAGEREF _Toc382381035 h 16اعتبارسنجی متقابل K لایه PAGEREF _Toc382381036 h 17فصل دوم: برآوردگرهای لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی
2-1-مدل رگرسیون خطی با خطای سری زمانی PAGEREF _Toc382381037 h 212-2-برآوردکمترین مربعات درمدل رگرسیونی باخطاهای خودبازگشتی میانگین متحرک PAGEREF _Toc382381038 h 222-3-برآورد کمترین مربعات پارامترها PAGEREF _Toc382381039 h 242-4-توزیع برآوردها PAGEREF _Toc382381040 h 262-5-برآوردیابی به روش لاسو برای پارامترهای مدل رگرسیون خطی با خطاهای خودبازگشتی PAGEREF _Toc382381041 h 282-6-خواص نظری برآوردگرهای لاسو PAGEREF _Toc382381042 h 302-6-1-خواص برآوردگر لاسو سنتی PAGEREF _Toc382381043 h 312-6-2-خواص برآوردگر لاسو اصلاح شده PAGEREF _Toc382381044 h 35فصل سوم: الگوریتم دستیابی به برآوردگرهای لاسو در مدل رگرسیون خطی با خطای خود بازگشتی
3-1-فرایند تکراری PAGEREF _Toc382381045 h 423-2-تحدب موضعی PAGEREF _Toc382381046 h 443-3-برآوردگر شروع PAGEREF _Toc382381047 h 453-4-پارامترهای تنظیم کننده PAGEREF _Toc382381048 h 45فصل چهارم: مثالهای کاربردی و شبیه سازی
4-1-مثال شبیه سازی PAGEREF _Toc382381049 h 494-2-مثال واقعی PAGEREF _Toc382381050 h 52پیوست PAGEREF _Toc382381051 h 55مارتینگل و قضیه حد مرکزی مارتینگلها PAGEREF _Toc382381053 h 56قضیه ارگودیک PAGEREF _Toc382381055 h 57فهرست منابع و مآخذ PAGEREF _Toc382381056 h 58واژه نامه فارسی به انگلیسی PAGEREF _Toc382381057 h 61واژه نامه انگلیسی به فارسی PAGEREF _Toc382381058 h 66
فهرست جدول ها
عنوان صفحه
جدول4-1: نتایج شبیه سازی برای ρ=0.551
جدول4-2: نتایج مثال واقعی53
فهرست علائم اختصاریLASSO: Least Absolute Shrinkage and Selection Operatori.i.d: independent and identical distribution
MSE: Mean Square Error
CV: Cross Validation
GCV: Generalized Cross Validation
OLS: Ordinary Least Square
فصل اول
مقدمات و تعاریف
مقدمه :در این فصل به تعاریف و مقدمات لازم از جمله مدل رگرسیون خطی چندگانه استاندارد، مفهوم چند همخطی، رگرسیون ریج، بریج، روش لاسو و ... که در فصلهای بعد به آنها نیاز داریم، خواهیم پرداخت.
1-1-رگرسیون خطی چندگانه و مسئله چند همخطییک مدل رگرسیون که شامل بیش از یک متغیر مستقل باشد و نسبت به پارامترها خطی باشد را مدل رگرسیون خطی چندگانه می نامند. فرم کلی یک مدل رگرسیون خطی چندگانه استاندارد به صورت زیر میباشد:
yi=xi'β+eii=1,…,n(1-1)
که درآن e1,…,en متغیرهای تصادفی مستقل و هم توزیع با میانگین صفر و واریانس σ2 میباشد .β=(β1,…,βk)' بردار پارامترها، برای i=1,…n xi=(x1i,…,xki)' بردار متغیرهای مستقل و yi متغیر پاسخ میباشد. ماتریسxn×k=(x1',…,xn') را ماتریس طرح مینامیم.
هنگامی که بین متغیر های مستقل همبستگی وجود داشته باشد، می گوییم بین آنها چند همخطی وجود دارد. از آثار چند همخطی می توان به موارد زیر اشاره کرد:
الف : از آنجاییکه در این حالت اطلاعات مستقل در مورد هریک از متغیرهای مستقل وجود ندارد، لذا نمی توان اثرات جزئی متغیرهای مذکور روی متغیر وابسته را برآورد کرد .
ب : هنگامی که همبستگی شدید بین متغیرهای مستقل وجود داشته باشد، کوواریانس و واریانس ضرایب، بزرگتر برآورد خواهند شد .
ج : در حالتی که با چند همخطی شدید در مدل مواجه هستیم، پیش بینی های صورت گرفته از آن غیر قابل اعتماد خواهد بود. در این حالت پیش بینی ها براساس مدلی که دارای زیر مجموعه ای از متغیرهای مستقل مدل اصلی است، بهتر صورت می گیرد .
د : رابطه قوی بین دو یا چند متغیر مستقل سبب می شود که نتوان ماتریس x'x را معکوس کرد. زیرا در این صورت ستون های ماتریس x به هم وابسته هستند و در نتیجه ستون های x'x نیز با هم وابسته هستند و پررتبه نیست.
همان طور که در قسمت ج گفتیم یکی از روش ها برای بهبود برآورد کمترین مربعات، زیر مجموعه منتخب می باشد که نتیجه گزینش بهترین زیر مجموعه رگرسیون می باشد . از روشهای زیر مجموعه منتخب میتوان به رگرسیون گام به گام، حذف پیشرو و انتخاب پسرو اشاره کرد. البته قابل ذکر است که زیر مجموعه منتخب خود دارای مشکل عدم استواری می باشد . به عنوان مثال با تغییر کوچک در داده ها مدل های خیلی متفاوتی را بوجود می آورد، که این امر درستی پیشبینی را کاهش می دهد.
معمولا می توان درستی پیش بینی را با انقباض تعدادی از ضرایب و یا با صفر قرار دادن آنها بهبود بخشید. روش پیشنهادی برای بهبود روش برآورد کمترین مربعات، رگرسیونهای انقباضی است. از جمله رگرسیون ریج، لاسوو بریجکه به اختصار این روشها را توضیح میدهیم. برای توضیح بیشتر در مورد این روشها به سلیمانی(1392) مراجعه شود.
1-2-رگرسیون ریج
رگرسیون ریج در سال 1962 برای اولین بار توسط

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *