پایان نامه ارشد رایگان درمورد رگرسیون، ماشین بردار پشتیبان، طبقه بندی

پایه شعاعی تقسیم می شوند. شبکههای عصبی پیشخور کاربردی ترین نوع شبکههای عصبی مصنوعی در پیش بینی هستند زیرا می توان ثابت کرد که شبکه های عصبی پیشخور با یک الیه پنهان، تابع فعالسازی لجستیک در لایه پنهان، تابع فعالسازی خطی در لایه خروجی و تعداد نورونهای کافی در لایه پنهان، قادرند هر تابعی را با دقت دلخواه تقریب بزنند. در این پایان نامه از شبکه چندلایه پرسپترون که از انواع شبکه های پیشخور هستند جهت پیش بینی مصرف دارو استفاده شده است. معمولاً در شبکههای عصبی کل دادههای موجود را به دو مجموعه آموزشی و آزمایشی تقسیم می کنند. مجموعه آموزشی توسط یادگیری برای تخمین وزنهای شبکه و مجموعه آزمایشی جهت ارزیابی دقت پیش بینی شبکه آموزش دیده، استفاده می شوند.
آموزش شبکه هاي عصبی مصنوعی
یک شبکه عصبی بر خلاف کامپیوترهاي رقمی که نیازمند دستورات کاملاً صریح و مشخص است به مدلهاي ریاضی محض نیاز ندارد بلکه مانند انسان قابلیت یادگیري به وسیله تعدادي مثال مشخص را دارد. یک شبکهي عصبی مصنوعی باید بصورتی پیکربندي شود که از مجموعهاي از وروديها ( چه مستقیم و چه بصورت فرآیندي آرام ) مجموعهاي از خروجی هاي مورد نظر را ایجاد کند. روشهاي مختلفی براي تعیین نقاط قوت اتصال وجود دارد، یکی از این راهها تعیین وزن بصورت مستقیم با استفاده از دانش قبلی است. راه دیگر آموزش شبکه عصبی بوسیله تغذیه با الگوهاي آموزشی و اجازه دادن به آن براي تغییر وزنها بر اساس قوانین آموزشی می باشد [48].
انواع یادگیري در شبکه هاي عصبی مصنوعی
یادگیري نظارت شده روشی است که در آن آموزش شبکه بر اساس دریافت ورودي و تطبیق آن با الگوهاي خروجی انجام گرفته است. این جفت ورودي و خروجی را می توان توسط یک آموزگار خارجی یا سیستمی که شامل شبکه هاي عصبی ( با سرپرست) است را ایجاد کرد. یادگیري نظارت نشده یا (خود سازمان دهنده) در هرواحد خروجی، براي پاسخ به الگوي ورودي آموزش داده شده است. در این نمونه فرض بر این است که ویژگیهاي چشمگیر جمعیت ورودي به صورت ایستا کشف میشود. بر خلاف الگوي یادگیري نظارت شده، با اینکه سیستم باید نمایش خود را از محركهاي ورودي ارائه دهد، مجموعه قابل پیش بینی از الگوهاي قابل دسته بندي براي آن وجود ندارد.
یادگیري تقویتی ممکن است از دو نوع آموزش مذکور (به صورت میانگین) الهام گرفته باشد. در این نوع آموزش، ماشین آموزش فعالیت هایی را بر روي محیط انجام می دهد و بازخورد این فعالیت ها را از محیط دریافت می کند. این سیستم آموزش، بر اساس بازخوردهاي محیط و پارامترهاي آن به فعالیتهاي خود نمره خوب یا بد می دهد [49].
درخت هاي انتخاب
درخت هاي انتخاب راهي براي نمايش يك سري از قوانين كه به يك كلاس يا مقدار منجر مي شود مي باشند. براي مثال شما ممكن است بخواهيد درخواستهاي وام را برحسب ريسك اعتبار خوب يا بد طبقه بندي كنيد. شكل بعد يك مدل ساده از يك درخت انتخاب به همراه توضيح در مورد تمام بسته هاي پايه آن يعني گره انتخاب، شاخه ها و برگهاي آن كه اين مساله را حل مي كند نشان مي دهد.
شکل 3- 3 مثالی از درخت تصمیم[41]
اولين بسته گره بالايي تصميم يا ريشه مي باشد كه يك بررسي جهت برقراري شرط خاصي مي نمايد. گره ريشه در اين مثال”Income$40,000“ مي باشد. نتايج اين بررسي منجر مي شود كه درخت به دوشاخه تقسيم گردد كه هر يك نشان دهنده جوابهاي ممكن است. در اين مورد بررسي شرط مذكور مي تواند داراي جواب خير يا بله باشد در نتيجه دو شاخه داريم .براساس نوع الگوريتم هر گره مي تواند دو يا تعداد بيشتري شاخه داشته باشد. براي مثال CART درختهايي با تنها دوشاخه در هر گره توليد مي كند. چنين درختي يك درخت دودويي مي باشد. مدلهاي مختلف درخت تصميم بطور عمومي در داده كاوي براي كاوش داده و براي استنتاج درخت و قوانين آن كه براي پيش بيني مورد استفاده قرار مي گيرد استفاده مي شوند. يك تعداد از الگوريتمهاي مختلف ميتوانند براي ساخت درختهاي تصميم شامل Quest, CART,CHAID و C5.0 بكارروند. اندازه درخت مي تواند از طريق قوانين متوقف شونده كه رشد درخت را محدود مي كنند كنترل شود [41].
Bagging & Boosting
3-8-3-1- Bagging : (متراکم شدن خودکار) براي بهبود دادن رده بندي توسط ترکيب کردن رده بنديهاي مجموعههاي آموزشي به طور تصادفي توليد شده، ميباشد اين روش يک متا الگوريتم ميباشد که براي بهبود دادن يادگيري ماشين ردهبندي و مدلهاي پسرفتي بر حسب پايداري و دقت ردهبندي ميباشد. اين روش همچنين واريانس را کاهش داده و به دوري از Overfitting کمک ميکند. اگر چه اين روش معمولا در درخت تصميم به کار مي رود اما مي تواند در هر نوع مدل استفاده شود. Bagging يک حالت مخصوص از روند مدل ميانگين ميباشد [50].
يک مجموعه آموزشي استاندارد D به اندازه n را فرض کنيد، بگينگ توسط نمونه گيري به طور يکنواخت و با جايگزيني مثالها از D، m مجموعه آموزشي جديد Di با اندازه nn’  توليد مي شود. نمونه گيري با جايگزيني اين امکان را مي دهد که بعضي از مثال ها امکان تکرار در هرDi را داشته باشند. اگر n = n’ باشد لذا براي n بزرگ ، مجموعه Di انتظار داشتن %63.2 از مثالهاي بيهمتاي D را دارد و بقيه مثال ها تکراري مي باشند. اين نوع نمونهگيري به عنوان نمونه گيري خودراهانداز شناخته ميشود. m مدل براي استفاده کردن m نمونههاي خودکار بالا گنجانيده شده و اين مدلها توسط متوسط گيري خروجي (براي پسرفت) يا راي گيري (براي رده بندي) ترکيب ميشوند.از آنجاييکه اين روش چندين پيشگويي کننده را ميانگين ميگيرد، لذا براي بهبود مثالهاي خطي مفيد نميباشد [51].
3-8-3-1- Boosting : يک متا الگوريتم يادگيري ماشين براي اجراي يادگيري نظارت شده مي باشد. Boosting بر این سوال بنا شده است: آيا يک مجموعه يادگيرندههاي ضعيف ميتواند يک يادگيرنده واحد قوي بسازد؟ يک يادگيرنده ضعيف يک رده بندي کنندهاي تعريف ميشود که فقط اندکي با رده بندي صحيح همبسته است. در حقيقت، يک يادگيرنده قوي يادگيرندهاي است که به طور دلخواهانه همبستهي خوبي با رده بندي صحيح دارند [52].
3-8-3-3-الگوريتمهاي Boosting
تا زمانی که Boosting به صورت الگوريتمي تحميل نشود، اکثر الگوريتمهاي Boosting عبارتند از به طور تکراري ياد گرفتن رده بندي کنندههاي ضعيف نسبت به توزيع و اضافه کردن آنها به ردهبندي کننده قوي نهايي موقعي که آنها اضافه ميشوند، نوعا در بعضي روشهايي وزندهي ميشوند که معمولا با دقت يادگيرنده ضعيف مرتبط است. بعد از اضافه کردن يک يادگيرنده ضعيف، داده دوباره وزن دهي مي شود: مثالهايي که اشتباه ردهبندي شوند وزن بيشتري بدست آورده و مثالهايي که به درستي ردهبندي شوند وزن از دست ميدهند (بعضي الگوريتمهاي Boosting عملا وزن مثالهاي مکررا نادرست رده بندي شده را کاهش مي دهند). بنابراين، يادگيرندههاي ضعيف آينده بيشتر بر مثالهايي تمرکز ميکند که يادگيرندههاي ضعيف قبلي به نادرستي رده بندي کردند [53-54].
تعداد الگوريتمهاي Boosting زيادي وجود دارد. الگوريتمهاي اصيل، انطباق پذير نبودند و نتوانستند فايدهي کاملي از يادگيرندههاي ضعيف بگيرند. فقط الگوريتمهايي که در قاعده يادگيري محتملا تقريبا صحيح الگويتمهاي Boosting قابل اثبات هستند، الگوريتمهاي بوستينگ ميباشند. الگوريتمهاي ديگر که در روح با الگوريتمهاي بوستينگ شبيه هستند گاهي اوقات “الگوريتمهاي اهرمي” ناميده ميشوند، هرچند آنها گاهي اوقات نادرست الگوريتمهاي Boosting صدا زده ميشوند.
Adaptive Boosting(Adaboost)
Adaboost، مختصر شده از بوستينگ انطباقي، يک الگوريتم يادگیری ماشين است و مي تواند در ترکيب با تعداد زيادي الگوريتمهاي يادگيري براي بهبود کاراييشان استفاده شود. آدابوست تا حدي وقف پذير است که ساخت ردهبنديکنندههاي بعدي براي آن نمونههايي که توسط ردهبنديکنندههاي قبلي نادرست ردهبندي شدند تنظيم شود. آدابوست به دادههاي نويزدار و بخش مجزا حساس ميباشد. در غير اينصورت، آن در مسائل اورفيتينگ حساسيت کمتري نسبت به الگوريتمهاي يادگيري ديگر دارد [55].
Adaboost مکررا در سريهاي گرد کردن t = 1, … , T يک ردهبنديکننده ضعيف ناميده ميشود. براي هر فراخواني يک توزيع وزنهاي Dt بروز رساني ميشود که اهميت مثالها را براي ردهبندي در مجموعه داده مشخص ميکند. در هر گرد کردن، وزنهاي هر مثالي که به نادرستي رده بندي شده افزايش مييابد (يا به طور جايگزين، وزنهاي هر مثالي که به درستي ردهبندي شده کاهش مييابد)، بهطوريکه ردهبنديکننده جديد بيشتر بر روي اين مثالها ردهبندي ميکند [56].
رگرسیون بردار پشتیبان
ماشین بردار پشتیبان10  نوع خاصی از شبکه های عصبی هستند که بر خلاف سایر انواع شبکه عصبی مانند MLP و RBF به جای کمینه کردن خطا، اقدام به کمینه کردن ریسک عملیاتی طبقه بندی یا مدل سازی می کند. این ابزار، بسیار قدرتمند است و در زمینه های مختلفی چون طبقه بندی، خوشه بندی و مدل سازی (رگرسیون) می تواند مورد استفاده قرار بگیرد یکی از الگوریتم های مهم از میان ماشین های بردار پشتیبان، رگرسیون بردار پشتیبان11 می باشد. در آمار كلاسيك روشهاي طبقه بندي و رگرسيون بر پایه فرضيات محدود كننده اي بنا شده که در آن مدلهاي توزيع احتمال و يا توابع چگالي احتمال، معلوم هستند. متأسفانه بسياري اوقات، در عمل اطلاعات كافي درباره توزيع احتمال متغيرهاي مورد مطالعه در دسترس نيست. در چنين مواقعي به روش هايي نياز داريم كه بدون دانستن توزيع احتمال، به خوبي عمل كنند. همچنين در بيشتر مطالعات با اطلاعاتي در فضاهايي با ابعاد بالا مواجه هستيم. براي استفاده از روشهاي كلاسيك آماري در چنين شرايطي، نيازمند نمونه هايي با حجم بالا مي باشيم كه ممكن است در عمل فراهم كردن آن ميسر نباشد. يكي از روشهايي كه براي حل چنين مشكلاتي مورد استفاده قرار مي گيرد، استفاده از الگوريتمهاي يادگيري ماشين است. ماشین بردار پشتیبان یک تکنیک جدید از روشهاي يادگيري ماشین است و مي توان محبوبيت كنوني آن را با محبوبيت شبكههاي عصبي در دهههاي گذشته مقايسه كرد [57].
ماشين بردار پشتيبان در پيش بيني ها نسبت به شبکههاي عصبی از دقت بالاتری برخوردار است [58]. از طرفي تعيين وضعیت شبكه و قابليت تعميم شبكه عصبي براي وظايف مدلسازي/يادگيري هنوز به خوبي حل نشده است، درحالي كه مدل ماشين بردار پشتيبان به خوبي تعميم پذيراست [59]. ويژگي مهم ماشين بردار پشتيبان اين است كه برخلاف الگوريتمهاي کلاسيك و رگرسيونهاي خطي كه به وسيله مينيمم كردن قدر مطلق خطا يا توان دوم خطا عمل ميكنند، آنها ريسك عملياتي را مينيمم ميكنند. ماشین بردار پشتیبان بر خلاف شبکههای عصبی با مشکل گیر افتادن در مینیمم های محلی تابع خطا مواجه نمیباشد .[60-61] همچنين با استفاده از هستههاي غير خطي قادر به تصميم گيري غير خطي نيز ميباشد. انتخاب هستههاي مناسب براي ماشين بردار پشتيبان، منجر به برتري آن نسبت به ساير رويكردهاي مبتني بر تصميم گيري خطي شده است. مدلهاي ماشينها بردار پشتيبان به دو گروه عمده الف- مدل طبقه بندي ماشين بردار پشتيبان و ب- مدل رگرسیون ماشين بردار پشتيبان تقسيم بندي مي شوند.
از مدل طبقه بندي ماشين بردار پشتيبان جهت حل مسائل طبقه بندي داده هايي كه در كلاس هاي مختلف قرار مي گيرند استفاده مي گردد و مدل رگرسيون ماشين بردار پشتيبان در حل مسائل پيش بيني كاربرد دارد [62-63].
رگرسیون خطی
در روش های طبقه بندی اغلب بر چسب کلاس از نوع دادهی گسسته (غیر عددی) است. اگر چه در برخی از آنها با کمی تغییر می توان روش را برای پیش بینی کلاس هاس پیوسته (عددی) توسعه داد، اما روش های رگرسیون یکی از معروفترین تکنیک های آماری به حساب می آیند که برای این

تکه های دیگری از این پایان نامه را می توانید

در شماره بندی فوق بخوانید

متن کامل پایان نامه ها در سایت homatez.com موجود است

You may also like...

Add a Comment