.:رویال آی تی:.

× دسته بندی ها

مقاله بهبود سرعت یادگیری شبکه های عصبی

مقدمه

شبکه های عصبی چند لایه پیش خور۱ به طور وسیعی د ر زمینه های متنوعی از قبیل طبقه بندی الگوها، پردازش تصاویر، تقریب توابع و … مورد استفاده قرار گرفته است.

الگوریتم یادگیری پس انتشار خطا۲، یکی از رایج ترین الگوریتم ها جهت آموزش شبکه های عصبی چند لایه پیش خور می باشد. این الگوریتم، تقریبی از الگوریتم بیشترین تنزل۳ می باشد و در چارچوب یادگیری عملکردی ۴ قرار می گیرد.

عمومیت یافتن الگوریتمBP ، بخاطر سادگی و کاربردهای موفقیت آمیزش در حل مسائل فنی- مهندسی می باشد.

علیرغم، موفقیت های کلی الگوریتم BP در یادگیری شبکه های عصبی چند لایه پیش خور هنوز، چندین مشکل اصلی وجود دارد:

– الگوریتم پس انتشار خطا، ممکن است به نقاط مینیمم محلی در فضای پارامتر، همگرا شود. بنابراین زمانی که الگوریتم BP همگرا                می شود، نمی توان مطمئن شد که به یک جواب بهینه رسیده باشیم.

– سرعت همگرایی الگوریتم BP، خیلی آهسته است.

از این گذشته، همگرایی الگوریتم BP، به انتخاب مقادیر اولیه وزنهای شبکه، بردارهای بایاس و پارامترها موجود در الگوریتم، مانند نرخ یادگیری، وابسته است.

در این گزارش، با هدف بهبود الگوریتم BP، تکنیک های مختلفی ارائه شده است. نتایج شبیه سازیهای انجام شده نیز نشان می دهد، الگوریتم های پیشنهادی نسبت به الگوریتم استاندارد BP، از سرعت همگرایی بالاتری برخوردار هستند.

خلاصه ای از الگوریتم BP

از قانون یادگیری پس انتشار خطا (BP)، برای آموزش شبکه های عصبی چند لایه پیش خور که عموماً شبکه های چند لایه پرسپترون ۵ (MLP) هم نامیده می شود، استفاده می شود، استفاده می کنند. به عبارتی توپولوژی شبکه های MLP، با قانون یادگیری پس انتشار خطا تکمیل می شود. این قانون تقریبی از الگوریتم بیشترین نزول (S.D) است و در چارچوب یادگیری عملکردی قرار می گیرد.

بطور خلاصه، فرایند پس انتشار خطا از دو مسیر اصلی تشکیل می شود. مسیر رفت۶ و مسیر برگشت ۷ .

در مسیر رفت، یک الگوی آموزشی به شبکه اعمال می شود و تأثیرات آن از طریق لایه های میانی به لایه خروجی انتشار می یابد تا اینکه

_________________________________

  1. Multi-Layer Feedforward Neural Networks
  2. Back-Propagation Algorithm
  3. Steepest Descent (S.D)
  4. Performance Learning
  5. Multi Layer Perceptron
  6. Forward Path
  7. Backward Path

نهایتاً خروجی واقعی شبکه MLP، به دست می آید. در این مسیر، پارامترهای شبکه (ماتریس های وزن و بردارهای بایاس)، ثابت و بدون تغییر در نظر گرفته می شوند.

در مسیر برگشت، برعکس مسیر رفت، پارامترهای شبکه MLP تغییر و تنظیم می گردند. این تنظیمات بر اساس قانون یادگیری اصلاح خطا۱ انجام می گیرد. سیگنال خطا، رد لایه خروجی شبکه تشکیل می گردد. بردار خطا برابر با اختلاف بین پاسخ مطلوب و پاسخ واقعی شبکه می باشد. مقدار خطا، پس از محاسبه، در مسیر برگشت از لایه خروجی و از طریق لایه های شبکه به سمت پاسخ مطلوب حرکت کند.

در شبکه های MLP، هر نرون دارای یک تابع تحریک غیر خطی است که از ویژگی مشتق پذیری برخوردار است. در این حالت، ارتباط بین پارامترهای شبکه و سیگنال خطا، کاملاً پیچیده و و غیر خطی می باشد، بنابراین مشتقات جزئی نسبت به پارامترهای شبکه به راحتی قابل محاسبه نیستند. جهت محاسبه مشتقات از قانون زنجیره ای۲ معمول در جبر استفاده می شود.


فهرست

مقدمه

فرمول بندی الگوریتم BP

معایب الگوریتم استاندارد پس انتشار خطا۱ (SBP)

شکل (۱). منحنی یادگیری شبکه برای نرخ های یادگیری مختلف در مسأله XOR

بهبود الگوريتم استاندارد پس انتشار خطا (SBP)

– الگوريتم BP از نوع دسته اي۱ (BBP)

شكل (۲). رفتار شبكه با الگوريتم BBP در مسأله XOR ( ـــ )

رفتار شبكه با الگوريتم SBP (0ـــ)

– روش ممنتم ۱ براي الگوريتم BP (MBP)

شكل(۳): رفتار شبكه با الگوريتم MBP درمسأله XOR (ــــ)

رفتار شبكه با الگوريتم SBP(.ــــ)

– نرخ يادگيري متغير۱ (VLR)

شكل (۴). رفتار شبكه با الگوريتم VLR براي مسأله XOR ( ـــ )

رفتار شبكه با الگوريتم SBP (0 ـــ)

– تغييرات نرخ يادگيري (α) در كل فرآيند يادگيري براي مسأله XOR

شكل (۵). منحني يادگيري الگوريتم BP تطبيقي براي XOR

شكل(۶). منحني يادگيري الگوريتم BPALM در مسأله XOR

– تغييرات نرخ يادگيري

– تغييرات ضريب ممنتم

– تغييرات علامت۱

شكل (۷). منحني يادگيري الگوريتم Delta Bar Delta Rule در مسأله XOR

– الگوريتم يادگيري Super SAB

شكل (۸). منحني يادگيري الگوريتم Super SAB براي مسأله XOR

۲- الگوريتم پس انتشار خطا با سه ترم

آنالیز همگرایی

شکل (۱۰). منحنی یادگیری الگورتم GBP در مسأله XOR به ازای S=2 و S=1

الگوریتم پس انتشار خطای بهبود پذیر۱ (Rprop)

نتیجه گیری

 

مراجع

۷۰۰۰ تومان – خرید
موضوع :,
royalit

محصولات مرتبط
s

نگاهی به رویکردهای پیش دبستانی ...


10000 تومان 1 ۱۶ خرداد ۱۳۹۶
s

تاثیر جو روانی کلاس در ...


15000 تومان 2 ۱۵ فروردین ۱۳۹۶
s

مهارت مذاکره برای حل و ...


5000 تومان 0 ۲۰ بهمن ۱۳۹۵
s

مقاله بررسی مشکلات قیمت گذاری ...


5000 تومان 0 ۱۴ تیر ۱۳۹۶

دیدگاه ها

- - - - - - - - - - - - - - - - - - - - -