بازگشت به عقب (انگلیسی: Backpropagation) یا انتشار معکوس، روشی در یادگیری عمیق شبکه های عصبی مصنوعی، با بیش از یک لایه پنهان است، که برای محاسبه دقیق تر گرادیان وزن مورد استفاده قرار می گیرد. این روش اغلب با بهینه سازی الگوریتم یادگیری و تثبیت وزن نورون ها با محاسبه گرادیان کاهشی تابع هزینه انجام می گیرد. این الگوریتم همچنین برای شبکه عصبی پیشخور که نیاز به یادگیری با نظارت دارند، نیز استفاده می شود.
شبکه عصبی مصنوعی
شبکه عصبی
آدابوست
بیش برازش
گرادیان کاهشی تصادفی
قاعده زنجیری
برای سلول عصبی c {\displaystyle c} ورودیی که از سلول عصبی p {\displaystyle p} به این سلول وارد می شود را با b p c {\displaystyle b_{pc}} نشان می دهیم. وزن این ورودی w p c {\displaystyle w_{pc}} است و مجموع ضرب ورودی ها با وزنهایشان را با a c {\displaystyle a_{c}} نمایش می دهیم، یعنی a c = ∑ w p c × b p c {\displaystyle a_{c}=\sum w_{pc}\times b_{pc}} . حال باید بر روی a c {\displaystyle a_{c}} یک تابع غیر خطی اعمال کنیم، این تابع را θ c {\displaystyle \theta _{c}} می نامیم و خروجی آن را با b c {\displaystyle b_{c}} نمایش می دهیم به این معنی که b c = θ c ( a c ) {\displaystyle b_{c}=\theta _{c}(a_{c})} . به همین شکل خروجی هایی که از سلول عصبی c {\displaystyle c} خارج شده و به سلول n {\displaystyle n} وارد می شوند را با b c n {\displaystyle b_{cn}} نمایش می دهیم و وزن آن را با w c n {\displaystyle w_{cn}} . اگر تمام وزنهای این شبکه عصبی را در مجموعه ای به اسم W {\displaystyle W} بگنجانیم، هدف در واقع یادگیری این وزنهاست. اگر ورودی ما x {\displaystyle x} باشد و خروجی y {\displaystyle y} و خروجی شبکه عصبی ما h W ( x ) {\displaystyle h_{W}(x)} ، هدف ما پیدا کردن W {\displaystyle W} است به قسمی که برای همه داده ها y {\displaystyle y} و h W ( x ) {\displaystyle h_{W}(x)} به هم خیلی نزدیک شوند. به عبارت دیگر هدف کوچک کردن یک تابع ضرر بر روی تمام داده هاست، اگر داده ها را با ( x 1 , y 1 ) , ⋯ , ( x n , y n ) {\displaystyle (x_{1},y_{1}),\cdots ,(x_{n},y_{n})} و تابع ضرر را با l {\displaystyle l} نشان دهیم هدف کمینه کردن تابع پایین بر حسب W {\displaystyle W} است:
Q ( W ) = ∑ i = 1 n l ( h W ( x i ) , y i ) {\displaystyle Q(W)=\sum _{i=1}^{n}l\left(h_{W}(x_{i}),\,\,y_{i}\right)}
به عنوان مثال اگر مسئله رگرسیون است برای l {\displaystyle l} می توانیم خطای مربعات را در نظر بگیریم و اگر مسئله دسته بندی است برای l {\displaystyle l} می شود منفی لگاریتم بازنمایی را استفاده کرد.
شبکه عصبی مصنوعی
شبکه عصبی
آدابوست
بیش برازش
گرادیان کاهشی تصادفی
قاعده زنجیری
برای سلول عصبی c {\displaystyle c} ورودیی که از سلول عصبی p {\displaystyle p} به این سلول وارد می شود را با b p c {\displaystyle b_{pc}} نشان می دهیم. وزن این ورودی w p c {\displaystyle w_{pc}} است و مجموع ضرب ورودی ها با وزنهایشان را با a c {\displaystyle a_{c}} نمایش می دهیم، یعنی a c = ∑ w p c × b p c {\displaystyle a_{c}=\sum w_{pc}\times b_{pc}} . حال باید بر روی a c {\displaystyle a_{c}} یک تابع غیر خطی اعمال کنیم، این تابع را θ c {\displaystyle \theta _{c}} می نامیم و خروجی آن را با b c {\displaystyle b_{c}} نمایش می دهیم به این معنی که b c = θ c ( a c ) {\displaystyle b_{c}=\theta _{c}(a_{c})} . به همین شکل خروجی هایی که از سلول عصبی c {\displaystyle c} خارج شده و به سلول n {\displaystyle n} وارد می شوند را با b c n {\displaystyle b_{cn}} نمایش می دهیم و وزن آن را با w c n {\displaystyle w_{cn}} . اگر تمام وزنهای این شبکه عصبی را در مجموعه ای به اسم W {\displaystyle W} بگنجانیم، هدف در واقع یادگیری این وزنهاست. اگر ورودی ما x {\displaystyle x} باشد و خروجی y {\displaystyle y} و خروجی شبکه عصبی ما h W ( x ) {\displaystyle h_{W}(x)} ، هدف ما پیدا کردن W {\displaystyle W} است به قسمی که برای همه داده ها y {\displaystyle y} و h W ( x ) {\displaystyle h_{W}(x)} به هم خیلی نزدیک شوند. به عبارت دیگر هدف کوچک کردن یک تابع ضرر بر روی تمام داده هاست، اگر داده ها را با ( x 1 , y 1 ) , ⋯ , ( x n , y n ) {\displaystyle (x_{1},y_{1}),\cdots ,(x_{n},y_{n})} و تابع ضرر را با l {\displaystyle l} نشان دهیم هدف کمینه کردن تابع پایین بر حسب W {\displaystyle W} است:
Q ( W ) = ∑ i = 1 n l ( h W ( x i ) , y i ) {\displaystyle Q(W)=\sum _{i=1}^{n}l\left(h_{W}(x_{i}),\,\,y_{i}\right)}
به عنوان مثال اگر مسئله رگرسیون است برای l {\displaystyle l} می توانیم خطای مربعات را در نظر بگیریم و اگر مسئله دسته بندی است برای l {\displaystyle l} می شود منفی لگاریتم بازنمایی را استفاده کرد.
wiki: بازگشت به عقب