در نظریهٔ احتمال، تئوری انحرافات بزرگ (به انگلیسی: Large Deviations Theory) مربوط است به بررسی رفتار حدی دنباله ای ازتوزیع های آماری، در طی مشاهدهٔ داده های جدید. برخی از ایده های اساسی تئوری را می توان به لاپلاس یا کرامر نسبت داد. اگرچه این تئوری به شیوه ای که امروزه می شناسیم توسط وارادهان در سال ۱۹۶۶ معرفی شد. این تئوری، مقهوم همگرایی اندازهٔ توزیع های احتمالی را پایه ریزی می کند. اگر بخواهیم این تئوری را کمی غیررسمی تر توصیف کنیم، این قضیه درگیر است با بررسی رفتار حدی توزیع های آماری، بخصوص رفتار دنباله ای (به انگلیسی: Tail behavior)، در شرایطی که داده های جدید مشاهده می شود.
قضیه انحرافات بزرگ کرامر
نامساوی چرنوف
لم وارادهان
انحرافات بزرگ توابع گوسی تصادفی
مثالی را در نظر بگیرید که در آن یک سکه متقارن(احتمال رو و پشت برابر) را به دفعات پرتاب می کنیم. اجازه دهید که نتیجهٔ پرتاب i-امین سکه را با X i {\displaystyle X_{i}} نشان دهیم. در شرایط که ما رخداد سر را با ۱ و رخداد پشت را با ۰ نشان می دهیم. حال فرض کنیم M N {\displaystyle M_{N}} میانگین بعد از پرتاپ N {\displaystyle N} امین سکه را نشان دهد.
می دانیم که مقدار M N {\displaystyle M_{N}} بین ۰ و ۱ قرار دارد. از قضیهٔ اعداد بزرگ (و همچنین از روی تجربه) می دانیم که هر چقدر که مقدار N {\displaystyle N} بزرگتر شود، توزیع M N {\displaystyle M_{N}} به 0.5 = E {\displaystyle 0.5=\operatorname {E} } (یا مقدار انتظاری در پرتاپ یک سکه) نزدیک تر خواهد شد.همچنین بر اساس قضیهٔ حد مرکزی می دانیم که M N {\displaystyle M_{N}} دارای توزیع نرمال حول 0.5 {\displaystyle 0.5} به ازای مقادیر بزرگ N {\displaystyle N} است. قضیهٔ حد مرکزی نسبت به قضیهٔ اعداد بزرگ اطلاعات بسیاری را می تواند در مورد رفتار M N {\displaystyle M_{N}} ارائه دهد. مثلاً به آسانی می توانیم توزیع دنباله ای M N {\displaystyle M_{N}} یا P ( M N > x ) {\displaystyle P(M_{N}>x)} (احتمال اینکه متغیر تصادفی M N {\displaystyle M_{N}} بزرگنر از مقدار ثابت x {\displaystyle x} باشد، به ازای مقدار ثابتی از N {\displaystyle N} .) هرچند که که این تقریب قضیه حد مرکزی به ازای مقدار x {\displaystyle x} خیلی دور از E {\displaystyle \operatorname {E} } چندان دقیق نیست. در واقع قضیهٔ حد مرکزی هرچند که در مورد نحوهٔ همگرایی توزیع دنباله ای وقتی N → ∞ {\displaystyle N\to \infty } چیزی بیان نمی کند، اما اطلاعاتی در مورد نحوهٔ توزیع داده ها در نزدیکی نقطهٔ حدی در اختیار می گدارد.بگذارید کمی دقیق تر در این مورد صحبت کنیم. به ازای مقدار داده شدهٔ 0.5 < x < 1 {\displaystyle 0.5<x<1} بگذارید احتمال دنباله ای P ( M N > x ) {\displaystyle P(M_{N}>x)} را محاسبه کنیم. تعریف می کنیم:
توجه کنید که تابع I ( x ) {\displaystyle I(x)} ، یک تابع محدب است که شبیه به آنترپی برنولی است. سپس با استفاده از نابرابری چرنوف داریم P ( M N > x ) < exp ( − N I ( x ) ) {\displaystyle P(M_{N}>x)<\exp(-NI(x))} . این کران یک کران تنگ است؛ به این مفهوم که I ( x ) {\displaystyle I(x)} را نمی توان چیزی بزرگتر جایگزین کرد که به ازای تمام مقادیر مثبت N {\displaystyle N} نامساوی مذکور برقرار باشد. (هر چند که کران نمایی را می توان با اضافه کردن یک ضریب از مرتبهٔ 1 / N {\displaystyle 1/{\sqrt {N}}} همچنان کاهش داد. این نتیجه از اعمال تقریب استرلینگ به ضرایب دو جمله ای که در توزیع برنولی بدست آورد.) بنابرین نتایج زیر را بدست می آوریم:
قضیه انحرافات بزرگ کرامر
نامساوی چرنوف
لم وارادهان
انحرافات بزرگ توابع گوسی تصادفی
مثالی را در نظر بگیرید که در آن یک سکه متقارن(احتمال رو و پشت برابر) را به دفعات پرتاب می کنیم. اجازه دهید که نتیجهٔ پرتاب i-امین سکه را با X i {\displaystyle X_{i}} نشان دهیم. در شرایط که ما رخداد سر را با ۱ و رخداد پشت را با ۰ نشان می دهیم. حال فرض کنیم M N {\displaystyle M_{N}} میانگین بعد از پرتاپ N {\displaystyle N} امین سکه را نشان دهد.
می دانیم که مقدار M N {\displaystyle M_{N}} بین ۰ و ۱ قرار دارد. از قضیهٔ اعداد بزرگ (و همچنین از روی تجربه) می دانیم که هر چقدر که مقدار N {\displaystyle N} بزرگتر شود، توزیع M N {\displaystyle M_{N}} به 0.5 = E {\displaystyle 0.5=\operatorname {E} } (یا مقدار انتظاری در پرتاپ یک سکه) نزدیک تر خواهد شد.همچنین بر اساس قضیهٔ حد مرکزی می دانیم که M N {\displaystyle M_{N}} دارای توزیع نرمال حول 0.5 {\displaystyle 0.5} به ازای مقادیر بزرگ N {\displaystyle N} است. قضیهٔ حد مرکزی نسبت به قضیهٔ اعداد بزرگ اطلاعات بسیاری را می تواند در مورد رفتار M N {\displaystyle M_{N}} ارائه دهد. مثلاً به آسانی می توانیم توزیع دنباله ای M N {\displaystyle M_{N}} یا P ( M N > x ) {\displaystyle P(M_{N}>x)} (احتمال اینکه متغیر تصادفی M N {\displaystyle M_{N}} بزرگنر از مقدار ثابت x {\displaystyle x} باشد، به ازای مقدار ثابتی از N {\displaystyle N} .) هرچند که که این تقریب قضیه حد مرکزی به ازای مقدار x {\displaystyle x} خیلی دور از E {\displaystyle \operatorname {E} } چندان دقیق نیست. در واقع قضیهٔ حد مرکزی هرچند که در مورد نحوهٔ همگرایی توزیع دنباله ای وقتی N → ∞ {\displaystyle N\to \infty } چیزی بیان نمی کند، اما اطلاعاتی در مورد نحوهٔ توزیع داده ها در نزدیکی نقطهٔ حدی در اختیار می گدارد.بگذارید کمی دقیق تر در این مورد صحبت کنیم. به ازای مقدار داده شدهٔ 0.5 < x < 1 {\displaystyle 0.5<x<1} بگذارید احتمال دنباله ای P ( M N > x ) {\displaystyle P(M_{N}>x)} را محاسبه کنیم. تعریف می کنیم:
توجه کنید که تابع I ( x ) {\displaystyle I(x)} ، یک تابع محدب است که شبیه به آنترپی برنولی است. سپس با استفاده از نابرابری چرنوف داریم P ( M N > x ) < exp ( − N I ( x ) ) {\displaystyle P(M_{N}>x)<\exp(-NI(x))} . این کران یک کران تنگ است؛ به این مفهوم که I ( x ) {\displaystyle I(x)} را نمی توان چیزی بزرگتر جایگزین کرد که به ازای تمام مقادیر مثبت N {\displaystyle N} نامساوی مذکور برقرار باشد. (هر چند که کران نمایی را می توان با اضافه کردن یک ضریب از مرتبهٔ 1 / N {\displaystyle 1/{\sqrt {N}}} همچنان کاهش داد. این نتیجه از اعمال تقریب استرلینگ به ضرایب دو جمله ای که در توزیع برنولی بدست آورد.) بنابرین نتایج زیر را بدست می آوریم:
wiki: قضیه انحرافات بزرگ