قانون الأعداد الكبيرة

يُعَدّ قانون الأعداد الكبيرة (LLN) في نظرية الاحتمالات نظرية رياضية تنص على أن متوسط النتائج المُحصَّلة من عدد كبير من العينات العشوائية المستقلة والمتطابقة يقترب من القيمة الحقيقية في حال وجودها. ينص قانون الأعداد الكبيرة رسميًا على أنه إذا كانت لدينا عينة من قيم مستقلة وموزعة توزيعًا متطابقًا فإن متوسط هذه العينة يقترب من المتوسط الحقيقي.

إن قانون الأعداد الكبيرة مهم لأنه يضمن نتائج مستقرة على المدى الطويل لمتوسطات بعض الأحداث العشوائية. ومن الأمثلة على ذلك: بينما قد يخسر الكازينو المال في دوران واحد لعجلة الروليت، فإن أرباحه ستميل إلى نسبة مئوية متوقعة على مدار عدد كبير من الدورات.

وإن أية سلسلة انتصارات يحققها لاعب ما ستتغلب عليها معايير اللعبة في نهاية المطاف. ومن المهم أن نعرف أيضا أن قانون الأعداد الكبيرة (كما يشير اسمه) ينطبق فقط عندما نأخذ في عين الاعتبار عددًا أكبر من الملاحظات.

لا يوجد مبدأ يقضي بأن يتطابق عدد قليل من الملاحظات مع القيمة المتوقعة أو أن تتوازن سلسلة من قيمة ما على الفور بالقيم الأخرى (انظر مغالطة المُقامر للاستزادة).

ينطبق قانون الأعداد الكبيرة فقط على متوسط نتائج التجارب المتكررة، ويدعي أن هذا المتوسط يتقارب مع القيمة المتوقعة؛ ولا يدعي أن مجموع عدد (n) من النتائج يقترب من القيمة المتوقعة مضروبة في (n) كلما ازدادت قيمة (n).

عمل العديد من علماء الرياضيات على تحسين هذا القانون على مدار تاريخه، ويُستخدم قانون الأعداد الكبيرة اليوم في العديد من المجالات بما في ذلك الإحصاء ونظرية الاحتمالات والاقتصاد والتأمين.

أمثلة عن قانون الأعداد الكبيرة

مثال على قانون الأعداد الكبيرة باستخدام رمية حجر النرد ( النردة ). مع زيادة عدد الرميات في التجربة ، يقترب متوسط قيم جميع النتائج من 3.5. على الرغم من أن كل جولة ستظهر شكلاً مميزًا على عدد قليل من الرميات (إلى اليسار) ، إلا أن الأشكال ستكون متشابهة للغاية على عدد كبير من الرميات (إلى اليمين).

In probability theory, the law of large numbers (LLN) is a mathematical theorem that states that the average of the results obtained from a large number of independent and identical random samples converges to the true value, if it exists. More formally, the LLN states that given a sample of independent and identically distributed values, the sample mean converges to the true mean. ينتج عن رمية نرد واحدة واحد من الأرقام التالية (1، 2، 3، 4، 5، أو 6) ولكلّ منها احتمال مُتساوٍ. ولذلك فإنّ القيمة المتوقّعة لمعدّل الرمياتِ هي:

$${\frac {1+2+3+4+5+6}{6}}=3.5$$

إذا رُمي عدد كبير من حجار النرد ذات الستة أوجه، فإن متوسط قيمها (الذي يُسمى أحيانًا بالمتوسط العيني) سيقترب من 3.5، وتزداد هذه الدقة كلما زاد عدد النرد المُلقاة.

ينص قانون الأعداد الكبيرة على أن الاحتمال التجريبي للنجاح في سلسلة من تجارب بِرنولي سيتقارب مع الاحتمال النظري. بالنسبة لمتغير عشوائي برنولي، فإن القيمة المتوقعة هي الاحتمال النظري للنجاح، ومتوسط (n) من هذه المتغيرات (على افتراض أنها مستقلة ومتطابقة التوزيع) هو بالضبط التكرار النسبي.

على سبيل المثال، يُعدُّ رمي العملة تجربة بيرنولية. عندما تُقلب عملة عادلة مرة واحدة، فإن الاحتمال النظري لظهور الوجه الأمامي يساوي ¹⁄₂.

لذلك، ووفقًا لقانون الأعداد الكبيرة، يجب أن تكون نسبة ظهور الوجه الأمامي في عدد "كبير" من رميات العملة حوالي ¹⁄₂. وبوجه خاص، فإن نسبة ظهور الوجه الأمامي بعد (n) رمية ستتقارب بالتأكيد إلى ¹⁄₂ عندما يقترب (n) من اللانهاية.

على الرغم من أن نسبة كل من الوجه والظهر تقترب من ¹⁄₂، فإن الفرق المطلق بين عدد مرات الوجه وعدد مرات الظهر سيصبح كبيرًا تقريبًا على الأكيد كلما ازداد عدد الرميات. أي أن احتمال أن يكون الفرق المطلق عددًا صغيرًا يقترب من الصفر مع زيادة عدد الرميات.

كذلك، من المؤكد تقريبًا أن نسبة الفرق المطلق إلى عدد الرميات ستقترب من الصفر. بعبارة أخرى، فإن الفرق المتوقع سيكبر، ولكن بمعدل أبطأ من معدل زيادة عدد الرميات.

مثال آخر جيد على قانون الأعداد الكبيرة هو طريقة مونت كارلو. تمثل هذه الطرق فئة واسعة من الخوارزميات الحسابية التي تعتمد على أخذ عينات عشوائية متكررة للحصول على نتائج عددية. تزداد دقة التقريب بزيادة عدد التكرارات.

تكمن أهمية هذه الطريقة في أنه في بعض الأحيان قد يكون من الصعب أو المستحيل استخدام طرق أخرى.

محدودية قانون الأعداد الكبيرة

قد لا يؤول متوسط نتائج عدد كبير من التجارب في بعض الحالات إلى التقارب. على سبيل المثال، لن يؤول متوسط "n" نتيجة مأخوذة من توزيع كوشي أو بعض توزيعات باريتو (α<1) إلى التقارب بزيادة n. والسبب في ذلك هو ذيول التوزيع الثقيلة.

تُمثل توزيعات كوشي وبريتو حالتين: الحالة الأولى لايوجد قيمة متوقعة لتوزيع كوشي، بينما تكون قيمة توقع توزيع بريتو (α<1) لا نهائية. هناك طريقة واحدة لتوليد مثال يتبع توزيع كوشي وهي عندما تساوي الأرقام العشوائية مماس (ظل) الزاوية موحدة التوزيع بين −90° و +90°. الوسيط هو صفر، لكن القيمة المتوقعة غير موجودة، وبالفعل متوسط "n" من هذه المتغيرات له نفس توزيع أحد هذه المتغيرات. لا يتقارب في الاحتمال نحو الصفر (أو أي قيمة أخرى) حيث يتجه "n" إلى ما لا نهاية.

وإذا كانت التجارب تتضمن تحيزا في الاختيار ، الحالة النموذجية في السلوك الاقتصادي / العقلاني البشري، فإن قانون الأعداد الكبيرة لا يساعد في حل التحيز. وحتى إذا زاد عدد المحاكمات، فإن التحيز في الاختيار لا يزال قائما.

تاريخ قانون الأعداد الكبيرة

الانتشار هو مثال على قانون الأعداد الكبيرة. في البداية، توجد جزيئات المذاب على يسار الحاجز (الخط الأرجواني) ولا توجد أي منها على اليمين. يزال الحاجز، وتنتشر جزيئات المذاب لملء الحاوية بأكملها.

• الأعلى: مع جزيء واحد، يبدو أن الحركة عشوائية تماما.
• الوسط: مع زيادة الجزيئات، يوجد اتجاه واضح حيث يملأ المذاب الوعاء ملئا أكثر توازناً، مع وجودا تقلبات عشوائية.
• القاع: مع وجود عدد هائل من جزيئات المذاب (عدد كبير جدًا بحيث لا يمكن رؤيته)، تختفي العشوائية: يبدو أن المذاب يتحرك بسلاسة تحركا منتظما من المناطق عالية التركيز إلى المناطق منخفضة التركيز. وفي مواقف واقعية، يمكن للكيميائيين وصف الانتشار كظاهرة عيانية حتمية رغم طبيعتها العشوائية.

يُقال إن عالم الرياضيات الإيطالي جيرولامو كاردانو (1501-1576) صرح بدون إثبات بأن دقة الإحصائيات التجريبية تميل إلى التحسن مع زيادة عدد التجارب. صيغ هذا لاحقًا على أنه قانون الأعداد الكبيرة.

كان يعقوب بيرنولي أول من أثبت شكلاً خاصًا لقانون الأعداد الكبيرة (لمتغير عشوائي ثنائي). استغرق الأمر منه أكثر من 20 عامًا لتطوير برهان رياضي صارم كافٍ نُشر في كتابه "فن التخمين" (Ars Conjectandi) عام 1713. أطلق عليه اسم "المبرهنة الذهبية" ولكنه أصبح يُعرف عمومًا باسم "مبرهنة بيرنولي". لا ينبغي الخلط بين هذا وبين مبدأ برنولي، الذي سمي على اسم ابن شقيق يعقوب بيرنولي، دانيال بيرنولي.

في عام 1837، وصفه سيميون دينيس بواسون (S. D. Poisson) أيضًا تحت اسم "قانون الأعداد الكبيرة" (la loi des grands nombres). ومنذ ذلك الحين، أصبح يُعرف بكلتا التسميتين، لكن اسم "قانون الأعداد الكبيرة" هو السائد.

بعد أن نشر برنولي وبواسون جهودهما ، ساهم علماء رياضيات آخرون أيضا في تحسين القانون، بمن فيهم بافنوتي تشيبيشيف, أندريه ماركوف و إيميل بوريل وفرانشيسكو باولو كانتيلي وأندريه كولموجوروف وألكسندر خينشين. أظهر ماركوف أن القانون يمكن أن ينطبق على متغير عشوائي ليس له تباين محدود في ظل بعض الافتراضات الأضعف الأخرى، وأظهر خينشينفي عام 1929 أنه إذا كانت السلسلة تتكون من متغيرات عشوائية مستقلة موزعة توزيعا متطابقا، يكفي أن تكون القيمة المتوقعة موجودة للقانون الضعيف للأعداد الكبيرة لتكون صحيحة. وقد أدت هذه الدراسات الإضافية إلى ظهور شكلين أساسيين من قانون الأعداد الكبيرة. .أحدهما يسمى القانون "الضعيف" والآخر القانون "القوي"، في إشارة إلى طريقتين مختلفتين لتقريب وسائل العينة التراكمية إلى القيمة المتوقعة؛ وعلى وجه الخصوص، كما هو موضح أدناه، فإن الشكل القوي يتضمن الضعيف.

أشكال قانون الأعداد الكبيرة

يوجد نوعان مختلفان لقانون الأعداد الكبيرة: يُسمى الأول قانون الأعداد الكبيرة القوي، والثاني قانون الأعداد الكبيرة الضعيف.

بفرض أن X₁, X₂... تمثل متسلسلة لا نهائية من المتغيرات العشوائية القابلة للتكامل (تكامل لوبيغ) والمستقلة والموزعة توزيعًا متطابقًا مع قيمة متوقعة E(X₁) = E(X₂) = ... = μ، ينص كلا الشكلين من القانون على أن متوسط العينة:

$${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$$

يتقارب إلى القيمة المتوقعة:

$${\overline {X}}_{n}\to \mu \quad {\textrm {as}}\ n\to \infty .$$

(1)

(تعني قابلية تكامل لوبيغ ل X_j أن القيمة المتوقعة E(X_j موجودة وفقا لتكامل لوبيغ وهي محدودة. ولا يعني هذا أن مقياس الاحتمال المرتبط مستمر فيما يتعلق بمقياس لوبيغ.)

غالبا ما تفترض نصوص الاحتمالات التمهيدية تباينا محدودا متطابقا $\operatorname {Var} (X_{i})=\sigma ^{2}$ (لجميع $i$) ولا يوجد ارتباط بين المتغيرات العشوائية. في هذه الحالة ، يكون تباين متوسط المتغيرات العشوائية n:

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

والتي يمكن استخدامها لاختصار وإيجاز الإثباتات، ولا يلزم افتراض التباين النهائي، إذ إن التباين الكبير أو اللانهائي سيجعل التقارب أبطأ، ولكن قانون الأعداد الكبيرة (LLN) يظل قائما على أي حال.

يمكن استبدال الاستقلال المتبادل للمتغيرات العشوائية بالاستقلال الزوجي أو قابلية التبادل في كلا شكلي قانون الأعداد الكبيرة.

يختص الفرق بين الشكل القوي والشكل الضعيف بنمط التقارب الذي يؤكد عليه. لمعرفة تفسير هذه الأنماط، راجع تقارب المتغيرات العشوائية.

القانون الضعيف

محاكاة توضح قانون الأعداد الكبيرة. تُقلب عملة معدنية حمراء من جانب وزرقاء من الجانب الآخر في كل إطار، وتضاف نقطة في العمود المقابل. يوضح المخطط الدائري نسبة اللونين الأحمر والأزرق. لاحظ أنه على الرغم من أن النسبة تختلف اختلافا كبيرا في البداية، إلا أنها تقترب من 50٪ مع زيادة عدد التجارب.

ينص القانون الضعيف للأعداد الكبيرة (ويسمى أيضا قانون خينشين) على أنه بالنظر إلى مجموعة من عينات متغيرات مستقلة ومتشابهة التوزيع من متغير عشوائي بمتوسط محدود، فإن متوسط العينة يتقارب في الاحتمال مع القيمة المتوقعة

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$

(2)

وهذا هو ، لأي رقم موجب ε،

$$\lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \,\right)=1.$$

بتفسير هذه النتيجة، ينص القانون الضعيف على أنه بالنسبة لأي هامش غير صفري محدد (ε)، مهما كان صغيرا، مع عينة كبيرة بما فيه الكفاية، سيكون هناك احتمال كبير جدا أن يكون متوسط الملاحظات قريبا من القيمة المتوقعة. وهذا هو داخل الهامش.

كما ذُكر سابقًا، لاينطبق قانون الضعف الكبير على المتغيرات العشوائية المستقلة والمتشابهة التوزيع فقط، ولكنه ينطبق أيضًا في بعض الحالات الأخرى. على سبيل المثال، يمكن أن يختلف التباين لكل متغير عشوائي في السلسلة، مع الحفاظ على قيمة متوقع ثابتة.

إذا كانت التباينات محدودة، فإن القانون ينطبق، كما هو أوضحه بافنوتي تشيبيشيف عام 1867. (إذا تغيرت القيم المتوقعة خلال السلسلة، فيمكننا ببساطة تطبيق القانون على متوسط الانحراف عن القيم المتوقعة المعنية. ثم ينص القانون على أن هذا التقارب يميل الاحتمال نحو الصفر.) ودليل بافنوتي تشيبيشيف صحيح طالما أن تباين متوسط قيم n الأولى يتجه إلى الصفر كلما اتجه n إلى ما لا نهاية.

على سبيل المثال، افترض أن كل متغير عشوائي في السلسلة يتبع توزيع احتمالي طبيعي (أو توزيع غاوس) بمتوسط صفر، لكن مع تباين يساوي $2n/\log(n+1)$ وهو غير محدود. سيوزع المتوسط في كل مرحلة طبيعيا (كمتوسط لمجموعة من المتغيرات الموزعة عادة). تباين المجموع يساوي مجموع الفروق، وهو مقارب ل $n^{2}/\log n$. وبالتالي فإن تباين المتوسط مقارب ل $1/\log n$ ويتجه إلى الصفر.

هناك أيضا أمثلة على القانون الضعيف المطبق على الرغم من عدم وجود قيم متوقعة.

القانون القوي

ينص القانون القوي للأعداد الكبيرة (ويسمى أيضا قانون أندريه كولموغوروف) على أن متوسط العينة يتقارب تقاربًا شبه مؤكد مع القيمة المتوقعة:

$${\overline {X}}_{n}\ {\overset {\text{a.s.}}{\longrightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$

(3)

وهي:

$$\Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.$$

ما يعنيه هذا هو أن الاحتمال، حيث أن عدد التجارب n يتجه إلى ما لا نهاية، فإن متوسط الملاحظات يتقارب مع القيمة المتوقعة، يساوي واحدا. يعد البرهان الحديث على القانون القوي أكثر تعقيدا من القانون الضعيف، ويعتمد على الانتقال إلى تسلسل فرعي مناسب.

يمكن اعتبار القانون القوي للأعداد الكبيرة في حد ذاته حالة خاصة لنظرية إرجوديك النقطية. يبرر هذا الرأي التفسير البدهي للقيمة المتوقعة (لتكامل لوبيغ فقط) لمتغير عشوائي عند أخذ عينات متكررة على أنه "المتوسط طويل الأجل".

يسمى القانون 3 القانون القوي لأن المتغيرات العشوائية التي تتقارب بقوة (تقاربًا شبه مؤكد) مضمونة لتتقارب تقاربا ضعيفا (في الاحتمال). ومع ذلك، فإنه من المعروف أن القانون الضعيف يصمد في ظروف معينة حيث لا يصمد القانون القوي ومن ثم يكون التقارب ضعيفا فقط (في الاحتمال).

ينطبق القانون القوي على المتغيرات العشوائية المستقلة الموزعة توزيعا متطابقا والتي لها قيمة متوقعة (مثل القانون الضعيف). وقد أثبت كولموغوروف ذلك في عام 1930. كما يمكن أن ينطبق أيضا في حالات أخرى.

أظهر كولموغوروف في عام 1933 أيضا، أنه إذا كانت المتغيرات مستقلة وموزعة توزيعا متطابقا، فليتقارب المتوسط تقاربا شبه مؤكد على شيء ما (يمكن اعتبار هذا بيانا آخر للقانون القوي)، يجب أن يكون له قيمة متوقعة (وبعد ذلك، بالطبع، سيتقارب المتوسط تقاربا شبه مؤكد بناءا على ذلك).

إذا كانت الملخصات مستقلة ولكنها ليست موزعة توزيعًا متطابقًا، فبالتالي:

$${\overline {X}}_{n}-\operatorname {E} {\big [}{\overline {X}}_{n}{\big ]}\ {\overset {\text{a.s.}}{\longrightarrow }}\ 0,$$

(2)

شريطة أن يكون لكل X_k عزم ثان محدود و

$$\sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty .$$

يعرف هذا البيان باسم قانون كولموغوروف القوي، انظر على سبيل المثال Sen and Singer (1993 ، نظرية 2.3.10).

الاختلافات بين القانون الضعيف والقانون القوي

ينص القانون الضعيف على أنه بالنسبة ل n كبيرة محددة، من المحتمل أن يكون متوسط ${\overline {X}}_{n}$ قريبا من μ. وبالتالي ، فإنه يترك الباب مفتوحا أمام احتمال حدوث $|{\overline {X}}_{n}-\mu |>\varepsilon$ عددا لا حصر له من المرات، وإن كان على فترات نادرة. (ليس بالضرورة $|{\overline {X}}_{n}-\mu |\neq 0$ لجميع n).

يظهر القانون القوي أن ذلك لن يحدث حدوثا شبه أكيد. ولا يعني هذا أنه مع الاحتمال 1، سنحصل على ε > 0 ولاينطبق عدم المساواة $|{\overline {X}}_{n}-\mu |<\varepsilon$ على كل شيء كبير بما يكفي "n" ، لأن التقارب ليس بالضرورة موحدا في المجموعة التي يحمل فيها.

لايصمد القانون القوي في الحالات التالية، بينما يصمد القانون الضعيف.

1. لتكن قيمة X متغيرا عشوائيا موزعا أضعافا مضاعفة مع المعلمة 1. المتغير العشوائي $X$ ليس له قيمة متوقعة وفقا لتكامل Lebesgue ، ولكن باستخدام التقارب الشرطي وتفسير التكامل على أنه تكامل ديريخليت ، وهو تكامل ريمان غير صحيح، يمكننا القول:

   
   

   $$E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{x=0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}$$
2. لتكن قيمة X متغير عشوائي موزع هندسيا مع احتمال 0.5. المتغير العشوائي $2^{X}(-1)^{X}X^{-1}$ ليس له قيمة متوقعة بالمعنى التقليدي لأن السلسلة اللانهائية ليست متقاربة، ولكن باستخدام التقارب الشرطي، يمكننا القول:
   $$E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{x=1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)$$
3. إذا كانت دالة التوزيع التراكمي لمتغير عشوائي هي
   $${\begin{cases}1-F(x)&={\frac {e}{2x\ln(x)}},&x\geq e\\F(x)&={\frac {e}{-2x\ln(-x)}},&x\leq -e\end{cases}}$$
   فلن يكون لها قيمة متوقعة ، لكن القانون الضعيف صحيح هنا.
4. لتكن قيمةX_k موجبة أو سالبة ${\textstyle {\sqrt {k/\log \log \log k}}}$ (بدءا من قيمة "k" كبيرة بما فيه الكفاية بحيث يكون المقام موجبا) مع احتمالية ¹⁄₂ لكل منها. تباين X_k سيكون $k/\log \log \log k.$ لا ينطبق قانون كولموغوروف القوي لأن المجموع الجزئي في معياره يصل إلى "k" = "n" مقارب ل $\log n/\log \log \log n$ وهذا غير محدود. إذا استبدلنا المتغيرات العشوائية بمتغيرات غاوسية لها نفس الفروق ، وهي ${\textstyle {\sqrt {k/\log \log \log k}}}$, بالتالي سيتوزع المتوسط في أي وقت توزيعا طبيعي. سيميل عرض توزيع المتوسط نحو الصفر (الانحراف المعياري مقارب ل ${\textstyle 1/{\sqrt {2\log \log \log n}}}$)، ولكن بالنسبة ل ε معينة، هناك احتمال لا يصل إلى الصفر مع n، في حين أن المتوسط في وقت ما بعد التجربة n سيعود إلى ε. نظرا لأن عرض توزيع المتوسط ليس صفرا ، فيجب أن يكون له حد أدنى موجب p(ε)، مما يعني أن هناك احتمالا على الأقل ب p(ε) أن يصل المتوسط إلى ε بعد تجارب عدد تجارب n. سيحدث مع الاحتمال p(ε)/2 قبل بعض m والذي يعتمد على n. وحتى بعد m، لا يزال هناك احتمال على الأقل p(ε) أنه سيحصل. (يبدو أن هذا يشير إلى أن p(ε)=1 وسيصل المتوسط ε عدد لا حصر له من المرات.)

القوانين الموحدة للأعداد الكبيرة

هناك توسيعات لقانون الأعداد الكبيرة لتجميعات المقدرات (المقدرات الإحصائية) حيث يكون التقارب تقاربا بحد موحد على التجميع. ومن هنا جاءت تسمية قانون الأعداد الكبيرة الموحد. افترض أن f(x,θ) هي بعض الوظائف المحددة ل θ ∈ Θ، ومستمرة في θ. ثم بالنسبة لأي θ ثابت، فإن التسلسل {f(X₁,θ), f(X₂,θ), ...} سيكون سلسلة من المتغيرات العشوائية المستقلة والموزعة توزيعا متطابقا، بحيث يتقارب متوسط عينة هذا التسلسل في الاحتمال إلى E[f(X,θ)]. هذا هو التقارب النقطي (في θ).

مثال معين لقانون موحد للأعداد الكبيرة ينص على الظروف التي يحدث فيها التقارب حدوثا موحدا في θ. لو:

1. Θ مضغوط،
2. f(x,θ) مستمر عند كلθ ∈ Θ لجميع x تقريبا, ودالة مقاسة ل x عند كل θ.
3. توجد دالة مهيمنة d(x) بحيث E[d(X)] < ∞، و
   $$\left\|f(x,\theta )\right\|\leq d(x)\quad {\text{for all}}\ \theta \in \Theta .$$

ثم E[f(X,θ)] مستمر في θ، و

$$\sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} [f(X,\theta )]\right\|{\overset {\mathrm {P} }{\rightarrow }}\ 0.$$

هذه النتيجة مفيدة لاشتقاق اتساق فئة كبيرة من المقدرات.

قانون بوريل للأعداد الكبيرة

ينص قانون بوريل للأعداد الكبيرة، الذي سمي على اسم إميل بوريل، على أنه إذا تكررت التجربة عددا كبيرا من المرات ، تكرارا مستقلا في ظل ظروف متطابقة، فإن نسبة المرات التي يتوقع فيها حدوث أي حدث محدد تساوي تقريبا احتمال وقوع الحدث في أي تجربة معينة. كلما زاد عدد مرات التكرار، كان التقريب أفضل. وبتعبير أدق، إذا كانت E تشير إلى الحدث المعني ، p احتمال حدوثه ، و N_n(E) عدد المرات التي يحدث فيها E في التجارب n الأولى، ثم مع الاحتمالية واحد

$${\frac {N_{n}(E)}{n}}\to p{\text{ as }}n\to \infty .$$

تجعل هذه النظرية من الفكرة البديهية للاحتمال صارمة باعتبارها التردد النسبي المتوقع على المدى الطويل لوقوع الحدث. وهي حالة خاصة لأي من القوانين العامة العديدة للأعداد الكبيرة في نظرية الاحتمالات.

عدم مساواة تشيبيشيف. لنفترض أن X متغير عشوائي بقيمة متوقعة منتهية μ وتباين محدود غير صفري σ². ثم لأي رقم حقيقي k > 0،

$$\Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.$$

إثبات القانون الضعيف

بالنظر إلى X₁, X₂...، تسلسل لا نهائي من المتغيرات العشوائية المستقلة والمتشابهة في التوزيع ذات القيمة المتوقعة $E(X_{1})=E(X_{2})=\cdots =\mu <\infty$ المحدودة، نحن مهتمون بتقارب متوسط العينة:

$${\overline {X}}_{n}={\tfrac {1}{n}}(X_{1}+\cdots +X_{n}).$$

ينص قانون الأعداد الكبيرة الضعيف على:

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$

(2)

الإثبات باستخدام متباينة تشيبيشيف بافتراض التباين المحدود

يستخدم هذا البرهان افتراض التباين المحدود $\operatorname {Var} (X_{i})=\sigma ^{2}$ (لجميع $i$). استقلال المتغيرات العشوائية يعني عدم وجود ارتباط بينها ، ولدينا ذلك

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

متوسط μ الشائع للتسلسل هو متوسط متوسط العينة:

$$E({\overline {X}}_{n})=\mu .$$

ينتج عن استخدام متباينة تشيبيشيف على ${\overline {X}}_{n}$:

$$\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\leq {\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.$$

يمكن استخدام هذا للحصول على ما يلي:

$$\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|<\varepsilon )=1-\operatorname {P} (\left|{\overline {X}}_{n}-\mu \right|\geq \varepsilon )\geq 1-{\frac {\sigma ^{2}}{n\varepsilon ^{2}}}.$$

عندما يقترب n من اللانهاية، يقترب التعبير من 1. وبتعريف التقارب في الاحتمال، نحصل على

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$

(2)

الإثبات باستخدام تقارب الدوال المميزة

من خلال نظرية تايلور للدوال المعقدة، يمكن كتابة الدالة المميزة لأي متغير عشوائيX بمتوسط μ محدود، على النحو التالي:

$$\varphi _{X}(t)=1+it\mu +o(t),\quad t\rightarrow 0.$$

كلX₁, X₂, ... لها نفس الوظيفة المميزة ، لذلك سنشير ببساطة إلى ذلك φ_X.

من بين الخصائص الأساسية للوظائف المميزة هناك:

$$\varphi _{{\frac {1}{n}}X}(t)=\varphi _{X}({\tfrac {t}{n}})\quad {\text{and}}\quad \varphi _{X+Y}(t)=\varphi _{X}(t)\varphi _{Y}(t)\quad$$

إذا كان X وY مستقلين.

يمكن استخدام هذه القواعد لحساب الدالة المميزة ${\overline {X}}_{n}$ من حيث φ_X:

$$\varphi _{{\overline {X}}_{n}}(t)=\left[\varphi _{X}\left({t \over n}\right)\right]^{n}=\left[1+i\mu {t \over n}+o\left({t \over n}\right)\right]^{n}\,\rightarrow \,e^{it\mu },\quad {\text{as}}\quad n\to \infty .$$

النهاية e^itμ هي الدالة المميزة للمتغير العشوائي الثابت μ ، وبالتالي من خلال نظرية استمرارية ليفي ، يتقارب ${\overline {X}}_{n}$ في التوزيع إلى μ:

$${\overline {X}}_{n}\,{\overset {\mathcal {D}}{\rightarrow }}\,\mu \qquad {\text{for}}\qquad n\to \infty .$$

μ ثابت، مما يعني أن التقارب في التوزيع إلى μ والتقارب في الاحتمال إلى μ متكافئان، وبالتالي:

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$

(2)

وهذا يدل على أن متوسط العينة يتقارب في الاحتمال مع مشتق الدالة المميزة في الأصل، طالما أن الأخير موجود.

إثبات القانون القوي

نقدم دليلا بسيطا نسبيا على القانون القوي في ظل الافتراضات القائلة بأن $X_{i}$ هي متغيرات مستقلة ومتشابهة التوزيع، ${\mathbb {E} }[X_{i}]=:\mu <\infty$, $\operatorname {Var} (X_{i})=\sigma ^{2}<\infty$, and ${\mathbb {E} }[X_{i}^{4}]=:\tau <\infty$.

دعونا نلاحظ أولا أنه بدون فقدان العمومية ، يمكننا أن نفترض أن $mu=0$ عن طريق التوسيط. في هذه الحالة ، ينص القانون القوي على أن:

$$\Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=0\right)=1,$$

أو

$$\Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}=0\right)=1.$$

وهو ما يعادل:

$$\Pr \left(\omega :\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\right)=0,$$

لاحظ أن

$$\lim _{n\to \infty }{\frac {S_{n}(\omega )}{n}}\neq 0\iff \exists \epsilon >0,\left|{\frac {S_{n}(\omega )}{n}}\right|\geq \epsilon \ {\mbox{infinitely often}},$$

وبالتالي لإثبات القانون القوي نحتاج إلى إظهار ذلك لكل $\epsilon >0$, وسنحصل على

$$\Pr \left(\omega :|S_{n}(\omega )|\geq n\epsilon {\mbox{ infinitely often}}\right)=0.$$

نحدد الأحداث $A_{n}=\{\omega :|S_{n}|\geq n\epsilon \}$، وإذا كان بإمكاننا إظهار ذلك

$$\sum _{n=1}^{\infty }\Pr(A_{n})<\infty ,$$

ثم يشير بوريل كانتيلي ليما إلى النتيجة. لذلك دعونا نقدر $\Pr(A_{n})$. وبحساب

$${\mathbb {E} }[S_{n}^{4}]={\mathbb {E} }\left[\left(\sum _{i=1}^{n}X_{i}\right)^{4}\right]={\mathbb {E} }\left[\sum _{1\leq i,j,k,l\leq n}X_{i}X_{j}X_{k}X_{l}\right].$$

ندعي أولا أن كل حد من النموذج $X_{i}^{3}X_{j},X_{i}^{2}X_{j}X_{k},X_{i}X_{j}X_{k}X_{l}$ حيث تكون جميع الأحرف السفلية متميزة ، يجب أن يكون له توقع صفري. وذلك لأن ${\mathbb {E} }[X_{i}^{3}X_{j}]={\mathbb {E} }[X_{i}^{3}]{\mathbb {E} }[X_{j}]$ بالاستقلال ، والمصطلح الأخير هو صفر --- وبالمثل بالنسبة للشروط الأخرى. لذلك فإن المصطلحات الوحيدة في المجموع ذات التوقعات غير الصفرية هي ${\mathbb {E} }[X_{i}^{4}]$ و${\mathbb {E} }[X_{i}^{2}X_{j}^{2}]$. نظرا لأن $X_{i}$ موزعة توزيعا متطابقا، فكلها متشابهة، وعلاوة على ذلك ${\mathbb {E} }[X_{i}^{2}X_{j}^{2}]=({\mathbb {E} }[X_{i}^{2}])^{2}$.

يوجد عدد $n$ من شروط النموذج ${\mathbb {E} }[X_{i}^{4}]$ وعدد $3n(n-1)$ من شروط النموذج $({\mathbb {E} }[X_{i}^{2}])^{2}$, وبذلك

$${\mathbb {E} }[S_{n}^{4}]=n\tau +3n(n-1)\sigma ^{4}.$$

لاحظ أن الطرف الأيمن هو كثير حدود تربيعي في $n$، وعلى هذا النحو يوجد $C>0$ بحيث ${\mathbb {E} }[S_{n}^{4}]\leq Cn^{2}$ بحيث يكون $n$ كبيرا بما يكفي. بحسب آندريه ماركوف،

$$\Pr(|S_{n}|\geq n\epsilon )\leq {\frac {1}{(n\epsilon )^{4}}}{\mathbb {E} }[S_{n}^{4}]\leq {\frac {C}{\epsilon ^{4}n^{2}}},$$

ل $n$ كبيرة بما فيه الكفاية، وبالتالي هذه السلسلة قابلة للجمع. نظرا لأن هذا ينطبق على أي $epsilon>0$، فقد أنشأنا قانون الأرقام الكبيرة القوي.

ويمكن العثور على دليل آخر في

للحصول على دليل بدون افتراض إضافي للحظة رابعة محدودة ، انظر القسم 22 من.

النتائج

عواقب يوفر قانون الأعداد الكبيرة توقعا لتوزيع غير معروف من إدراك التسلسل، وأي ميزة لتوزيع الاحتمالات أيضا. و بتطبيق قانون بوريل للأعداد الكبيرة، يمكن للمرء بسهولة الحصول على دالة الكتلة الاحتمالية. يمكن للمرء أن يقارب احتمال وقوع الحدث مع نسبة المرات التي يحدث فيها أي حدث محدد لكل حدث في دالة كتلة الاحتمال الموضوعي. كلما زاد عدد التكرار، كان التقريب أفضل. أما بالنسبة للحالة المستمرة: $C=(a-h,a+h]$ ل h موجب صغير. وبالتالي ، بالنسبة إلى n كبير:

$${\frac {N_{n}(C)}{n}}\thickapprox p=P(X\in C)=\int _{a-h}^{a+h}f(x)\,dx\thickapprox 2hf(a)$$

يمكن للمرء باستخدام هذه الطريقة تغطية المحور السيني بالكامل بشبكة (بحجم شبكة 2س) والحصول على رسم بياني شريطي يسمى المدرج التكراري أو الإحصائي.

التطبيقات

أحد تطبيقات قانون الأعداد الكبيرة هو استخدام طريقة مونت كارلو. [3] تستخدم هذه الطريقة عينة عشوائية من الأرقام لتقريب النتائج العددية. خوارزمية حساب تكامل f(x) على فترة [a,b] هي كما يلي:

1. محاكاة المتغيرات العشوائية الموحدة X₁, X₂, ..., X_n والتي يمكن القيام بها باستخدام برنامج، واستخدام جدول ارقام عشوائي يعطي , U₂, ..., U_n متغيرات عشوائية مستقلة وموزعة توزيعا متطابقا (i.i.d.) على [0,1]. لنفترض أن X_i = a+(b - a)U_i ل i= 1, 2, ..., n. وبذلك X₁, X₂, ..., X_n هي متغيرات عشوائية موحدة مستقلة وموزعة توزيعا متطابقا على [a, b].
2. تقييم f(X₁), f(X₂), ..., f(X_n)
3. أخذ متوسط f(X₁), f(X₂), ..., f(X_n) بحساب $(b-a){\tfrac {f(X_{1})+f(X_{2})+...+f(X_{n})}{n}}$ ثم بقانون الأعداد الكبيرة القوي، يتقارب هذا إلى $(b-a)E(f(X_{1}))$ = $(b-a)\int _{a}^{b}f(x){\tfrac {1}{b-a}}{dx}$ =$\int _{a}^{b}f(x){dx}$

يمكننا إيجاد تكامل $f(x)=cos^{2}(x){\sqrt {x^{3}+1}}$ في [-1,2]. يعد استخدام الطرق التقليدية لحساب هذا التكامل أمرا صعبا للغاية، لذلك يمكن استخدام طريقة مونت كارلو هنا. باستخدام الخوارزمية أعلاه، نحصل على: $\int _{-1}^{2}f(x){dx}$ = 0.905 when n=25

و

$\int _{-1}^{2}f(x){dx}$ = 1.028 when n=250

نلاحظ أنه كلما زادت n، زادت القيمة العددية أيضا. عندما نحصل على النتائج الفعلية للتكامل نحصل على: $\int _{-1}^{2}f(x){dx}$ = 1.000194 باستخدام قانون الأعداد الكبيرة ، كان تقريب التكامل أكثر دقة وكان أقرب إلى قيمته الحقيقية.

مثال آخر هو تكامل f(x) = ${\frac {e^{x}-1}{e-1}}$ على [0,1]. باستخدام طريقة مونت كارلو وقانون الأعداد الكبيرة, يمكننا ملاحظة أنه كلما زاد عدد العينات، اقتربت القيمة العددية من 0.4180233.

المصادر

• Grimmett، G. R.؛ Stirzaker، D. R. (1992). Probability and Random Processes (ط. 2nd). Oxford: Clarendon Press. ISBN:0-19-853665-8.
• Durrett، Richard (1995). Probability: Theory and Examples (ط. 2nd). Duxbury Press.
• Martin Jacobsen (1992). Videregående Sandsynlighedsregning [Advanced Probability Theory] (بالدنماركية) (3rd ed.). Copenhagen: HCØ-tryk. ISBN:87-91180-71-6.
• Loève، Michel (1977). Probability theory 1 (ط. 4th). Springer.
• Newey، Whitney K.؛ McFadden، Daniel (1994). "36". Large sample estimation and hypothesis testing. Handbook of econometrics. Elsevier Science. ج. IV. ص. 2111–2245.
• Ross، Sheldon (2009). A first course in probability (ط. 8th). Prentice Hall. ISBN:978-0-13-603313-4.
• Sen، P. K؛ Singer، J. M. (1993). Large sample methods in statistics. Chapman & Hall.
• Seneta، Eugene (2013). "A Tricentenary history of the Law of Large Numbers". Bernoulli. ج. 19 ع. 4: 1088–1121. arXiv:1309.6488. DOI:10.3150/12-BEJSP12. S2CID:88520834.