قانون الأعداد الكبيرة

يُعَدّ قانون الأعداد الكبيرة (LLN) في نظرية الاحتمالات نظرية رياضية تنص على أن متوسط النتائج المُحصَّلة من عدد كبير من العينات العشوائية المستقلة والمتطابقة يقترب من القيمة الحقيقية في حال وجودها. ينص قانون الأعداد الكبيرة رسميًا على أنه إذا كانت لدينا عينة من قيم مستقلة وموزعة توزيعًا متطابقًا فإن متوسط هذه العينة يقترب من المتوسط الحقيقي.

إن قانون الأعداد الكبيرة مهم لأنه يضمن نتائج مستقرة على المدى الطويل لمتوسطات بعض الأحداث العشوائية. ومن الأمثلة على ذلك: بينما قد يخسر الكازينو المال في دوران واحد لعجلة الروليت، فإن أرباحه ستميل إلى نسبة مئوية متوقعة على مدار عدد كبير من الدورات.

وإن أية سلسلة انتصارات يحققها لاعب ما ستتغلب عليها معايير اللعبة في نهاية المطاف. ومن المهم أن نعرف أيضا أن قانون الأعداد الكبيرة (كما يشير اسمه) ينطبق فقط عندما نأخذ في عين الاعتبار عددًا أكبر من الملاحظات.

لا يوجد مبدأ يقضي بأن يتطابق عدد قليل من الملاحظات مع القيمة المتوقعة أو أن تتوازن سلسلة من قيمة ما على الفور بالقيم الأخرى (انظر مغالطة المُقامر للاستزادة).

ينطبق قانون الأعداد الكبيرة فقط على متوسط نتائج التجارب المتكررة، ويدعي أن هذا المتوسط يتقارب مع القيمة المتوقعة؛ ولا يدعي أن مجموع عدد (n) من النتائج يقترب من القيمة المتوقعة مضروبة في (n) كلما ازدادت قيمة (n).

عمل العديد من علماء الرياضيات على تحسين هذا القانون على مدار تاريخه، ويُستخدم قانون الأعداد الكبيرة اليوم في العديد من المجالات بما في ذلك الإحصاء ونظرية الاحتمالات والاقتصاد والتأمين.

أمثلة عن قانون الأعداد الكبيرة

ينتج عن رمية نرد واحدة واحد من الأرقام التالية (1، 2، 3، 4، 5، أو 6) ولكلّ منها احتمال مُتساوٍ. ولذلك فإنّ القيمة المتوقّعة لمعدّل الرمياتِ هي:

$${\frac {1+2+3+4+5+6}{6}}=3.5$$

إذا رُمي عدد كبير من حجار النرد ذات الستة أوجه، فإن متوسط قيمها (الذي يُسمى أحيانًا بالمتوسط العيني) سيقترب من 3.5، وتزداد هذه الدقة كلما زاد عدد النرد المُلقاة.

ينص قانون الأعداد الكبيرة على أن الاحتمال التجريبي للنجاح في سلسلة من تجارب بِرنولي سيتقارب مع الاحتمال النظري. بالنسبة لمتغير عشوائي برنولي، فإن القيمة المتوقعة هي الاحتمال النظري للنجاح، ومتوسط (n) من هذه المتغيرات (على افتراض أنها مستقلة ومتطابقة التوزيع) هو بالضبط التكرار النسبي.

على سبيل المثال، يُعدُّ رمي العملة تجربة بيرنولية. عندما تُقلب عملة عادلة مرة واحدة، فإن الاحتمال النظري لظهور الوجه الأمامي يساوي ¹⁄₂.

لذلك، ووفقًا لقانون الأعداد الكبيرة، يجب أن تكون نسبة ظهور الوجه الأمامي في عدد "كبير" من رميات العملة حوالي ¹⁄₂. وبوجه خاص، فإن نسبة ظهور الوجه الأمامي بعد (n) رمية ستتقارب بالتأكيد إلى ¹⁄₂ عندما يقترب (n) من اللانهاية.

على الرغم من أن نسبة كل من الوجه والظهر تقترب من ¹⁄₂، فإن الفرق المطلق بين عدد مرات الوجه وعدد مرات الظهر سيصبح كبيرًا تقريبًا على الأكيد كلما ازداد عدد الرميات. أي أن احتمال أن يكون الفرق المطلق عددًا صغيرًا يقترب من الصفر مع زيادة عدد الرميات.

كذلك، من المؤكد تقريبًا أن نسبة الفرق المطلق إلى عدد الرميات ستقترب من الصفر. بعبارة أخرى، فإن الفرق المتوقع سيكبر، ولكن بمعدل أبطأ من معدل زيادة عدد الرميات.

مثال آخر جيد على قانون الأعداد الكبيرة هو طريقة مونت كارلو. تمثل هذه الطرق فئة واسعة من الخوارزميات الحسابية التي تعتمد على أخذ عينات عشوائية متكررة للحصول على نتائج عددية. تزداد دقة التقريب بزيادة عدد التكرارات.

تكمن أهمية هذه الطريقة في أنه في بعض الأحيان قد يكون من الصعب أو المستحيل استخدام طرق أخرى.

محدودية قانون الأعداد الكبيرة

قد لا يؤول متوسط نتائج عدد كبير من التجارب في بعض الحالات إلى التقارب. على سبيل المثال، لن يؤول متوسط "n" نتيجة مأخوذة من توزيع كوشي أو بعض توزيعات باريتو (α<1) إلى التقارب بزيادة n. والسبب في ذلك هو ذيول التوزيع الثقيلة.

تُمثل توزيعات كوشي وبريتو حالتين: الحالة الأولى لايوجد قيمة متوقعة لتوزيع كوشي، بينما تكون قيمة توقع توزيع بريتو (α<1) لا نهائية. هناك طريقة واحدة لتوليد مثال يتبع توزيع كوشي وهي عندما تساوي الأرقام العشوائية مماس (ظل) الزاوية موحدة التوزيع بين −90° و +90°. الوسيط هو صفر، لكن القيمة المتوقعة غير موجودة، وبالفعل متوسط "n" من هذه المتغيرات له نفس توزيع أحد هذه المتغيرات. لا يتقارب في الاحتمال نحو الصفر (أو أي قيمة أخرى) حيث يتجه "n" إلى ما لا نهاية.

وإذا كانت التجارب تتضمن تحيزا في الاختيار ، الحالة النموذجية في السلوك الاقتصادي / العقلاني البشري، فإن قانون الأعداد الكبيرة لا يساعد في حل التحيز. وحتى إذا زاد عدد المحاكمات، فإن التحيز في الاختيار لا يزال قائما.

تاريخ قانون الأعداد الكبيرة

يُقال إن عالم الرياضيات الإيطالي جيرولامو كاردانو (1501-1576) صرح بدون إثبات بأن دقة الإحصائيات التجريبية تميل إلى التحسن مع زيادة عدد التجارب. صيغ هذا لاحقًا على أنه قانون الأعداد الكبيرة.

كان يعقوب بيرنولي أول من أثبت شكلاً خاصًا لقانون الأعداد الكبيرة (لمتغير عشوائي ثنائي). استغرق الأمر منه أكثر من 20 عامًا لتطوير برهان رياضي صارم كافٍ نُشر في كتابه "فن التخمين" (Ars Conjectandi) عام 1713. أطلق عليه اسم "المبرهنة الذهبية" ولكنه أصبح يُعرف عمومًا باسم "مبرهنة بيرنولي". لا ينبغي الخلط بين هذا وبين مبدأ برنولي، الذي سمي على اسم ابن شقيق يعقوب بيرنولي، دانيال بيرنولي.

في عام 1837، وصفه سيميون دينيس بواسون (S. D. Poisson) أيضًا تحت اسم "قانون الأعداد الكبيرة" (la loi des grands nombres). ومنذ ذلك الحين، أصبح يُعرف بكلتا التسميتين، لكن اسم "قانون الأعداد الكبيرة" هو السائد.

أشكال قانون الأعداد الكبيرة

يوجد نوعان مختلفان لقانون الأعداد الكبيرة: يُسمى الأول قانون الأعداد الكبيرة القوي، والثاني قانون الأعداد الكبيرة الضعيف.

بفرض أن X₁, X₂... تمثل متسلسلة لا نهائية من المتغيرات العشوائية القابلة للتكامل (تكامل لوبيغ) والمستقلة والموزعة توزيعًا متطابقًا مع قيمة متوقعة E(X₁) = E(X₂) = ... = μ، ينص كلا الشكلين من القانون على أن متوسط العينة:

$${\overline {X}}_{n}={\frac {1}{n}}(X_{1}+\cdots +X_{n})$$

يتقارب إلى القيمة المتوقعة:

$${\overline {X}}_{n}\to \mu \quad {\textrm {as}}\ n\to \infty .$$

(1)

(تعني قابلية تكامل لوبيغ ل X_j أن القيمة المتوقعة E(X_j موجودة وفقا لتكامل لوبيغ وهي محدودة. ولا يعني هذا أن مقياس الاحتمال المرتبط مستمر فيما يتعلق بمقياس لوبيغ.)

غالبا ما تفترض نصوص الاحتمالات التمهيدية تباينا محدودا متطابقا $\operatorname {Var} (X_{i})=\sigma ^{2}$ (لجميع $i$) ولا يوجد ارتباط بين المتغيرات العشوائية. في هذه الحالة ، يكون تباين متوسط المتغيرات العشوائية n:

$$\operatorname {Var} ({\overline {X}}_{n})=\operatorname {Var} ({\tfrac {1}{n}}(X_{1}+\cdots +X_{n}))={\frac {1}{n^{2}}}\operatorname {Var} (X_{1}+\cdots +X_{n})={\frac {n\sigma ^{2}}{n^{2}}}={\frac {\sigma ^{2}}{n}}.$$

والتي يمكن استخدامها لاختصار وإيجاز الإثباتات، ولا يلزم افتراض التباين النهائي، إذ إن التباين الكبير أو اللانهائي سيجعل التقارب أبطأ، ولكن قانون الأعداد الكبيرة (LLN) يظل قائما على أي حال.

يمكن استبدال الاستقلال المتبادل للمتغيرات العشوائية بالاستقلال الزوجي أو قابلية التبادل في كلا شكلي قانون الأعداد الكبيرة.

يختص الفرق بين الشكل القوي والشكل الضعيف بنمط التقارب الذي يؤكد عليه. لمعرفة تفسير هذه الأنماط، راجع تقارب المتغيرات العشوائية.

القانون الضعيف

محاكاة توضح قانون الأعداد الكبيرة. تُقلب عملة معدنية حمراء من جانب وزرقاء من الجانب الآخر في كل إطار، وتضاف نقطة في العمود المقابل. يوضح المخطط الدائري نسبة اللونين الأحمر والأزرق. لاحظ أنه على الرغم من أن النسبة تختلف اختلافا كبيرا في البداية، إلا أنها تقترب من 50٪ مع زيادة عدد التجارب.

ينص القانون الضعيف للأعداد الكبيرة (ويسمى أيضا قانون خينشين) على أنه بالنظر إلى مجموعة من عينات متغيرات مستقلة ومتشابهة التوزيع من متغير عشوائي بمتوسط محدود، فإن متوسط العينة يتقارب في الاحتمال مع القيمة المتوقعة

$${\overline {X}}_{n}\ {\overset {P}{\rightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$

(2)

وهذا هو ، لأي رقم موجب ε،

$$\lim _{n\to \infty }\Pr \!\left(\,|{\overline {X}}_{n}-\mu |<\varepsilon \,\right)=1.$$

بتفسير هذه النتيجة، ينص القانون الضعيف على أنه بالنسبة لأي هامش غير صفري محدد (ε)، مهما كان صغيرا، مع عينة كبيرة بما فيه الكفاية، سيكون هناك احتمال كبير جدا أن يكون متوسط الملاحظات قريبا من القيمة المتوقعة. وهذا هو داخل الهامش.

كما ذُكر سابقًا، لاينطبق قانون الضعف الكبير على المتغيرات العشوائية المستقلة والمتشابهة التوزيع فقط، ولكنه ينطبق أيضًا في بعض الحالات الأخرى. على سبيل المثال، يمكن أن يختلف التباين لكل متغير عشوائي في السلسلة، مع الحفاظ على قيمة متوقع ثابتة.

إذا كانت التباينات محدودة، فإن القانون ينطبق، كما هو أوضحه بافنوتي تشيبيشيف عام 1867. (إذا تغيرت القيم المتوقعة خلال السلسلة، فيمكننا ببساطة تطبيق القانون على متوسط الانحراف عن القيم المتوقعة المعنية. ثم ينص القانون على أن هذا التقارب يميل الاحتمال نحو الصفر.) ودليل بافنوتي تشيبيشيف صحيح طالما أن تباين متوسط قيم n الأولى يتجه إلى الصفر كلما اتجه n إلى ما لا نهاية.

على سبيل المثال، افترض أن كل متغير عشوائي في السلسلة يتبع توزيع احتمالي طبيعي (أو توزيع غاوس) بمتوسط صفر، لكن مع تباين يساوي $2n/\log(n+1)$ وهو غير محدود. سيوزع المتوسط في كل مرحلة طبيعيا (كمتوسط لمجموعة من المتغيرات الموزعة عادة). تباين المجموع يساوي مجموع الفروق، وهو مقارب ل $n^{2}/\log n$. وبالتالي فإن تباين المتوسط مقارب ل $1/\log n$ ويتجه إلى الصفر.

هناك أيضا أمثلة على القانون الضعيف المطبق على الرغم من عدم وجود قيم متوقعة.

القانون القوي

ينص القانون القوي للأعداد الكبيرة (ويسمى أيضا قانون أندريه كولموغوروف) على أن متوسط العينة يتقارب تقاربًا شبه مؤكد مع القيمة المتوقعة:

$${\overline {X}}_{n}\ {\overset {\text{a.s.}}{\longrightarrow }}\ \mu \qquad {\textrm {when}}\ n\to \infty .$$

(3)

وهي:

$$\Pr \!\left(\lim _{n\to \infty }{\overline {X}}_{n}=\mu \right)=1.$$

ما يعنيه هذا هو أن الاحتمال، حيث أن عدد التجارب n يتجه إلى ما لا نهاية، فإن متوسط الملاحظات يتقارب مع القيمة المتوقعة، يساوي واحدا. يعد البرهان الحديث على القانون القوي أكثر تعقيدا من القانون الضعيف، ويعتمد على الانتقال إلى تسلسل فرعي مناسب.

يمكن اعتبار القانون القوي للأعداد الكبيرة في حد ذاته حالة خاصة لنظرية إرجوديك النقطية. يبرر هذا الرأي التفسير البدهي للقيمة المتوقعة (لتكامل لوبيغ فقط) لمتغير عشوائي عند أخذ عينات متكررة على أنه "المتوسط طويل الأجل".

يسمى القانون 3 القانون القوي لأن المتغيرات العشوائية التي تتقارب بقوة (تقاربًا شبه مؤكد) مضمونة لتتقارب تقاربا ضعيفا (في الاحتمال). ومع ذلك، فإنه من المعروف أن القانون الضعيف يصمد في ظروف معينة حيث لا يصمد القانون القوي ومن ثم يكون التقارب ضعيفا فقط (في الاحتمال).

ينطبق القانون القوي على المتغيرات العشوائية المستقلة الموزعة توزيعا متطابقا والتي لها قيمة متوقعة (مثل القانون الضعيف). وقد أثبت كولموغوروف ذلك في عام 1930. كما يمكن أن ينطبق أيضا في حالات أخرى.

أظهر كولموغوروف في عام 1933 أيضا، أنه إذا كانت المتغيرات مستقلة وموزعة توزيعا متطابقا، فليتقارب المتوسط تقاربا شبه مؤكد على شيء ما (يمكن اعتبار هذا بيانا آخر للقانون القوي)، يجب أن يكون له قيمة متوقعة (وبعد ذلك، بالطبع، سيتقارب المتوسط تقاربا شبه مؤكد بناءا على ذلك).

إذا كانت الملخصات مستقلة ولكنها ليست موزعة توزيعًا متطابقًا، فبالتالي:

$${\overline {X}}_{n}-\operatorname {E} {\big [}{\overline {X}}_{n}{\big ]}\ {\overset {\text{a.s.}}{\longrightarrow }}\ 0,$$

(2)

شريطة أن يكون لكل X_k عزم ثان محدود و

$$\sum _{k=1}^{\infty }{\frac {1}{k^{2}}}\operatorname {Var} [X_{k}]<\infty .$$

يعرف هذا البيان باسم قانون كولموغوروف القوي، انظر على سبيل المثال Sen and Singer (1993 ، نظرية 2.3.10).

الاختلافات بين القانون الضعيف والقانون القوي

ينص القانون الضعيف على أنه بالنسبة ل n كبيرة محددة، من المحتمل أن يكون متوسط ${\overline {X}}_{n}$ قريبا من μ. وبالتالي ، فإنه يترك الباب مفتوحا أمام احتمال حدوث $|{\overline {X}}_{n}-\mu |>\varepsilon$ عددا لا حصر له من المرات، وإن كان على فترات نادرة. (ليس بالضرورة $|{\overline {X}}_{n}-\mu |\neq 0$ لجميع n).

يظهر القانون القوي أن ذلك لن يحدث حدوثا شبه أكيد. ولا يعني هذا أنه مع الاحتمال 1، سنحصل على ε > 0 ولاينطبق عدم المساواة $|{\overline {X}}_{n}-\mu |<\varepsilon$ على كل شيء كبير بما يكفي "n" ، لأن التقارب ليس بالضرورة موحدا في المجموعة التي يحمل فيها.

لايصمد القانون القوي في الحالات التالية، بينما يصمد القانون الضعيف.

1. لتكن قيمة X متغيرا عشوائيا موزعا أضعافا مضاعفة مع المعلمة 1. المتغير العشوائي $X$ ليس له قيمة متوقعة وفقا لتكامل Lebesgue ، ولكن باستخدام التقارب الشرطي وتفسير التكامل على أنه تكامل ديريخليت ، وهو تكامل ريمان غير صحيح، يمكننا القول:

   
   

   $$E\left({\frac {\sin(X)e^{X}}{X}}\right)=\ \int _{x=0}^{\infty }{\frac {\sin(x)e^{x}}{x}}e^{-x}dx={\frac {\pi }{2}}$$
2. لتكن قيمة X متغير عشوائي موزع هندسيا مع احتمال 0.5. المتغير العشوائي $2^{X}(-1)^{X}X^{-1}$ ليس له قيمة متوقعة بالمعنى التقليدي لأن السلسلة اللانهائية ليست متقاربة، ولكن باستخدام التقارب الشرطي، يمكننا القول:
   $$E\left({\frac {2^{X}(-1)^{X}}{X}}\right)=\ \sum _{x=1}^{\infty }{\frac {2^{x}(-1)^{x}}{x}}2^{-x}=-\ln(2)$$
3. إذا كانت دالة التوزيع التراكمي لمتغير عشوائي هي
   $${\begin{cases}1-F(x)&={\frac {e}{2x\ln(x)}},&x\geq e\\F(x)&={\frac {e}{-2x\ln(-x)}},&x\leq -e\end{cases}}$$
   فلن يكون لها قيمة متوقعة ، لكن القانون الضعيف صحيح هنا.
4. لتكن قيمةX_k موجبة أو سالبة ${\textstyle {\sqrt {k/\log \log \log k}}}$ (بدءا من قيمة "k" كبيرة بما فيه الكفاية بحيث يكون المقام موجبا) مع احتمالية ¹⁄₂ لكل منها. تباين X_k سيكون $k/\log \log \log k.$ لا ينطبق قانون كولموغوروف القوي لأن المجموع الجزئي في معياره يصل إلى "k" = "n" مقارب ل $\log n/\log \log \log n$ وهذا غير محدود. إذا استبدلنا المتغيرات العشوائية بمتغيرات غاوسية لها نفس الفروق ، وهي ${\textstyle {\sqrt {k/\log \log \log k}}}$, بالتالي سيتوزع المتوسط في أي وقت توزيعا طبيعي. سيميل عرض توزيع المتوسط نحو الصفر (الانحراف المعياري مقارب ل ${\textstyle 1/{\sqrt {2\log \log \log n}}}$)، ولكن بالنسبة ل ε معينة، هناك احتمال لا يصل إلى الصفر مع n، في حين أن المتوسط في وقت ما بعد التجربة n سيعود إلى ε. نظرا لأن عرض توزيع المتوسط ليس صفرا ، فيجب أن يكون له حد أدنى موجب p(ε)، مما يعني أن هناك احتمالا على الأقل ب p(ε) أن يصل المتوسط إلى ε بعد تجارب عدد تجارب n. سيحدث مع الاحتمال p(ε)/2 قبل بعض m والذي يعتمد على n. وحتى بعد m، لا يزال هناك احتمال على الأقل p(ε) أنه سيحصل. (يبدو أن هذا يشير إلى أن p(ε)=1 وسيصل المتوسط ε عدد لا حصر له من المرات.)

القوانين الموحدة للأعداد الكبيرة

هناك توسيعات لقانون الأعداد الكبيرة لتجميعات المقدرات (المقدرات الإحصائية) حيث يكون التقارب تقاربا بحد موحد على التجميع. ومن هنا جاءت تسمية قانون الأعداد الكبيرة الموحد. افترض أن f(x,θ) هي بعض الوظائف المحددة ل θ ∈ Θ، ومستمرة في θ. ثم بالنسبة لأي θ ثابت، فإن التسلسل {f(X₁,θ), f(X₂,θ), ...} سيكون سلسلة من المتغيرات العشوائية المستقلة والموزعة توزيعا متطابقا، بحيث يتقارب متوسط عينة هذا التسلسل في الاحتمال إلى E[f(X,θ)]. هذا هو التقارب النقطي (في θ).

مثال معين لقانون موحد للأعداد الكبيرة ينص على الظروف التي يحدث فيها التقارب حدوثا موحدا في θ. لو:

1. Θ مضغوط،
2. f(x,θ) مستمر عند كلθ ∈ Θ لجميع x تقريبا, ودالة مقاسة ل x عند كل θ.
3. توجد دالة مهيمنة d(x) بحيث E[d(X)] < ∞، و
   $$\left\|f(x,\theta )\right\|\leq d(x)\quad {\text{for all}}\ \theta \in \Theta .$$

ثم E[f(X,θ)] مستمر في θ، و

$$\sup _{\theta \in \Theta }\left\|{\frac {1}{n}}\sum _{i=1}^{n}f(X_{i},\theta )-\operatorname {E} [f(X,\theta )]\right\|{\overset {\mathrm {P} }{\rightarrow }}\ 0.$$

هذه النتيجة مفيدة لاشتقاق اتساق فئة كبيرة من المقدرات.

قانون بوريل للأعداد الكبيرة

ينص قانون بوريل للأعداد الكبيرة، الذي سمي على اسم إميل بوريل، على أنه إذا تكررت التجربة عددا كبيرا من المرات ، تكرارا مستقلا في ظل ظروف متطابقة، فإن نسبة المرات التي يتوقع فيها حدوث أي حدث محدد تساوي تقريبا احتمال وقوع الحدث في أي تجربة معينة. كلما زاد عدد مرات التكرار، كان التقريب أفضل. وبتعبير أدق، إذا كانت E تشير إلى الحدث المعني ، p احتمال حدوثه ، و N_n(E) عدد المرات التي يحدث فيها E في التجارب n الأولى، ثم مع الاحتمالية واحد

$${\frac {N_{n}(E)}{n}}\to p{\text{ as }}n\to \infty .$$

تجعل هذه النظرية من الفكرة البديهية للاحتمال صارمة باعتبارها التردد النسبي المتوقع على المدى الطويل لوقوع الحدث. وهي حالة خاصة لأي من القوانين العامة العديدة للأعداد الكبيرة في نظرية الاحتمالات.

عدم مساواة تشيبيشيف. لنفترض أن X متغير عشوائي بقيمة متوقعة منتهية μ وتباين محدود غير صفري σ². ثم لأي رقم حقيقي k > 0،

$$\Pr(|X-\mu |\geq k\sigma )\leq {\frac {1}{k^{2}}}.$$

المصادر

• Grimmett، G. R.؛ Stirzaker، D. R. (1992). Probability and Random Processes (ط. 2nd). Oxford: Clarendon Press. ISBN:0-19-853665-8.
• Durrett، Richard (1995). Probability: Theory and Examples (ط. 2nd). Duxbury Press.
• Martin Jacobsen (1992). Videregående Sandsynlighedsregning [Advanced Probability Theory] (بالدنماركية) (3rd ed.). Copenhagen: HCØ-tryk. ISBN:87-91180-71-6.
• Loève، Michel (1977). Probability theory 1 (ط. 4th). Springer.
• Newey، Whitney K.؛ McFadden، Daniel (1994). "36". Large sample estimation and hypothesis testing. Handbook of econometrics. Elsevier Science. ج. IV. ص. 2111–2245.
• Ross، Sheldon (2009). A first course in probability (ط. 8th). Prentice Hall. ISBN:978-0-13-603313-4.
• Sen، P. K؛ Singer، J. M. (1993). Large sample methods in statistics. Chapman & Hall.
• Seneta، Eugene (2013). "A Tricentenary history of the Law of Large Numbers". Bernoulli. ج. 19 ع. 4: 1088–1121. arXiv:1309.6488. DOI:10.3150/12-BEJSP12. S2CID:88520834.