تقارب المتغيرات العشوائية

تقارب المتغيرات العشوائي - مشهد تخيلي

توجد عدة مفاهيم مختلفة في نظرية الاحتمال لتقارب تسلسلات المتغيرات العشوائية بما في ذلك التقارب الاحتمالي والتقارب في التوزيع والتقارب المؤكد تقريبا. تعكس مفاهيم التقارب المختلفة خصائص مختلفة عن المتسلسلة، حيث تكون بعض مفاهيم التقارب أقوى من غيرها. على سبيل المثال, يُخبرنا التقارب في التوزيع عن حد التوزيع لسلسلة من المتغيرات العشوائية. يُعد هذا بدوره مفهومًا أضعف من التقارب الاحتمالي الذي يخبرنا عن القيمة التي سيأخذها المتغير العشوائي، وليس مجرد التوزيع.

يعتبر المفهوم مهمًا في نظرية الاحتمال وتطبيقاته على الإحصاء والعمليات العشوائية. وتعرف نفس المفاهيم في الرياضيات الأكثر عمومية باسم التقارب العشوائي وهي تُصَوِّرُ فكرةَ أنه يُتَوَقَّعُ في بعض الأحيان أن تستقر خصائص معينة لتتابع من الأحداث العشوائية أو غير المتوقعة استقرارا أساسيا، إلى سلوك يُمكن اعتباره ثابتًا إلى حد ما عند دراسة العناصر البعيدة بما فيه الكفاية في التسلسل.

ترتبط المفاهيم المختلفة للتقارب بكيفية وصف هذا السلوك: سلوكان مفهومان بسهولة هما أن يتخذ التسلسل قيمة ثابتة في النهاية، وأن تستمر القيم في المتسلسلة في التغير ولكن يمكن وصفها بتوزيع احتمالية ثابت.

خلفية

يضفي "التقارب العشوائي" طابعًا رسميًا على فكرة أن سلسلة من الأحداث العشوائية أو غير المتوقعة يمكن توقعها في بعض الأحيان لتستقر في نمط ما. قد يكون النمط على سبيل المثال:

• تقارب بالمعنى الكلاسيكي إلى قيمة ثابتة، ربما تكون ناتجة عن حدث عشوائي
• تشابه مُتصاعد للنّواتج المُحصَّلة مع ما تنتجه دالة حتْمية بحْتَة
• تفضيل متزايد تجاه نتيجة معينة
• تزايد النفور من الابتعاد الكبير عن نتيجة محددة
• يَمْيلُ توزيع الاحتمالية الذي يصف النتيجة التالية إلى التشابه تشابها متزايدًا مع توزيع معين

بعض الأنماط الأقل وضوحًا والأكثر تجريدًا يمكن أن تكون

• يمكنُ أنْ يَتقارب مَجْمُوعُ القيَمِ المُتوقَّعة للبَعْدِ النَّاتِج عنْ القيمة المتوقعة إِلَى الصّفر 0
• بأن تباين المتغير العشوائي الذي يصف الحدث التالي يقل ويصغر

تظهر الأنواع الأخرى من الأنماط التي قد تنشأ في الأنواع المختلفة من التقارب العشوائي التي دُرست.

في حين أن المناقشة أعلاه تتعلق بتقارب متسلسلة واحدة إلى قيمة حدية، فإن مفهوم تقارب متسلسلتين نحو بعضهما البعض مهم أيضًا، لكن يمكن التعامل مه بسهولة بدراسة المتسلسلة المعرفة على أنها إما الفرق أو النسبة بين المتسلسلتين.

على سبيل المثال، إذا كان متوسط n متغيرات عشوائية مستقلة Y_i, i = 1, ..., n، وجميعها لها نفس المتوسط والاختلاف المحدود، يُعطى بالمعادلة:

$X_{n}={\frac {1}{n}}\sum _{i=1}^{n}Y_{i}\,,$

ثم كلما مال n إلى ما لا نهاية، سيتقارب المتغير العشوائي X_n احتماليا (انظر أدناه) إلى المتوسط المشترك μ للمتغيرات العشوائية Y_i.

تُعرف هذه النتيجة بقانون الأعداد الكبيرة الضعيف. وتجدر الإشارة إلى أن هناك أشكالًا أخرى من التقارب مهمة في نظريات مفيدة أخرى، بما في ذلك المتوسط المركزي.

فيما يلي ، نفترض أن (X_n) هي متسلسلة من المتغيرات العشوائية، وأن X هو متغير عشوائي، وأن جميعها معرفة على نفس الفضاء الاحتمالي $(\Omega ,{\mathcal {F}},\mathbb {P} )$.

التقارب في التوزيع

أمثلة

مصنع النرد
افترض أن مصنعًا جديدًا للنرد قد انتهى بناؤه للتو. ستخرج أولى مكعبات النرد لتكون متحيزة تحيزا كبيرا، نتيجة للعيوب المصنعية، وستكون نتيجة رمي أيٍ منها تتبع توزيعًا يختلف اختلافًا ملحوظًا عن التوزيع الموحد المطلوب. وبمجرد تحسن انتاج المصنع، تتبع نتائج رمي النرد الجديد المنتج توزيعًا متساويًا وأكثر تقارباً تدريجياً.
رمي العملات المعدنية
ليكن Xn نسبة ظهور الوجه بعد رمي قطعة نقود غير منحازة n مرة. إذن X1 سيتبع توزيع بيرنولي بقيمة متوقعة μ = 0.5 وتباين σ2 = 0.25. والمتغيرات العشوائية اللاحقة X2, X3, ... ستتبع جميعها توزيعا ثنائي الحد (ذو الحدين). وكلما اقتربت قيمة n من القيمة اللانهائية (أو ازدادت قيمة n كثيرا)، سيقترب التوزيع الاحتمالي هذا تدريجيا ليأخذ شكلًا مشابهًا للمنحنى الجرسي للتوزيع الطبيعي. إذا قمنا بتحويل وإعادة قياس Xn قياسا مناسبا، فإن المتغير $\scriptstyle Z_{n}={\frac {\sqrt {n}}{\sigma }}(X_{n}-\mu )$ سيتقارب توزيعيا نحو التوزيع الطبيعي الموحد، وذلك وفقًا للمبرهنة المركزية للحدود (مبرهنة القيمة المركزية).
مثال مصور
نفترض أن {Xi} هي متسلسلة متغيرات عشوائية مستقلة وموزعة توزيعا متطابقا من التوزيع الموحد U(−1, 1) للمتغيرات العشوائية. لیکن $\scriptstyle Z_{n}={\scriptscriptstyle {\frac {1}{\sqrt {n}}}}\sum _{i=1}^{n}X_{i}$ المجاميع (المعلمة). وبناءً على مبرهنة الحد المركزي، يقترب توزيع Zn من التوزيع المعيارِي N(0, 1/3). توضح الصورة التالية هذا التقارب: كلما كبرت قيمة n، يقترب شكل دالة كثافة الاحتمال أكثر فأكثر من منحنى غاوس

بعبارة أخرى، ومع تقارب التوزيع، تزداد التوقعات بأن تصبح النتيجة التالية في تتابع التجارب العشوائية نموذجًا أفضل وأفضل بواسطة توزيع احتمالي معين. وبعبارة أكثر دقة، يصبح توزيع المتغير العشوائي المرتبط بالتسلسل قريبًا أكثر من توزيع ثابت محدد.

يعتبر التقارب في التوزيع هو أضعف أشكال التقارب التي تناقش في العادةً لأنه لازم في جميع أنواع التقارب الأخرى المذكورة في هذه المقالة. ومع ذلك، يستخدم التقارب في التوزيع استخداما متكرر جدًا في التطبيقات العملية ؛ وغالبًا ما ينشأ عن تطبيق الحد المركزي.

التعريف

يُطلق على سِلسلة مُتَغيِّرات عشوائيَّة حقيقيَّة القيم $X_{1},X_{2},\ldots$، لها دوالُ التَّوزيعِ التَّراكميَّةِ $F_{1},F_{2},\ldots$ على التَّوالي، بأنَّها تتقاربُ في التوزيع (تقاربا ضعيفًا، أو تقارب حسب القانون) إلى مُتغيِّر عشوائي X ذي دالة التَّوزيع التَّراكميَّة F إذا كان: $\lim _{n\to \infty }F_{n}(x)=F(x),$ لكل رقم $x\in \mathbb {R}$ حيث أن F مستمرة.

يعد مراعاة شرط نقاط الاستمرارية F فقط أمرًا ضروريًا. على سبيل المثال, إذا كانت X_n موزعة توزيعا موحدا بفوارق (0, 1/n)، وسيتتقارب هذه المتسلسلة عندئذ بالتوزيع إلى المتغير العشوائي المنحط X = 0. وبالطبع، F_n(x) = 0 لجميع n عندما x ≤ 0، و F_n(x) = 1 لجميع x ≥ 1/n عندما n > 0. ومع ذلك، لهذا الحد المتغير العشوائي F(0) = 1، على الرغم من F_n(0) = 0 لجميع n. وبالتالي سيفشل التقارب عند هذه النقطة x = 0 حيث F متقطع.

يمكن الإشارة إلى التقارب في التوزيع على أنه

${\begin{aligned}{}&X_{n}\ \xrightarrow {d} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {D}} \ X,\ \ X_{n}\ \xrightarrow {\mathcal {L}} \ X,\ \ X_{n}\ \xrightarrow {d} \ {\mathcal {L}}_{X},\\&X_{n}\rightsquigarrow X,\ \ X_{n}\Rightarrow X,\ \ {\mathcal {L}}(X_{n})\to {\mathcal {L}}(X),\\\end{aligned}}$

(1)

حيث $\scriptstyle {\mathcal {L}}_{X}$ هو قانون (التوزيع الاحتمالي) ل X. على سبيل المثال، إذا كان X قياسيًا عاديًا فيمكننا أن نكتب $X_{n}\,{\xrightarrow {d}}\,{\mathcal {N}}(0,\,1)$.

للمتجهات العشوائية {X₁, X₂, ...} ⊂ R^k يعرف التقارب في التوزيع بالمثل. ونقول أن هذه المتسلسلة تتقارب في التوزيع إلى متجه عشوائي k-vector X إذا كان

$\lim _{n\to \infty }\mathbb {P} (X_{n}\in A)=\mathbb {P} (X\in A)$

لكل A ⊂ R^k وهي مجموعة استمرارية من X.

يمكن توسيع تعريف التقارب في التوزيع من المتجهات العشوائية إلى العناصر العشوائية الأكثر عمومية في المساحات المترية العشوائية، وحتى إلى "المتغيرات العشوائية" التي لا يمكن قياسها - وهو الوضع الذي يحدث على سبيل المثال في دراسة العمليات التجريبية. هذا هو "التقارب الضعيف للقوانين دون تعريف القوانين" - إلا تقريبيا.

في هذه الحالة يفضل مصطلح التقارب الضعيف، ونقول أن سلسلة من العناصر العشوائية {X_n} تتقارب تقاربا ضعيفا إلى X ويُشار إليها ب X_n ⇒ X إذا كان

$\mathbb {E} ^{*}h(X_{n})\to \mathbb {E} \,h(X)$

لجميع الدوال المتصلة المستمرة h. تشير E* هنا إلى التوقع الخارجي، وهذا هو توقع أصغر دالة مقاسة g تهيمن على h(X_n).

الخصائص

• بما أن $F(a)=\mathbb {P} (X\leq a)$ فإن التقارب في التوزيع يعني أن احتمال وجود X_n في نطاق معين يساوي تقريبًا احتمال أن تكون قيمة X في هذا النطاق، بشرط n كبير كفاية.
• عموما، لا يعني التقارب في التوزيع أن تسلسل وظائف الكثافة الاحتمالية المقابلة سيتقارب أيضًا. كمثال يمكن للمرء أن يأخذ في الاعتبار المتغيرات العشوائية ذات الكثافات f_n(x) = (1 + cos(2πnx))1_(0,1). تتقارب هذه المتغيرات العشوائية في التوزيع إلى شكل منتظم U(0, 1)، في حين أن كثافتها لا تتقارب على الإطلاق.
  • ومع ذلك، وفقًا لنظرية شيفيه، فإن تقارب دوال الكثافة الاحتمالية يعني التقارب في التوزيع.
• وفر بورتمانتو ليما عدة تعريفات مكافئة للتقارب في التوزيع. على الرغم من أن هذه التعريفات أقل بدهية، إلا أنها تستخدم لإثبات العديد من النظريات الإحصائية. تنص تعريفات بورتمانتو ليما على أن {X_n} يتقارب في التوزيع إلى X إذا وفقط إذا كانت أي من العبارات التالية صحيحة:
  • $\mathbb {P} (X_{n}\leq x)\to \mathbb {P} (X\leq x)$ لجميع نقاط الاستمرارية في $x\mapsto \mathbb {P} (X\leq x)$;
  • $\mathbb {E} f(X_{n})\to \mathbb {E} f(X)$ لجميع الوظائف المحدودة أو المستمرة $f$ (حيث $\mathbb {E}$ يدل على عامل القيمة المتوقعة);
  • $\mathbb {E} f(X_{n})\to \mathbb {E} f(X)$ لجميع وظائف لبتشيز المحدودة $f$;
  • $\lim \inf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)$ لجميع الدوال المستمرة غير السالبة $f$;
  • $\lim \inf \mathbb {P} (X_{n}\in G)\geq \mathbb {P} (X\in G)$ لكل مجموعة مفتوحة $G$;
  • $\lim \sup \mathbb {P} (X_{n}\in F)\leq \mathbb {P} (X\in F)$ لكل مجموعة مغلقة $F$;
  • $\mathbb {P} (X_{n}\in B)\to \mathbb {P} (X\in B)$ لجميع المجموعات الاستمرارية $B$ لمتغير عشوائي $X$;
  • $\limsup \mathbb {E} f(X_{n})\leq \mathbb {E} f(X)$ لكل وظيفة علوية شبه مستمرة $f$ محدودة أعلاه;
  • $\liminf \mathbb {E} f(X_{n})\geq \mathbb {E} f(X)$ لكل وظيفة دنيا شبه مستمرة $f$ محدودة أدناه.
• تنص نظرية التعيين المستمر على أنه بالنسبة للدالة المستمرة g، إذا كان التسلسل {X_n} يتقارب في التوزيع إلى X، إذن {g(X_n)} يتقارب في التوزيع ل g(X).
  • لاحظ مع ذلك أن التقارب في توزيع {X_n} إلى X و{Y_{n< /sub>}} إلى Y لا يعني عموما التقارب في توزيع {X_n + Y_n} إلى X + Y أو من {X_n Y_n} إلى XY.
• نظرية استمرارية ليفي: يتقارب التسلسل {X_n} في التوزيع إلى X إذا وفقط إذا كان تسلسل الدوال المميزة المتناظرة {' 'φ_n} يتقارب تقاربا نقطيا مع الدالة المميزة φ لـ X.
• يمكن قياس التقارب في التوزيع من خلال مقياس ليفي-بروخوروف.
• الرابط الطبيعي للتقارب في التوزيع هو نظرية تمثيل سكوروخود.

التقارب في الاحتمال

تكمن الفكرة الأساسية وراء هذا النوع من التقارب في أن احتمال حدوث نتيجة "غير عادية" يصبح أصغر فأصغر كلما تقدم التسلسل.

يُستخدم مفهوم التقارب في الاحتمال استخدامًا متكررًا في الإحصاء. على سبيل المثال، يُطلق على المقدر مصطلح "المتناسق" إذا تقارب احتماليا إلى القيمة المُقدرة. كما أن التقارب الاحتمالي هو نوع التقارب الذي يحدده قانون الأعداد الكبيرة الضعيف.

التعريف

يتقارب تسلسل {X_n} من المتغيرات العشوائية في الاحتمال نحو المتغير العشوائي X إذا كان لكل ε > 0

$\lim _{n\to \infty }\mathbb {P} {\big (}|X_{n}-X|>\varepsilon {\big )}=0.$

وبتفصيل أكثر وضوحًا، دع P_n(ε) يكون احتمال أن يكون X_n هو خارج نصف قطر الكرة ε المتمركزة في X. ثم يمكننا القول إن X_n يتقارب في الاحتمال مع X إذا كان لأي ε > 0 وأي δ > 0 يوجد رقم N (والذي قد يعتمد على ε و δ) بحيث يكون لكل n ≥ N, P_n(ε) < δ (تعريف الحد).

لاحظ أنه لاستيفاء الشرط، ليس من الممكن أن يكون المتغيران العشوائيان X و X_n مستقلان لكل n ( وبالتالي فإن التقارب في الاحتمال هو شرط على دالة التوزيع التراكمي المشتركة، على عكس التقارب في التوزيع، وهو شرط على دالة التوزيع التراكمي الفردية)، إلا إذا كانت X حتمية مثل قانون الأعداد الكبيرة الضعيف. وفي الوقت نفسه، لا يمكن التعامل مع حالة X الحتمية، عندما تكون القيمة الحتمية نقطة انقطاع (غير معزولة)، عن طريق التقارب في التوزيع، حيث يجب استبعاد نقاط الانقطاع استبعادًا صريحًا.

يشار إلى التقارب في الاحتمالية بإضافة الحرف "p" فوق سهم يشير إلى التقارب، أو باستخدام عامل حد الاحتمال "plim"

$X_{n}\ \xrightarrow {p} \ X,\ \ X_{n}\ \xrightarrow {P} \ X,\ \ {\underset {n\to \infty }{\operatorname {plim} }}\,X_{n}=X.$

(2)

بالنسبة للعناصر العشوائية {X_n} في مساحة مترية قابلة للفصل (S, d)، يعرف التقارب في الاحتمال بالمثل على النحو:

$\forall \varepsilon >0,\mathbb {P} {\big (}d(X_{n},X)\geq \varepsilon {\big )}\to 0.$

الخصائص

• التقارب في الاحتمال يعني التقارب في التوزيع.
• وفي الاتجاه المعاكس، يشير التقارب في التوزيع إلى التقارب في الاحتمال عندما يكون المتغير العشوائي المحدد X ثابتًا.
• التقارب في الاحتمال لا يعني تقاربًا شبه مؤكد.
• تنص نظرية التعيين المستمر على أنه لكل دالة مستمرة $g$، إذا كانت ${\textstyle X_{n}\xrightarrow {p} X}$، فعندئذ أيضًا ${\textstyle g(X_{n})\xrightarrow {p} g(X)}$.
• يحدد التقارب في الاحتمالية طوبولوجيا على مساحة المتغيرات العشوائية على مساحة احتمالية ثابتة. يمكن قياس هذه الهيكلية من خلال مقياس Ky Fan:
  $$d(X,Y)=\inf \!{\big \{}\varepsilon >0:\ \mathbb {P} {\big (}|X-Y|>\varepsilon {\big )}\leq \varepsilon {\big \}}$$
  أو بالتناوب بهذا المقياس
  $$d(X,Y)=\mathbb {E} \left[\min(|X-Y|,1)\right].$$

أمثلة مضادة

ليست كل سلسلة من المتغيرات العشوائية التي تتقارب مع متغير عشوائي آخر في التوزيع تتقارب أيضًا في الاحتمال مع ذلك المتغير العشوائي. على سبيل المثال، خذ بعين الاعتبار تسلسل المتغيرات العشوائية العادية القياسية $X_{n}$ والتسلسل الثاني $Y_{n}=(-1)^{n}X_{n}$. لاحظ أن توزيع $Y_{n}$ يساوي توزيع $X_{n}$ لجميع $n$، ولكن

$$P(|X_{n}-Y_{n}|\geq \epsilon )=P(|X_{n}|\cdot |(1-(-1)^{n})|\geq \epsilon )$$

والتي لا تتقارب مع $0$. إذن ليس لدينا تقارب في الاحتمال.

التقارب شبه المؤكد

هذا النوع من التقارب العشوائي (التقارب الاحتمالي) هو الأكثر شبها بالتقارب النقطي المعروف في التحليل الحقيقي الابتدائي.

التعريف

لنفترض أن التسلسل X_n يتقارب بكل تأكيد أو في كل مكان تقريبًا أو باحتمال 1 أو ' "بقوة" نحو X تعني ذلك

$$\mathbb {P} \!\left(\lim _{n\to \infty }\!X_{n}=X\right)=1.$$

هذا يعني أن قيم X_n تقترب من قيمة "X"، بمعنى أن الأحداث التي لا تتقارب فيها قيمة X_n مع قيمة X لها احتمال يساوي الصفر. باستخدام فضاء الاحتمال $(\Omega ,{\mathcal {F}},\mathbb {P} )$ ومفهوم المتغير العشوائي كدالة من Ω إلى R، فإن هذا يعادل العبارة

$$\mathbb {P} {\Bigl (}\omega \in \Omega :\lim _{n\to \infty }X_{n}(\omega )=X(\omega ){\Bigr )}=1.$$

باستخدام فكرة الحد الأعلى لسلسلة من المجموعات، يمكن أيضًا تعريف التقارب المؤكد على النحو التالي:

$$\mathbb {P} {\Bigl (}\limsup _{n\to \infty }{\bigl \{}\omega \in \Omega :|X_{n}(\omega )-X(\omega )|>\varepsilon {\bigr \}}{\Bigr )}=0\quad {\text{for all}}\quad \varepsilon >0.$$

الخصائص

• التقارب المؤكد تقريبًا يعني التقارب في الاحتمالية (بواسطة ليما فاتو)، وبالتالي يعني التقارب في التوزيع. وهي فكرة التقارب المستخدمة في القانون الأعداد الكبيرة القوي.
• إن مفهوم التقارب شبه المؤكد لا يأتي من طوبولوجيا في مساحة المتغيرات العشوائية. وهذا يعني عدم وجود طوبولوجيا في مساحة المتغيرات العشوائية بحيث تكون التسلسلات المتقاربة تقاربا شبه مؤكد هي بالضبط التسلسلات المتقاربة فيما يتعلق بتلك الطوبولوجيا. لا يوجد مقياس للتقارب شبه المؤكد على وجه الخصوص.

التقارب المؤكد أو التقارب النقطي