آلة التعلم القصوى

مشهد تخيلي لآلة التعلم القصوى، صورة مولدة بالذكاء الصنعي

آلة التعلم القصوى (بالإنجليزية: Extreme learning machine)‏ واختصارها (ELM) هي نوع من الشبكات العصبونية ذات التغذية الأمامية التي تتميز بقدراتها الممتازة في العديد من المهام مثل التصنيف والانحدار والتجميع والتقريب المتفرق والضغط وتعلم الميزات.

تستخدم هذه الآلات طبقة واحدة أو طبقات متعددة خفية، حيث تتطلب معلمات العُقد الخفية (وليس فقط الأوزان) ضبطًا. يسمح هذا النهج الفريد لآلات التعلم القصوى بتحقيق تعلم فعال ويتفوق في كثير من الأحيان على الشبكات العصبونية التقليدية.

يمكن تعيين هذه العقد الخفية عشوائيًا وعدم تحديثها مطلقًا (أي أنها عبارة عن إسقاط عشوائي ولكن مع تحويلات غير خطية)، أو يمكن توريثها من أسلافها دون تغييرها.

يتم عادةً تعلم الأوزان الخارجة للعُقد الخفية في خطوة واحدة، ما يمثل في الأساس تدريبًا لنموذج خطي.

آلات التعلم العميق القصوى هي مصطلح صاغه غوانغ-بين هوانغ (بالإنجليزية: Guang-Bin Huang)‏ لوصف هذه النماذج، والتي اقترحها في الأصل للشبكات العصبونية مع أي نوع من العُقد الخفية اللاخطية المستمرة، بما في ذلك الخلايا العصبية البيولوجية وأنواع مختلفة من الدوال الرياضية الأساسية.

يمكن إرجاع مفهوم الشبكات العصبونية الاصطناعية إلى فرانك روزنبلات(بالإنجليزية: Frank Rosenblatt)‏، الذي لم يقدم فقط البيرسيبترون (بالإنجليزية: Perceptron)‏ ذي الطبقة الواحدة في عام 1958، بل قدم أيضًا بيرسيبترون متعدد الطبقات، وهي شبكة مكونة من ثلاث طبقات: طبقة الإدخال، طبقة خفية ذات أوزان عشوائيًا تظل ثابتة أثناء التدريب، وطبقة الإخراج التعلمي.

أظهرت الدراسات أن هذه النماذج قادرة على تحقيق تعميم أفضل وتعلم بمعدلات أسرع بآلاف المرات من الشبكات المستندة إلى الانتشار العكسي. بالإضافة إلى ذلك، أُثبت تفوقها على آلات المتجهات الداعمة في كل من مهام التصنيف والانحدار.

تاريخ آلة التعلم القصوى

ركزت أبحاث آلات التعلم العميق القصوى بين عامي 2001 و 2010 في المقام الأول على إطار تعليم موحد للشبكات العصبونية ذات التغذية الأمامية والطبقة الخفية المفردة (SLFNs) المعممة (بالإنجليزية: single-hidden layer feedforward neural networks)‏.

بما في ذلك ولكن ليس على سبيل الحصر الشبكات السينية (بالإنجليزية: sigmoid networks)‏، وشبكات RBF (بالإنجليزية: Radial basis function network)‏، وشبكات العتبة{{Yk[|threshold networks}}، والشبكات المثلثية(بالإنجليزية: trigonometric networks)‏، وأنظمة الاستدلال الضبابي (بالإنجليزية: fuzzy inference systems)‏، ومتسلسلة فورييه(بالإنجليزية: Fourier series)‏، وتحويل لابلاس (بالإنجليزية: Laplacian transform)‏، وشبكات الموجات(بالإنجليزية: wavelet networks)‏.

وكانت إحدى الإنجازات الأهم خلال هذه الفترة إثبات القدرات النظرية للتقريب والتصنيف العالمي لآلات التعلم القصوى.

توسعت الأبحاث في مجال آلة التعلم القصوى (ELM) في الفترة من 2010 إلى 2015 لتشمل إطار تعليم موحد للنواة وشعاع الدعم الآلي (بالإنجليزية: Support vector machine)‏ (SVM) وعددًا من طرق تعلم الميزات النموذجية مثل تحليل العنصر الرئيسي (بالإنجليزية: Principal component analysis)‏ (PCA) وتحليل العوامل غير السلبية (NMF).

أظهرت الدراسات أن شعاع الدعم الآلي غالبًا ما يوفر حلولًا دون المستوى الأمثل مقارنة بـ آلة التعلم القصوى.

علاوة على ذلك، توفر آلة التعلم القصوى نواة "الصندوق الأبيض"، الذي يُنفّذ من خلال تعيين الميزات العشوائية لآلة التعلم القصوى، على عكس نواة "الصندوق الأسود" المستخدمة في شعاع الدعم الآلي (بالإنجليزية: Support vector machine)‏ (SVM). يمكن اعتبار (بالإنجليزية: Principal component analysis)‏ (PCA) وعامل المصفوفة غير السلبية (NMF) حالات خاصة تستخدم عقدًا خفية خطية.

من عام 2015 إلى عام 2017، شهدت الأبحاث زيادة ملحوظة في التركيز على التطبيقات الهرمية لآلة التعلم القصوى. ظهرت أبحاث بيولوجية كبيرة منذ عام 2011 تدعم نظريات معينة لآلة التعلم القصوى.

منذ عام 2017، اكتسبت طرق التفريق المصفوفي المثلثي (بالإنجليزية: LU decomposition)‏ و خوارزمية هيسنبرج-شور (بالإنجليزية: Hessenberg–Schur algorithm)‏ و تفريق QR (بالإنجليزية: QR decomposition)‏ مع تنظيمها أهمية كحلول لمشكلة الانخفاض في التقارب التي تواجهها أثناء التدريب.

أبرزت مدونة الباحث العلمي من جوجل (بالإنجليزية: Google Scholar)‏ في عام 2017 ورقتين بحثيتين حول آلات التعلم القصوى (ELM) ضمن قائمة "الأوراق الكلاسيكية: مقالات صمدت أمام اختبار الزمن". ضمنت هاتين الورقتين في قائمة من 10 أوراق بحثية كلاسيكية في مجال الذكاء الاصطناعي من عام 2006.

خوارزميات آلة التعلم القصوى

نظرًا لوجود طبقة مخفية واحدة من ELM، افترض أن دالة الإخراج للعقدة المخفية $i$-th هي $h_{i}(\mathbf {x} )=G(\mathbf {a} _{i},b_{i},\mathbf {x} )$ حيث $\mathbf {a} _{i}$ و$b_{i}$ هما معلمات العقدة المخفية $i$. دالة الإخراج لـ ELM لشبكات التغذية الأمامية ذات الطبقة المخفية المفردة (SLFN) مع عقد مخفية $L$ هي:

$f_{L}({\bf {x}})=\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})$، حيث${\boldsymbol {\beta }}_{i}$ هو وزن الإخراج للعقدة المخفية $i$.

$\mathbf {h} (\mathbf {x} )=[h_{i}(\mathbf {x} ),...,h_{L}(\mathbf {x} )]$ هي دالة التعيين الناتج للطبقة الخفية في آلة التعلم القصوى. بالنظر إلى $N$ من عينات التدريب، فإن مصفوفة إخراج الطبقة المخفية $\mathbf {H}$ من ELM تُعطى على النحو التالي: ${\bf {H}}=\left[{\begin{matrix}{\bf {h}}({\bf {x}}_{1})\\\vdots \\{\bf {h}}({\bf {x}}_{N})\end{matrix}}\right]=\left[{\begin{matrix}G({\bf {a}}_{1},b_{1},{\bf {x}}_{1})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{1})\\\vdots &\vdots &\vdots \\G({\bf {a}}_{1},b_{1},{\bf {x}}_{N})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{N})\end{matrix}}\right]$

و$\mathbf {T}$ هي المصفوفة الهدف لبيانات التدريب: ${\bf {T}}=\left[{\begin{matrix}{\bf {t}}_{1}\\\vdots \\{\bf {t}}_{N}\end{matrix}}\right]$

يعد آلة التعلم القصوى عمومًا شبكة عصبونية تنظيمية تتميز بعدم ضبط خرائط طبقتها الخفية. يمكن تشكيل هذه الخرائط باستخدام عُقد خفية عشوائية أو نواة أو تنفيذات أخرى. دالة الهدف لشبكة آلة التعلم القصوى هي:

${\text{Minimize: }}\|{\boldsymbol {\beta }}\|_{p}^{\sigma _{1}}+C\|{\bf {H}}{\boldsymbol {\beta }}-{\bf {T}}\|_{q}^{\sigma _{2}}$

حيث $\sigma _{1}>0,\sigma _{2}>0,p,q=0,{\frac {1}{2}},1,2,\cdots ,+\infty$.

مجموعات مختلفة من $\sigma _{1}$, $\sigma _{2}$, $p$ و $q$ يمكن تطبيقها على مهام متنوعة، مما ينتج عنه خوارزميات تعلم مختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع.

كحالة خاصة، خوارزمية تدريب ELM الأساسية للشبكات العصبونية ذات الطبقة المخفية المفردة والوظيفة المنطقية (sigmoid) تتعلم نموذجًا من الشكل:

$\mathbf {\hat {Y}} =\mathbf {W} _{2}\sigma (\mathbf {W} _{1}x)$

حيث W₁ ي مصفوفة الأوزان بين المدخلات والطبقة الخفية، $\sigma$ هي دالة التنشيط، و W₂ هي مصفوفة الأوزان التي تربط الطبقة الخفية بالطبقة الناتجة. لتصبح الخوارزمية كالتالي:

1. املأ W₁ بقيم عشوائية (مثال، التشويش الغاوسي) (بالإنجليزية: Gaussian noise)‏;
2. قدّر W₂ من خلال ملائمة المربعات الدنيا إلى مصفوفة متغيرات الاستجابة Y، المحسبوة باستخدام شبه العكس ⋅⁺، نظرا لمصفوفة التصميم X:

   $\mathbf {W} _{2}=\sigma (\mathbf {W} _{1}\mathbf {X} )^{+}\mathbf {Y}$

بُنى آلة التعلم القصوى

عادةً ما تستخدم آلة التعلم القصوى كشبكة تغذية للأمام ذات طبقة خفية واحدة (SLFN)، بما في ذلك على سبيل المثال لا الحصر الشبكات السينية وشبكات RBF وشبكات العتبة وشبكات الاستدلال الضبابي والشبكات العصبية المعقدة وشبكات الموجات وتحويل فورييه وتحويل لابلاس وما إلى ذلك.

نظرًا لتطبيقات خوارزمية التعلم المختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع، فقد استخدمت بنى متعددة من آلة التعلم القصوى (ELM) لتشكيل الشبكات ذات الطبقات الخفية المتعددة، والتعلم العميق، والشبكات الهرمية.

العُقدة الخفية في آلة التعلم القصوى هي عنصر حسابي ولا ينبغي اعتبارها خلية عصبية كلاسيكية، يمكن أن تكون العُقدة الخفية في آلة التعلم القصوى عبارة عن خلايا عصبية صناعية تقليدية، أو الدوال الأساسية، أو حتى الشبكات الفرعية لبعض العُقد الخفية الأخرى.

نظريات

أثبتت الأبحاث أن آلة التعلم القصوى (ELM) تمتلك قدرات تقريب شاملة وتصنيف. وقد أمضى غوانغ بين هوانغ وفريقه ما يقرب من سبع سنوات (2001-2008) في إثبات قدرة آلة التعلم القصوى الصارمة على التقريب الشامل.

القدرة على التقريب الشامل

من الناحية النظرية، يمكن استخدام أي دالة غير ثابتة متصلة قطعيًا كدالة تنشيط في العُقد الخفية لآلات التعلم القصوى. يُذكر أن مثل هذه الدالة التنشيط لا تفاضلية.

إذا أمكن ضبط معلمات العُقد الخفية بشكل دقيق، فإن شبكات التغذية الأمامية ذات الطبقة الواحدة (SLFNs) يمكنها من حيث المبدأ تقريب أي دالة مستهدفة $f(\mathbf {x} )$ ومن ثم يمكن توليد معلمات العُقد الخفية عشوائياً وفقاً لأي توزيع احتمالي مستمر، و $\lim _{L\rightarrow \infty }\left\|\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})-f({\bf {x}})\right\|=0$ لها احتمال واحد لإنتاج مخرجات صحيحة مع إعدادات الأوزان المناسبة ${\boldsymbol {\beta }}$.

القدرة على التصنيف

مع إعطاء أي دالة غير ثابتة متصلة قطعيًا كدالة التنشيط في شبكات التعلم الفائق البساطة، إذا كان ضبط معلمات العُقد الخفية يمكن أن يجعل (SLFNs) تقارب أي دالة مستهدفة $f(\mathbf {x} )$ ثم (SLFNs) مع تعيين طبقة خفية عشوائية $\mathbf {h} (\mathbf {x} )$ يمكنه فصل مناطق متباينة عشوائية بأي شكل.

العصبونات

يمكن استخدام مجموعة واسعة من الدوال غير الخطية المستمرة القطاعية $G(\mathbf {a} ,b,\mathbf {x} )$ في العُقد الخفية لتعلم الآلة القصوى، على سبيل المثال:

المجال الحقيقي

الدالة السينية (بالإنجليزية: Sigmoid function)‏: $G(\mathbf {a} ,b,\mathbf {x} )={\frac {1}{1+\exp(-(\mathbf {a} \cdot \mathbf {x} +b))}}$

دالة فورييه (بالإنجليزية: Fourier function)‏: $G(\mathbf {a} ,b,\mathbf {x} )=\sin(\mathbf {a} \cdot \mathbf {x} +b)$

دالة الحد الحاد (بالإنجليزية: Hardlimit function)‏: $G(\mathbf {a} ,b,\mathbf {x} )={\begin{cases}1,&{\text{if }}{\bf {a}}\cdot {\bf {x}}-b\geq 0\\0,&{\text{otherwise}}\end{cases}}$

دالة غاوس (بالإنجليزية: Gaussian function)‏: $G(\mathbf {a} ,b,\mathbf {x} )=\exp(-b\|\mathbf {x} -\mathbf {a} \|^{2})$

دالة متعددة المربعات (بالإنجليزية: Multiquadrics function)‏: $G(\mathbf {a} ,b,\mathbf {x} )=(\|\mathbf {x} -\mathbf {a} \|^{2}+b^{2})^{1/2}$

الدالة الموجية (بالإنجليزية: Wavelet)‏: $G(\mathbf {a} ,b,\mathbf {x} )=\|a\|^{-1/2}\Psi \left({\frac {\mathbf {x} -\mathbf {a} }{b}}\right)$ حيث $\Psi$ هي دالة موجية أم واحدة.

المجال المعقد

الوظائف الدائرية (بالإنجليزية: Circular functions)‏

$\tan(z)={\frac {e^{iz}-e^{-iz}}{i(e^{iz}+e^{-iz})}}$

$\sin(z)={\frac {e^{iz}-e^{-iz}}{2i}}$

الوظائف الدائرية العكسية (بالإنجليزية: Inverse circular functions)‏

$\arctan(z)=\int _{0}^{z}{\frac {dt}{1+t^{2}}}$

$\arccos(z)=\int _{0}^{z}{\frac {dt}{(1-t^{2})^{1/2}}}$

الوظائف الزائدية (بالإنجليزية: Hyperbolic functions)‏

$\tanh(z)={\frac {e^{z}-e^{-z}}{e^{z}+e^{-z}}}$

$\sinh(z)={\frac {e^{z}-e^{-z}}{2}}$

الوظائف الزائدية العكسية (بالإنجليزية: Inverse hyperbolic functions)‏

${\text{arctanh}}(z)=\int _{0}^{z}{\frac {dt}{1-t^{2}}}$

${\text{arcsinh}}(z)=\int _{0}^{z}{\frac {dt}{(1+t^{2})^{1/2}}}$

الاعتمادية

طبيعة الشبكات العصبونية، وخاصة آلات التعلم القصوى (ELM)، الغامضة، تمثل تحديات كبيرة للمهندسين في تطبيقات الأتمتة الحرجة. استكشف الباحثون تقنيات مختلفة لمواجهة هذه التحديات. ركّز أحد النُهج على تقليل الاعتماد على المدخلات العشوائية.

وركز آخر على دمج القيود المستمرة في عملية تعلم الآلة القصوى. هذا ضروري لضمان التشغيل الآمن في العديد من السيناريوهات الواقعية. أظهرت الدراسات أن ELMs، مع بنيتها المميزة والأوزان الخطية للخرج، مناسبة لدمج القيود المستمرة بكفاءة داخل مناطق محددة من مساحة المدخلات.

الجدل حول آلة التعلم القصوى

وجه المجتمع الأكاديمي انتقادان رئيسيان لهذا العمل. الأول هو اتهام يتعلق ب "إعادة اختراع العجلة" وتجاهل الأفكار الموجودة مسبقًا. والثانية هي انتقاد "التسمية غير المناسبة والترويج المفرط".

ظهرت هذه المناقشات في عامي 2008 و 2015.. وعلى وجه الخصوص، أشارت رسالة إلى محرر مجلة (IEEE Transactions on Neural Networks) إلى أن فكرة استخدام طبقة خفية متصلة بالمدخلات بأوزان عشوائية غير مدربة قد اقتُرحت في أبحاث سابقة حول شبكات (RBF) في أواخر الثمانينيات. ورد غوانغ بين هوانغ بالإشارة إلى فروقها الدقيقة.

كما هو موضح في بعض المناقشات في عامي 2008 و2015.[33] على وجه الخصوص، تمت الإشارة في رسالة إلى محرر معاملات IEEE على الشبكات العصبية إلى أن فكرة استخدام طبقة مخفية متصلة بالمدخلات بواسطة أوزان عشوائية غير مدربة تم اقتراحها بالفعل في الأوراق الأصلية حول شبكات RBF في أواخر الثمانينيات؛ رد قوانغ بين هوانغ بالإشارة إلى الاختلافات الدقيقة.

"في ورقة بحثية عام 2015، رد هوانغ على الانتقادات الموجهة إليه بشأن تسمية ELM لطرق موجودة مسبقاً. وأعرب عن استيائه من التعليقات السلبية وغير المهنية التي أحيطت بهذه التسمية، معتبراً أنها نابعة من أسباب ومقاصد مختلفة. وادعى هوانغ أن عمله يوفر إطاراً موحداً لأنواع مختلفة من الشبكات العصبونية، بما في ذلك ELM الهيكلية الهرمية."

في ورقة بحثية عام 2015،[1] رد هوانج على الشكاوى حول اختراعه لاسم ELM للطرق الموجودة بالفعل، واشتكى من "التعليقات السلبية للغاية وغير المفيدة على ELM بطريقة غير أكاديمية أو مهنية لأسباب ونوايا مختلفة" و"هجوم مجهول غير مسؤول يهدف إلى تدمير بيئة البحث في التناغم"، بحجة أن عمله "يوفر منصة تعليمية موحدة" لأنواع مختلفة من الشبكات العصبية، بما في ذلك ELM ذات الهيكل الهرمي.

في عام 2015، أصدر هوانغ رداً رسمياً على ما اعتبره "انتقادات خبيثة وهجومية". وقد تقدمت الأبحاث الحديثة من خلال استبدال الأوزان العشوائية بأوزان عشوائية مقيدة.

المصادر المفتوحة

• مكتبة ماتلاب
• مكتبة بايثون