تبديل البحث
تبديل القائمة
٤٤
١٣١
٤٦
٢٫٥ ألف
ويكي عربية
تبديل القائمة الشخصية
غير مسجل للدخول
سيكون عنوان الآيبي الخاص بك مرئيًا للعامة إذا قمت بإجراء أي تعديلات.

الفرق بين المراجعتين لصفحة: «آلة التعلم القصوى»

اآلة التعلم القصوى هي نوع من الشبكات العصبونية ذات تغذية أمامية، تتميز بقدراتها الممتازة في العديد من المهام مثل التصنيف والانحدار والتجميع والتقريب المتفرق والضغط وتعلم الميزات.
المزيد من الإجراءات
مرئينص الويكي
لا ملخص تعديل
 
(15 مراجعة متوسطة بواسطة نفس المستخدم غير معروضة)
سطر 16: سطر 16:


أظهرت الدراسات أن هذه النماذج قادرة على تحقيق تعميم أفضل وتعلم بمعدلات أسرع بآلاف المرات من الشبكات المستندة إلى الانتشار العكسي. بالإضافة إلى ذلك، أُثبت تفوقها على آلات المتجهات الداعمة في كل من مهام التصنيف والانحدار.<ref>{{cite journal |last1=Huang |first1=Guang-Bin |first2=Qin-Yu |last2=Zhu |first3=Chee-Kheong |last3=Siew |title=Extreme learning machine: theory and applications |journal=Neurocomputing |volume=70 |issue=1 |year=2006 |pages=489–501 |doi=10.1016/j.neucom.2005.12.126 |citeseerx=10.1.1.217.3692|s2cid=116858 }}</ref><ref name=":4">{{Cite journal|last=Huang|first=Guang-Bin; Hongming Zhou; Xiaojian Ding; and Rui Zhang|date=2012|title=Extreme Learning Machine for Regression and Multiclass Classification|url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Unified-Learning.pdf|journal=IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics|volume=42|issue=2|pages=513–529|doi=10.1109/tsmcb.2011.2168604|pmid=21984515|citeseerx=10.1.1.298.1213|s2cid=15037168|access-date=2017-08-19|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829025814/http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Unified-Learning.pdf|url-status=dead}}</ref><ref name=":0" /><ref>{{Cite journal|last=Huang|first=Guang-Bin|date=2014|title=An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels|url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Randomness-Kernel.pdf|journal=Cognitive Computation|volume=6|issue=3|pages=376–390|doi=10.1007/s12559-014-9255-2|s2cid=7419259}}</ref>
أظهرت الدراسات أن هذه النماذج قادرة على تحقيق تعميم أفضل وتعلم بمعدلات أسرع بآلاف المرات من الشبكات المستندة إلى الانتشار العكسي. بالإضافة إلى ذلك، أُثبت تفوقها على آلات المتجهات الداعمة في كل من مهام التصنيف والانحدار.<ref>{{cite journal |last1=Huang |first1=Guang-Bin |first2=Qin-Yu |last2=Zhu |first3=Chee-Kheong |last3=Siew |title=Extreme learning machine: theory and applications |journal=Neurocomputing |volume=70 |issue=1 |year=2006 |pages=489–501 |doi=10.1016/j.neucom.2005.12.126 |citeseerx=10.1.1.217.3692|s2cid=116858 }}</ref><ref name=":4">{{Cite journal|last=Huang|first=Guang-Bin; Hongming Zhou; Xiaojian Ding; and Rui Zhang|date=2012|title=Extreme Learning Machine for Regression and Multiclass Classification|url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Unified-Learning.pdf|journal=IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics|volume=42|issue=2|pages=513–529|doi=10.1109/tsmcb.2011.2168604|pmid=21984515|citeseerx=10.1.1.298.1213|s2cid=15037168|access-date=2017-08-19|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829025814/http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Unified-Learning.pdf|url-status=dead}}</ref><ref name=":0" /><ref>{{Cite journal|last=Huang|first=Guang-Bin|date=2014|title=An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels|url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Randomness-Kernel.pdf|journal=Cognitive Computation|volume=6|issue=3|pages=376–390|doi=10.1007/s12559-014-9255-2|s2cid=7419259}}</ref>
==تاريخ آلة التعلم القصوى==
ركزت أبحاث آلات التعلم العميق القصوى بين عامي 2001 و 2010 في المقام الأول على إطار تعليم موحد للشبكات العصبونية ذات التغذية الأمامية والطبقة الخفية المفردة (SLFNs) المعممة {{إنج|single-hidden layer feedforward neural networks}}.
بما في ذلك ولكن ليس على سبيل الحصر الشبكات السينية {{إنج|sigmoid networks}}، وشبكات RBF {{إنج|Radial basis function network}}، وشبكات العتبة{{Yk[|threshold networks}}،<ref>{{Cite journal|last=Huang|first=Guang-Bin, Qin-Yu Zhu, K. Z. Mao, Chee-Kheong Siew, P. Saratchandran, and N. Sundararajan|date=2006|title=Can Threshold Networks Be Trained Directly?|url=http://www.ntu.edu.sg/home/egbhuang/pdf/TCASII-ELM-Threshold-Network.pdf|journal=IEEE Transactions on Circuits and Systems-II: Express Briefs|volume=53|issue=3|pages=187–191|doi=10.1109/tcsii.2005.857540|s2cid=18076010|access-date=2017-08-22|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829040414/http://www.ntu.edu.sg/home/egbhuang/pdf/TCASII-ELM-Threshold-Network.pdf|url-status=dead}}</ref> والشبكات المثلثية{{إنج|trigonometric networks}}، وأنظمة الاستدلال الضبابي {{إنج|fuzzy inference systems}}، ومتسلسلة فورييه{{إنج|Fourier series}}،<ref name=":1">{{Cite journal|last=Huang|first=Guang-Bin, Lei Chen, and Chee-Kheong Siew|date=2006|title=Universal Approximation Using Incremental Constructive Feedforward Networks with Random Hidden Nodes|url=http://www.ntu.edu.sg/home/egbhuang/pdf/I-ELM.pdf|journal=IEEE Transactions on Neural Networks|volume=17|issue=4|pages=879–892|doi=10.1109/tnn.2006.875977|pmid=16856652|s2cid=6477031|access-date=2017-08-22|archive-date=2017-08-29|archive-url=https://web.archive.org/web/20170829012641/http://www.ntu.edu.sg/home/egbhuang/pdf/I-ELM.pdf|url-status=dead}}</ref><ref>{{Cite journal|last=Rahimi|first=Ali, and Benjamin Recht|date=2008|title=Weighted Sums of Random Kitchen Sinks: Replacing Minimization with Randomization in Learning|url=https://people.eecs.berkeley.edu/~brecht/papers/08.rah.rec.nips.pdf|journal=Advances in Neural Information Processing Systems |volume=21}}</ref> وتحويل لابلاس {{إنج|Laplacian transform}}، وشبكات الموجات{{إنج|wavelet networks}}.
وكانت إحدى الإنجازات الأهم خلال هذه الفترة إثبات القدرات النظرية للتقريب والتصنيف العالمي لآلات التعلم القصوى.<ref name=":1" /><ref name=":2">{{Cite journal|last=Huang|first=Guang-Bin, Lei Chen|date=2007|title=Convex Incremental Extreme Learning Machine|url=http://www.ntu.edu.sg/home/egbhuang/pdf/CI-ELM.pdf|journal=Neurocomputing|volume=70|issue=16–18|pages=3056–3062|doi=10.1016/j.neucom.2007.02.009|access-date=2017-08-22|archive-date=2017-08-10|archive-url=https://web.archive.org/web/20170810165755/http://www3.ntu.edu.sg/home/egbhuang/pdf/CI-ELM.pdf|url-status=dead}}</ref><ref name=":3">{{Cite journal|last=Huang|first=Guang-Bin, and Lei Chen|date=2008|title=Enhanced Random Search Based Incremental Extreme Learning Machine|url=http://www.ntu.edu.sg/home/egbhuang/pdf/EI-ELM.pdf|journal=Neurocomputing|volume=71|issue=16–18|pages=3460–3468|doi=10.1016/j.neucom.2007.10.008|citeseerx=10.1.1.217.3009|access-date=2017-08-22|archive-date=2014-10-14|archive-url=https://web.archive.org/web/20141014020332/http://www.ntu.edu.sg/home/egbhuang/pdf/EI-ELM.pdf|url-status=dead}}</ref>


توسعت الأبحاث في مجال آلة التعلم القصوى (ELM) في الفترة من 2010 إلى 2015 لتشمل إطار تعليم موحد للنواة وشعاع الدعم الآلي {{إنج|Support vector machine}} (SVM) وعددًا من طرق تعلم الميزات النموذجية مثل تحليل العنصر الرئيسي {{إنج|Principal component analysis}} (PCA) وتحليل العوامل غير السلبية (NMF).


أظهرت الدراسات أن شعاع الدعم الآلي غالبًا ما يوفر حلولًا دون المستوى الأمثل مقارنة بـ آلة التعلم القصوى.


علاوة على ذلك، توفر آلة التعلم القصوى نواة "الصندوق الأبيض"، الذي يُنفّذ من خلال تعيين الميزات العشوائية لآلة التعلم القصوى، على عكس نواة "الصندوق الأسود" المستخدمة في شعاع الدعم الآلي {{إنج|Support vector machine}} (SVM). يمكن اعتبار {{إنج|Principal component analysis}} (PCA) وعامل المصفوفة غير السلبية (NMF) حالات خاصة تستخدم عقدًا خفية خطية.<ref>{{Cite journal|last=He|first=Qing, Xin Jin, Changying Du, Fuzhen Zhuang, Zhongzhi Shi|date=2014|title=Clustering in Extreme Learning Machine Feature Space|url=http://www.intsci.ac.cn/users/jinxin/Mypapers/ELM-Neurocomputing-2013.pdf|journal=Neurocomputing|volume=128|pages=88–95|doi=10.1016/j.neucom.2012.12.063|s2cid=30906342 }}</ref><ref>{{Cite journal|last=Kasun|first=Liyanaarachchi Lekamalage Chamara, Yan Yang, Guang-Bin Huang, and Zhengyou Zhang|date=2016|title=Dimension Reduction With Extreme Learning Machine|url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Dimensionality-Reduction.pdf|journal=IEEE Transactions on Image Processing|volume=25|issue=8|pages=3906–3918|doi=10.1109/tip.2016.2570569|pmid=27214902|bibcode=2016ITIP...25.3906K|s2cid=1803922}}</ref>
من عام 2015 إلى عام 2017، شهدت الأبحاث زيادة ملحوظة في التركيز على التطبيقات الهرمية لآلة التعلم القصوى. ظهرت أبحاث بيولوجية كبيرة منذ عام 2011 تدعم نظريات معينة لآلة التعلم القصوى.<ref name=":5">{{Cite journal|last=Huang|first=Guang-Bin, Zuo Bai, and Liyanaarachchi Lekamalage Chamara Kasun, and Chi Man Vong|date=2015|title=Local Receptive Fields Based Extreme Learning Machine|url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-LRF.pdf|journal=IEEE Computational Intelligence Magazine|volume=10|issue=2|pages=18–29|doi=10.1109/mci.2015.2405316|s2cid=1417306|access-date=2017-08-22|archive-date=2017-08-08|archive-url=https://web.archive.org/web/20170808031835/http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-LRF.pdf|url-status=dead}}</ref><ref name=":6">{{Cite journal|last=Tang|first=Jiexiong, Chenwei Deng, and Guang-Bin Huang|date=2016|title=Extreme Learning Machine for Multilayer Perceptron|url=http://www.ntu.edu.sg/home/egbhuang/pdf/Multiple-ELM.pdf|journal=IEEE Transactions on Neural Networks and Learning Systems|volume=27|issue=4|pages=809–821|doi=10.1109/tnnls.2015.2424995|pmid=25966483|s2cid=206757279|access-date=2017-08-22|archive-date=2017-07-12|archive-url=https://web.archive.org/web/20170712092522/http://www.ntu.edu.sg/home/egbhuang/pdf/Multiple-ELM.pdf|url-status=dead}}</ref><ref>{{Cite journal|last=Barak|first=Omri; Rigotti, Mattia; and Fusi, Stefano|date=2013|title=The Sparseness of Mixed Selectivity Neurons Controls the Generalization-Discrimination Trade-off|journal=Journal of Neuroscience|volume=33|issue=9|pages=3844–3856|doi=10.1523/jneurosci.2753-12.2013|pmid=23447596|pmc=6119179}}</ref><ref>{{Cite journal|last=Rigotti|first=Mattia; Barak, Omri; Warden, Melissa R.; Wang, Xiao-Jing; Daw, Nathaniel D.; Miller, Earl K.; and Fusi, Stefano|date=2013|title=The Importance of Mixed Selectivity in Complex Cognitive Tasks|journal=Nature|volume=497|issue=7451|pages=585–590|doi=10.1038/nature12160|pmid=23685452|pmc=4412347|bibcode=2013Natur.497..585R}}</ref><ref>{{Cite journal|last=Fusi|first=Stefano, Earl K Miller and Mattia Rigotti|date=2015|title=Why Neurons Mix: High Dimensionality for Higher Cognition|url=http://www.ntu.edu.sg/home/egbhuang/pdf/Why-Neurons-Mix-ELM.pdf|journal=Current Opinion in Neurobiology|volume=37|pages=66–74|doi=10.1016/j.conb.2016.01.010|pmid=26851755|s2cid=13897721}}</ref>
منذ عام 2017، اكتسبت طرق التفريق المصفوفي المثلثي {{إنج|LU decomposition}} و خوارزمية هيسنبرج-شور {{إنج|Hessenberg–Schur algorithm}} و تفريق QR {{إنج|QR decomposition}} مع تنظيمها أهمية كحلول لمشكلة الانخفاض في التقارب التي تواجهها أثناء التدريب.<ref name=":29">{{Cite journal|last=Kutlu|first=Yakup Kutlu, Apdullah Yayık, and Esen Yıldırım, and Serdar Yıldırım|date=2017|title=LU triangularization extreme learning machine in EEG cognitive task classification|journal=Neural Computation and Applications|volume=31|issue=4|pages=1117–1126|doi=10.1007/s00521-017-3142-1|s2cid=6572895}}</ref><ref name=":30">{{cite arXiv| title=Regularized HessELM and Inclined Entropy Measurement forCongestive Heart Failure Prediction| author1=Apdullah Yayık| author2=Yakup Kutlu| author3=Gökhan Altan| date=12 July 2019| class=cs.LG| eprint=1907.05888}}</ref><ref name=":31">{{Cite journal|last=Altan|first=Gökhan Altan, Yakup Kutlu, Adnan Özhan Pekmezci and Apdullah Yayık |date=2018|title=Diagnosis of Chronic Obstructive Pulmonary Disease using Deep Extreme Learning Machines with LU Autoencoder Kernel|url=https://www.researchgate.net/publication/325617941|journal= International Conference on Advanced Technologies}}</ref>
أبرزت مدونة الباحث العلمي من جوجل {{إنج|Google Scholar}} في عام 2017 ورقتين بحثيتين حول آلات التعلم القصوى (ELM) ضمن قائمة "الأوراق الكلاسيكية: مقالات صمدت أمام اختبار الزمن".<ref name=CP_1>{{cite web| title=Classic Papers: Articles That Have Stood The Test of Time| url=https://www.nottingham.ac.uk/education/news/news-items/news1617/classic-papers.aspx| publisher=[[University of Nottingham]]|
date=15 June 2017| access-date=21 December 2023}}</ref> ضمنت هاتين الورقتين في قائمة من 10 أوراق بحثية كلاسيكية في مجال الذكاء الاصطناعي من عام 2006.<ref name=CPL_1>{{cite web| title="List of 10 classic AI papers from 2006"| url=https://scholar.google.com/citations?view_op=list_classic_articles&hl=en&by=2006&vq=eng_artificialintelligence| date=2017| access-date=21 December 2023}}</ref><ref name=ELM_1>{{cite journal| title=Extreme learning machine: theory and applications| author1=Huang, G.B.| author2=Zhu, Q.Y.| author3=Siew, C.K.| url=https://www.sciencedirect.com/science/article/abs/pii/S0925231206000385| journal=Neurocomputing| volume=70| issue=1–3| pages=489–501| date=December 2006| access-date=21 December 2023| doi=10.1016/j.neucom.2005.12.126| s2cid=116858| issn=0925-2312}}</ref><ref name=FA_1>{{cite journal| title=A fast and accurate online sequential learning algorithm for feedforward networks| author1=Liang, N.Y.| author2=Huang, G.B.| author3=Saratchandran, P.|  author4=Sundararajan, N.| url=https://ieeexplore.ieee.org/document/4012031| journal=IEEE Transactions on Neural Networks| pages=1411–1423| volume=17| issue=6| date=November 2006| access-date=21 December 2023| doi=10.1109/TNN.2006.880583| pmid=17131657| s2cid=7028394}}</ref>


==تاريخ آلة التعلم القصوى==
==خوارزميات آلة التعلم القصوى==
==خوارزميات آلة التعلم القصوى==
نظرًا لوجود طبقة مخفية واحدة من ELM، افترض أن دالة الإخراج للعقدة المخفية <math>i</math>-th هي <math>h_i(\mathbf{x})=G(\mathbf{a}_i,b_i,\mathbf{x})</math> حيث <math>\mathbf{a}_i</math> و<math>b_i</math> هما معلمات العقدة المخفية <math>i</math>. دالة الإخراج لـ ELM لشبكات التغذية الأمامية ذات الطبقة المخفية المفردة (SLFN) مع عقد مخفية <math>L</math> هي:
<math>f_L({\bf x})=\sum_{i=1}^L{\boldsymbol \beta}_ih_i({\bf x})</math>، حيث<math>{\boldsymbol \beta}_i</math> هو وزن الإخراج للعقدة المخفية <math>i</math>.
<math>\mathbf{h}(\mathbf{x})=[h_i(\mathbf{x}),...,h_L(\mathbf{x})]</math> هي دالة التعيين الناتج للطبقة الخفية في آلة التعلم القصوى. بالنظر إلى <math>N</math> من عينات التدريب، فإن مصفوفة إخراج الطبقة المخفية <math>\mathbf{H}</math> من ELM تُعطى على النحو التالي: <math>{\bf H}=\left[\begin{matrix}
{\bf h}({\bf x}_1)\\
\vdots\\
{\bf h}({\bf x}_N)
\end{matrix}\right]=\left[\begin{matrix}
G({\bf a}_1, b_1, {\bf x}_1) &\cdots & G({\bf a}_L, b_L, {\bf x}_1)\\
\vdots &\vdots&\vdots\\
G({\bf a}_1, b_1, {\bf x}_N) &\cdots & G({\bf a}_L, b_L, {\bf x}_N)
\end{matrix}\right]
</math>
و<math>\mathbf{T}</math> هي المصفوفة الهدف لبيانات التدريب: <math>{\bf T}=\left[\begin{matrix}
{\bf t}_1\\
\vdots\\
{\bf t}_N
\end{matrix}\right]
</math>
يعد آلة التعلم القصوى عمومًا شبكة عصبونية تنظيمية تتميز بعدم ضبط خرائط طبقتها الخفية. يمكن تشكيل هذه الخرائط باستخدام عُقد خفية عشوائية أو نواة أو تنفيذات أخرى. دالة الهدف لشبكة آلة التعلم القصوى هي:
<math>
\text{Minimize: } \|{\boldsymbol \beta}\|_p^{\sigma_1}+C\|{\bf H}{\boldsymbol \beta}-{\bf T}\|_q^{\sigma_2}
</math>
حيث <math>\sigma_1>0, \sigma_2>0, p,q=0, \frac{1}{2}, 1, 2, \cdots, +\infty</math>.
مجموعات مختلفة من <math>\sigma_1</math>, <math>\sigma_2</math>, <math>p</math> و <math>q</math> يمكن تطبيقها على مهام متنوعة، مما ينتج عنه خوارزميات تعلم مختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع.
كحالة خاصة، خوارزمية تدريب ELM الأساسية للشبكات العصبونية ذات الطبقة المخفية المفردة والوظيفة المنطقية (sigmoid) تتعلم نموذجًا من الشكل:
:<math>\mathbf{\hat{Y}} = \mathbf{W}_2 \sigma(\mathbf{W}_1 x)</math>
حيث {{math|'''W'''<sub>1</sub>}} ي مصفوفة الأوزان بين المدخلات والطبقة الخفية، <math>\sigma</math> هي دالة التنشيط، و {{math|'''W'''<sub>2</sub>}} هي مصفوفة الأوزان التي تربط الطبقة الخفية بالطبقة الناتجة. لتصبح الخوارزمية كالتالي:
# املأ {{math|'''W'''<sub>1</sub>}} بقيم عشوائية (مثال، التشويش الغاوسي) {{إنج|Gaussian noise}};
# قدّر {{math|'''W'''<sub>2</sub>}} من خلال ملائمة المربعات الدنيا إلى مصفوفة متغيرات الاستجابة {{math|'''Y'''}}، المحسبوة باستخدام شبه العكس {{math|⋅<sup>+</sup>}}، نظرا لمصفوفة التصميم {{math|'''X'''}}:
#:<math>\mathbf{W}_2 = \sigma(\mathbf{W}_1 \mathbf{X})^+ \mathbf{Y}</math>
==بُنى آلة التعلم القصوى==
==بُنى آلة التعلم القصوى==
عادةً ما تستخدم آلة التعلم القصوى كشبكة تغذية للأمام ذات طبقة خفية واحدة (SLFN)، بما في ذلك على سبيل المثال لا الحصر الشبكات السينية وشبكات RBF وشبكات العتبة وشبكات الاستدلال الضبابي والشبكات العصبية المعقدة وشبكات الموجات وتحويل فورييه وتحويل لابلاس وما إلى ذلك.
نظرًا لتطبيقات خوارزمية التعلم المختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع، فقد استخدمت بنى متعددة من آلة التعلم القصوى (ELM) لتشكيل الشبكات ذات الطبقات الخفية المتعددة، والتعلم العميق، والشبكات الهرمية.<ref name=":5" /><ref name=":6" /><ref name=":7" />
العُقدة الخفية في آلة التعلم القصوى هي عنصر حسابي ولا ينبغي اعتبارها خلية عصبية كلاسيكية، يمكن أن تكون العُقدة الخفية في آلة التعلم القصوى عبارة عن خلايا عصبية صناعية تقليدية، أو الدوال الأساسية، أو حتى الشبكات الفرعية لبعض العُقد الخفية الأخرى.<ref name=":2" />
==نظريات==
==نظريات==
أثبتت الأبحاث أن آلة التعلم القصوى (ELM) تمتلك قدرات تقريب شاملة وتصنيف.<ref name=":4" /><ref name=":0" /> وقد أمضى غوانغ بين هوانغ وفريقه ما يقرب من سبع سنوات (2001-2008) في إثبات قدرة آلة التعلم القصوى الصارمة على التقريب الشامل. <ref name=":1" /><ref name=":2" /><ref name=":3" />
===القدرة على التقريب الشامل===
===القدرة على التقريب الشامل===
من الناحية النظرية، يمكن استخدام أي دالة غير ثابتة متصلة قطعيًا كدالة تنشيط في العُقد الخفية لآلات التعلم القصوى. يُذكر أن مثل هذه الدالة التنشيط لا تفاضلية.
إذا أمكن ضبط معلمات العُقد الخفية بشكل دقيق، فإن شبكات التغذية الأمامية ذات الطبقة الواحدة (SLFNs) يمكنها من حيث المبدأ تقريب أي دالة مستهدفة <math>f(\mathbf{x})</math> ومن ثم يمكن توليد معلمات العُقد الخفية عشوائياً وفقاً لأي توزيع احتمالي مستمر، و <math>\lim_{L\rightarrow \infty}\left\|\sum_{i=1}^L{\boldsymbol \beta}_ih_i({\bf x})-f({\bf x})\right\|=0</math> لها احتمال واحد لإنتاج مخرجات صحيحة مع إعدادات الأوزان المناسبة <math>\boldsymbol\beta</math>.
===القدرة على التصنيف===
===القدرة على التصنيف===
مع إعطاء أي دالة غير ثابتة متصلة قطعيًا كدالة التنشيط في شبكات التعلم الفائق البساطة، إذا كان ضبط معلمات العُقد الخفية يمكن أن يجعل (SLFNs) تقارب أي دالة مستهدفة <math>f(\mathbf{x})</math> ثم (SLFNs) مع تعيين طبقة خفية عشوائية <math>\mathbf{h}(\mathbf{x})</math> يمكنه فصل مناطق متباينة عشوائية بأي شكل.
==العصبونات==
==العصبونات==
يمكن استخدام مجموعة واسعة من الدوال غير الخطية المستمرة القطاعية <math>G(\mathbf{a}, b, \mathbf{x})</math> في العُقد الخفية لتعلم الآلة القصوى، على سبيل المثال:
===المجال الحقيقي===
===المجال الحقيقي===
الدالة السينية {{إنج|Sigmoid function}}: <math>G(\mathbf{a}, b, \mathbf{x})=\frac{1}{1+\exp(-(\mathbf{a}\cdot\mathbf{x}+b))}</math>
دالة فورييه {{إنج|Fourier function}}: <math>G(\mathbf{a}, b, \mathbf{x})=\sin(\mathbf{a}\cdot\mathbf{x}+b)</math>
دالة الحد الحاد {{إنج|Hardlimit function}}: <math>G(\mathbf{a}, b, \mathbf{x})=
\begin{cases}
1, &\text{if }{\bf a}\cdot{\bf x}-b\geq 0\\
0, &\text{otherwise}
\end{cases}
</math>
دالة غاوس {{إنج|Gaussian function}}: <math>G(\mathbf{a}, b, \mathbf{x})=\exp(-b\|\mathbf{x}-\mathbf{a}\|^2)</math>
دالة متعددة المربعات {{إنج|Multiquadrics function}}: <math>G(\mathbf{a}, b, \mathbf{x})=(\|\mathbf{x}-\mathbf{a}\|^2+b^2)^{1/2}</math>
الدالة الموجية {{إنج|Wavelet}}: <math>G(\mathbf{a}, b, \mathbf{x})=\|a\|^{-1/2}\Psi\left(\frac{\mathbf{x}-\mathbf{a}}{b}\right)</math> حيث <math>\Psi</math> هي دالة موجية أم واحدة.
===المجال المعقد===
===المجال المعقد===
الوظائف الدائرية {{إنج|Circular functions}}
<math>\tan(z)= \frac{e^{iz}-e^{-iz}}{i(e^{iz}+e^{-iz})}</math>
<math>\sin(z)= \frac{e^{iz}-e^{-iz}}{2i}</math>
الوظائف الدائرية العكسية {{إنج|Inverse circular functions}}
<math>\arctan(z)= \int_0^z\frac{dt}{1+t^2}</math>
<math>\arccos(z)= \int_0^z\frac{dt}{(1-t^2)^{1/2}}</math>
الوظائف الزائدية {{إنج|Hyperbolic functions}}
<math>\tanh(z)= \frac{e^z-e^{-z}}{e^z+e^{-z}}</math>
<math>\sinh(z)= \frac{e^z-e^{-z}}{2}</math>
الوظائف الزائدية العكسية {{إنج|Inverse hyperbolic functions}}
<math>\text{arctanh}(z)=\int_0^z\frac{dt}{1-t^2}</math>
<math>\text{arcsinh}(z)=\int_0^z\frac{dt}{(1+t^2)^{1/2}}</math>
==الاعتمادية==
==الاعتمادية==
طبيعة الشبكات العصبونية، وخاصة آلات التعلم القصوى (ELM)، الغامضة، تمثل تحديات كبيرة للمهندسين في تطبيقات الأتمتة الحرجة. استكشف الباحثون تقنيات مختلفة لمواجهة هذه التحديات. ركّز أحد النُهج على تقليل الاعتماد على المدخلات العشوائية.<ref>{{Cite journal|last=Neumann|first=Klaus; Steil, Jochen J.|date=2011|title=Batch intrinsic plasticity for extreme learning machines|url=https://pub.uni-bielefeld.de/download/2141968/2904481|journal=Proc. Of International Conference on Artificial Neural Networks|pages=339–346}}</ref><ref>{{Cite journal|last=Neumann|first=Klaus; Steil, Jochen J.|date=2013|title=Optimizing extreme learning machines via ridge regression and batch intrinsic plasticity|url=https://pub.uni-bielefeld.de/download/2465823/2903542|journal=Neurocomputing|volume=102|pages=23–30|doi=10.1016/j.neucom.2012.01.041}}</ref>
وركز آخر على دمج القيود المستمرة في عملية تعلم الآلة القصوى.<ref>{{Cite journal|last=Neumann|first=Klaus; Rolf, Matthias; Steil, Jochen J.|date=2013|title=Reliable integration of continuous constraints into extreme learning machines|journal=International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems|volume=21|issue=supp02|pages=35–50|doi=10.1142/S021848851340014X|issn=0218-4885|url=https://pub.uni-bielefeld.de/record/2547909}}</ref><ref>{{Cite book|url=https://pub.uni-bielefeld.de/download/2656403/2656405|title=Reliability|last=Neumann|first=Klaus|publisher=University Library Bielefeld|year=2014|pages=49–74}}</ref> هذا ضروري لضمان التشغيل الآمن في العديد من السيناريوهات الواقعية. أظهرت الدراسات أن ELMs، مع بنيتها المميزة والأوزان الخطية للخرج، مناسبة لدمج القيود المستمرة بكفاءة داخل مناطق محددة من مساحة المدخلات.
==الجدل حول آلة التعلم القصوى==
==الجدل حول آلة التعلم القصوى==
وجه المجتمع الأكاديمي انتقادان رئيسيان لهذا العمل. الأول هو اتهام يتعلق ب "إعادة اختراع العجلة" وتجاهل الأفكار الموجودة مسبقًا. والثانية هي انتقاد "التسمية غير المناسبة والترويج المفرط".
ظهرت هذه المناقشات في عامي 2008 و 2015..<ref>{{cite web |title=The Official Homepage on Origins of Extreme Learning Machines (ELM) |url=http://elmorigin.wixsite.com/originofelm |access-date=15 December 2018}}</ref> وعلى وجه الخصوص، أشارت رسالة إلى محرر مجلة (IEEE Transactions on Neural Networks) إلى أن فكرة استخدام طبقة خفية متصلة بالمدخلات بأوزان عشوائية غير مدربة قد اقتُرحت في أبحاث سابقة حول شبكات (RBF) في أواخر الثمانينيات. ورد غوانغ بين هوانغ بالإشارة إلى فروقها الدقيقة.
كما هو موضح في بعض المناقشات في عامي 2008 و2015.[33] على وجه الخصوص، تمت الإشارة في رسالة<ref>{{cite journal|last1=Wang|first1=Lipo P.|last2=Wan|first2=Chunru R.|title=Comments on "The Extreme Learning Machine"|journal=IEEE Trans. Neural Netw.|year=2008|volume=19|issue=8|pages=1494–5; author reply 1495–6|doi=10.1109/TNN.2008.2002273|pmid=18701376|citeseerx=10.1.1.217.2330}}</ref> إلى محرر معاملات IEEE على الشبكات العصبية إلى أن فكرة استخدام طبقة مخفية متصلة بالمدخلات بواسطة أوزان عشوائية غير مدربة تم اقتراحها بالفعل في الأوراق الأصلية حول شبكات RBF في أواخر الثمانينيات؛ رد قوانغ بين هوانغ بالإشارة إلى الاختلافات الدقيقة.<ref>{{Cite journal|last=Huang|first=Guang-Bin|date=2008|title=Reply to "comments on 'the extreme learning machine' "|journal=IEEE Transactions on Neural Networks|volume=19|issue=8|pages=1495–1496|doi=10.1109/tnn.2008.2002275|s2cid=14720232}}</ref>
"في ورقة بحثية عام 2015،<ref name=":0" /> رد هوانغ على الانتقادات الموجهة إليه بشأن تسمية ELM لطرق موجودة مسبقاً. وأعرب عن استيائه من التعليقات السلبية وغير المهنية التي أحيطت بهذه التسمية، معتبراً أنها نابعة من أسباب ومقاصد مختلفة. وادعى هوانغ أن عمله يوفر إطاراً موحداً لأنواع مختلفة من الشبكات العصبونية، بما في ذلك ELM الهيكلية الهرمية."
في ورقة بحثية عام 2015،[1] رد هوانج على الشكاوى حول اختراعه لاسم ELM للطرق الموجودة بالفعل، واشتكى من "التعليقات السلبية للغاية وغير المفيدة على ELM بطريقة غير أكاديمية أو مهنية لأسباب ونوايا مختلفة" و"هجوم مجهول غير مسؤول يهدف إلى تدمير بيئة البحث في التناغم"، بحجة أن عمله "يوفر منصة تعليمية موحدة" لأنواع مختلفة من الشبكات العصبية،<ref name=":0">{{cite journal |title=What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt's Dream and John von Neumann's Puzzle |journal=Cognitive Computation |volume=7 |issue=3 |pages=263–278 |year=2015 |first=Guang-Bin |last=Huang |url=http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Rosenblatt-Neumann.pdf |doi=10.1007/s12559-015-9333-0 |s2cid=13936498 |access-date=2015-07-30 |archive-date=2017-06-10 |archive-url=https://web.archive.org/web/20170610222724/http://www.ntu.edu.sg/home/egbhuang/pdf/ELM-Rosenblatt-Neumann.pdf |url-status=dead }}</ref> بما في ذلك ELM ذات الهيكل الهرمي.<ref name=":7">{{Cite book|last1=Zhu|first1=W.|last2=Miao|first2=J.|last3=Qing|first3=L.|last4=Huang|first4=G. B.|title=2015 International Joint Conference on Neural Networks (IJCNN) |chapter=Hierarchical Extreme Learning Machine for unsupervised representation learning |date=2015-07-01|pages=1–8|doi=10.1109/IJCNN.2015.7280669|isbn=978-1-4799-1960-4|s2cid=14222151}}</ref>


في عام 2015، أصدر هوانغ رداً رسمياً على ما اعتبره "انتقادات خبيثة وهجومية".<ref>{{Cite web|url=http://www.ntu.edu.sg/home/egbhuang/pdf/Huang-GB-Statement.pdf|title=WHO behind the malign and attack on ELM, GOAL of the attack and ESSENCE of ELM|last=Guang-Bin|first=Huang|date=2015|website=www.extreme-learning-machines.org}}</ref> وقد تقدمت الأبحاث الحديثة من خلال استبدال الأوزان العشوائية بأوزان عشوائية مقيدة.<ref name=":4" /><ref>{{Cite book|last1=Zhu|first1=W.|last2=Miao|first2=J.|last3=Qing|first3=L.|title=2014 International Joint Conference on Neural Networks (IJCNN) |chapter=Constrained Extreme Learning Machine: A novel highly discriminative random feedforward neural network |date=2014-07-01|pages=800–807|doi=10.1109/IJCNN.2014.6889761|isbn=978-1-4799-1484-5|s2cid=5769519}}</ref>


== المصادر المفتوحة ==
* [http://www.ntu.edu.sg/home/egbhuang/reference.html مكتبة ماتلاب]
* مكتبة بايثون<ref>{{Cite journal|last=Akusok|first=Anton; Bjork, Kaj-Mikael; Miche, Yoan; Lendasse, Amaury|date=2015|title=High-Performance Extreme Learning Machines: A Complete Toolbox for Big Data Applications|journal=IEEE Access|volume=3|pages=1011–1025|doi=10.1109/access.2015.2450498|bibcode=2015IEEEA...3.1011A |doi-access=free}}</ref>
==المراجع==
==المراجع==
{{مراجع}}
{{مراجع}}

المراجعة الحالية بتاريخ 23:12، 21 سبتمبر 2024

كتبها لويكي عربية— عبد العزيز
آلة التعلم القصوى
مشهد تخيلي لآلة التعلم القصوى، صورة مولدة بالذكاء الصنعي

آلة التعلم القصوى (بالإنجليزية: Extreme learning machine)‏ واختصارها (ELM) هي نوع من الشبكات العصبونية ذات التغذية الأمامية التي تتميز بقدراتها الممتازة في العديد من المهام مثل التصنيف والانحدار والتجميع والتقريب المتفرق والضغط وتعلم الميزات.

تستخدم هذه الآلات طبقة واحدة أو طبقات متعددة خفية، حيث تتطلب معلمات العُقد الخفية (وليس فقط الأوزان) ضبطًا. يسمح هذا النهج الفريد لآلات التعلم القصوى بتحقيق تعلم فعال ويتفوق في كثير من الأحيان على الشبكات العصبونية التقليدية.

يمكن تعيين هذه العقد الخفية عشوائيًا وعدم تحديثها مطلقًا (أي أنها عبارة عن إسقاط عشوائي ولكن مع تحويلات غير خطية)، أو يمكن توريثها من أسلافها دون تغييرها.

يتم عادةً تعلم الأوزان الخارجة للعُقد الخفية في خطوة واحدة، ما يمثل في الأساس تدريبًا لنموذج خطي.

آلات التعلم العميق القصوى هي مصطلح صاغه غوانغ-بين هوانغ (بالإنجليزية: Guang-Bin Huang)‏ لوصف هذه النماذج، والتي اقترحها في الأصل للشبكات العصبونية مع أي نوع من العُقد الخفية اللاخطية المستمرة، بما في ذلك الخلايا العصبية البيولوجية وأنواع مختلفة من الدوال الرياضية الأساسية.[1][2]


يمكن إرجاع مفهوم الشبكات العصبونية الاصطناعية إلى فرانك روزنبلات(بالإنجليزية: Frank Rosenblatt)‏، الذي لم يقدم فقط البيرسيبترون (بالإنجليزية: Perceptron)‏ ذي الطبقة الواحدة في عام 1958، بل قدم أيضًا بيرسيبترون متعدد الطبقات، وهي شبكة مكونة من ثلاث طبقات: طبقة الإدخال، طبقة خفية ذات أوزان عشوائيًا تظل ثابتة أثناء التدريب، وطبقة الإخراج التعلمي.[3][4]

أظهرت الدراسات أن هذه النماذج قادرة على تحقيق تعميم أفضل وتعلم بمعدلات أسرع بآلاف المرات من الشبكات المستندة إلى الانتشار العكسي. بالإضافة إلى ذلك، أُثبت تفوقها على آلات المتجهات الداعمة في كل من مهام التصنيف والانحدار.[5][6][1][7]

تاريخ آلة التعلم القصوى

ركزت أبحاث آلات التعلم العميق القصوى بين عامي 2001 و 2010 في المقام الأول على إطار تعليم موحد للشبكات العصبونية ذات التغذية الأمامية والطبقة الخفية المفردة (SLFNs) المعممة (بالإنجليزية: single-hidden layer feedforward neural networks)‏.

بما في ذلك ولكن ليس على سبيل الحصر الشبكات السينية (بالإنجليزية: sigmoid networks)‏، وشبكات RBF (بالإنجليزية: Radial basis function network)‏، وشبكات العتبة{{Yk[|threshold networks}}،[8] والشبكات المثلثية(بالإنجليزية: trigonometric networks)‏، وأنظمة الاستدلال الضبابي (بالإنجليزية: fuzzy inference systems)‏، ومتسلسلة فورييه(بالإنجليزية: Fourier series)‏،[9][10] وتحويل لابلاس (بالإنجليزية: Laplacian transform)‏، وشبكات الموجات(بالإنجليزية: wavelet networks)‏.

وكانت إحدى الإنجازات الأهم خلال هذه الفترة إثبات القدرات النظرية للتقريب والتصنيف العالمي لآلات التعلم القصوى.[9][11][12]

توسعت الأبحاث في مجال آلة التعلم القصوى (ELM) في الفترة من 2010 إلى 2015 لتشمل إطار تعليم موحد للنواة وشعاع الدعم الآلي (بالإنجليزية: Support vector machine)‏ (SVM) وعددًا من طرق تعلم الميزات النموذجية مثل تحليل العنصر الرئيسي (بالإنجليزية: Principal component analysis)‏ (PCA) وتحليل العوامل غير السلبية (NMF).

أظهرت الدراسات أن شعاع الدعم الآلي غالبًا ما يوفر حلولًا دون المستوى الأمثل مقارنة بـ آلة التعلم القصوى.

علاوة على ذلك، توفر آلة التعلم القصوى نواة "الصندوق الأبيض"، الذي يُنفّذ من خلال تعيين الميزات العشوائية لآلة التعلم القصوى، على عكس نواة "الصندوق الأسود" المستخدمة في شعاع الدعم الآلي (بالإنجليزية: Support vector machine)‏ (SVM). يمكن اعتبار (بالإنجليزية: Principal component analysis)‏ (PCA) وعامل المصفوفة غير السلبية (NMF) حالات خاصة تستخدم عقدًا خفية خطية.[13][14]

من عام 2015 إلى عام 2017، شهدت الأبحاث زيادة ملحوظة في التركيز على التطبيقات الهرمية لآلة التعلم القصوى. ظهرت أبحاث بيولوجية كبيرة منذ عام 2011 تدعم نظريات معينة لآلة التعلم القصوى.[15][16][17][18][19]

منذ عام 2017، اكتسبت طرق التفريق المصفوفي المثلثي (بالإنجليزية: LU decomposition)‏ و خوارزمية هيسنبرج-شور (بالإنجليزية: Hessenberg–Schur algorithm)‏ و تفريق QR (بالإنجليزية: QR decomposition)‏ مع تنظيمها أهمية كحلول لمشكلة الانخفاض في التقارب التي تواجهها أثناء التدريب.[20][21][22]

أبرزت مدونة الباحث العلمي من جوجل (بالإنجليزية: Google Scholar)‏ في عام 2017 ورقتين بحثيتين حول آلات التعلم القصوى (ELM) ضمن قائمة "الأوراق الكلاسيكية: مقالات صمدت أمام اختبار الزمن".[23] ضمنت هاتين الورقتين في قائمة من 10 أوراق بحثية كلاسيكية في مجال الذكاء الاصطناعي من عام 2006.[24][25][26]

خوارزميات آلة التعلم القصوى

نظرًا لوجود طبقة مخفية واحدة من ELM، افترض أن دالة الإخراج للعقدة المخفية -th هي حيث و هما معلمات العقدة المخفية . دالة الإخراج لـ ELM لشبكات التغذية الأمامية ذات الطبقة المخفية المفردة (SLFN) مع عقد مخفية هي:

، حيث هو وزن الإخراج للعقدة المخفية .

هي دالة التعيين الناتج للطبقة الخفية في آلة التعلم القصوى. بالنظر إلى من عينات التدريب، فإن مصفوفة إخراج الطبقة المخفية من ELM تُعطى على النحو التالي:

و هي المصفوفة الهدف لبيانات التدريب:

يعد آلة التعلم القصوى عمومًا شبكة عصبونية تنظيمية تتميز بعدم ضبط خرائط طبقتها الخفية. يمكن تشكيل هذه الخرائط باستخدام عُقد خفية عشوائية أو نواة أو تنفيذات أخرى. دالة الهدف لشبكة آلة التعلم القصوى هي:

حيث .

مجموعات مختلفة من , , و يمكن تطبيقها على مهام متنوعة، مما ينتج عنه خوارزميات تعلم مختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع.

كحالة خاصة، خوارزمية تدريب ELM الأساسية للشبكات العصبونية ذات الطبقة المخفية المفردة والوظيفة المنطقية (sigmoid) تتعلم نموذجًا من الشكل:

حيث W1 ي مصفوفة الأوزان بين المدخلات والطبقة الخفية، هي دالة التنشيط، و W2 هي مصفوفة الأوزان التي تربط الطبقة الخفية بالطبقة الناتجة. لتصبح الخوارزمية كالتالي:

  1. املأ W1 بقيم عشوائية (مثال، التشويش الغاوسي) (بالإنجليزية: Gaussian noise)‏;
  2. قدّر W2 من خلال ملائمة المربعات الدنيا إلى مصفوفة متغيرات الاستجابة Y، المحسبوة باستخدام شبه العكس ⋅+، نظرا لمصفوفة التصميم X:

بُنى آلة التعلم القصوى

عادةً ما تستخدم آلة التعلم القصوى كشبكة تغذية للأمام ذات طبقة خفية واحدة (SLFN)، بما في ذلك على سبيل المثال لا الحصر الشبكات السينية وشبكات RBF وشبكات العتبة وشبكات الاستدلال الضبابي والشبكات العصبية المعقدة وشبكات الموجات وتحويل فورييه وتحويل لابلاس وما إلى ذلك.

نظرًا لتطبيقات خوارزمية التعلم المختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع، فقد استخدمت بنى متعددة من آلة التعلم القصوى (ELM) لتشكيل الشبكات ذات الطبقات الخفية المتعددة، والتعلم العميق، والشبكات الهرمية.[15][16][27]

العُقدة الخفية في آلة التعلم القصوى هي عنصر حسابي ولا ينبغي اعتبارها خلية عصبية كلاسيكية، يمكن أن تكون العُقدة الخفية في آلة التعلم القصوى عبارة عن خلايا عصبية صناعية تقليدية، أو الدوال الأساسية، أو حتى الشبكات الفرعية لبعض العُقد الخفية الأخرى.[11]

نظريات

أثبتت الأبحاث أن آلة التعلم القصوى (ELM) تمتلك قدرات تقريب شاملة وتصنيف.[6][1] وقد أمضى غوانغ بين هوانغ وفريقه ما يقرب من سبع سنوات (2001-2008) في إثبات قدرة آلة التعلم القصوى الصارمة على التقريب الشامل. [9][11][12]

القدرة على التقريب الشامل

من الناحية النظرية، يمكن استخدام أي دالة غير ثابتة متصلة قطعيًا كدالة تنشيط في العُقد الخفية لآلات التعلم القصوى. يُذكر أن مثل هذه الدالة التنشيط لا تفاضلية.

إذا أمكن ضبط معلمات العُقد الخفية بشكل دقيق، فإن شبكات التغذية الأمامية ذات الطبقة الواحدة (SLFNs) يمكنها من حيث المبدأ تقريب أي دالة مستهدفة ومن ثم يمكن توليد معلمات العُقد الخفية عشوائياً وفقاً لأي توزيع احتمالي مستمر، و لها احتمال واحد لإنتاج مخرجات صحيحة مع إعدادات الأوزان المناسبة .

القدرة على التصنيف

مع إعطاء أي دالة غير ثابتة متصلة قطعيًا كدالة التنشيط في شبكات التعلم الفائق البساطة، إذا كان ضبط معلمات العُقد الخفية يمكن أن يجعل (SLFNs) تقارب أي دالة مستهدفة ثم (SLFNs) مع تعيين طبقة خفية عشوائية يمكنه فصل مناطق متباينة عشوائية بأي شكل.

العصبونات

يمكن استخدام مجموعة واسعة من الدوال غير الخطية المستمرة القطاعية في العُقد الخفية لتعلم الآلة القصوى، على سبيل المثال:

المجال الحقيقي

الدالة السينية (بالإنجليزية: Sigmoid function)‏:

دالة فورييه (بالإنجليزية: Fourier function)‏:

دالة الحد الحاد (بالإنجليزية: Hardlimit function)‏:

دالة غاوس (بالإنجليزية: Gaussian function)‏:

دالة متعددة المربعات (بالإنجليزية: Multiquadrics function)‏:

الدالة الموجية (بالإنجليزية: Wavelet)‏: حيث هي دالة موجية أم واحدة.

المجال المعقد

الوظائف الدائرية (بالإنجليزية: Circular functions)‏

الوظائف الدائرية العكسية (بالإنجليزية: Inverse circular functions)‏


الوظائف الزائدية (بالإنجليزية: Hyperbolic functions)‏

الوظائف الزائدية العكسية (بالإنجليزية: Inverse hyperbolic functions)‏

الاعتمادية

طبيعة الشبكات العصبونية، وخاصة آلات التعلم القصوى (ELM)، الغامضة، تمثل تحديات كبيرة للمهندسين في تطبيقات الأتمتة الحرجة. استكشف الباحثون تقنيات مختلفة لمواجهة هذه التحديات. ركّز أحد النُهج على تقليل الاعتماد على المدخلات العشوائية.[28][29]

وركز آخر على دمج القيود المستمرة في عملية تعلم الآلة القصوى.[30][31] هذا ضروري لضمان التشغيل الآمن في العديد من السيناريوهات الواقعية. أظهرت الدراسات أن ELMs، مع بنيتها المميزة والأوزان الخطية للخرج، مناسبة لدمج القيود المستمرة بكفاءة داخل مناطق محددة من مساحة المدخلات.

الجدل حول آلة التعلم القصوى

وجه المجتمع الأكاديمي انتقادان رئيسيان لهذا العمل. الأول هو اتهام يتعلق ب "إعادة اختراع العجلة" وتجاهل الأفكار الموجودة مسبقًا. والثانية هي انتقاد "التسمية غير المناسبة والترويج المفرط".

ظهرت هذه المناقشات في عامي 2008 و 2015..[32] وعلى وجه الخصوص، أشارت رسالة إلى محرر مجلة (IEEE Transactions on Neural Networks) إلى أن فكرة استخدام طبقة خفية متصلة بالمدخلات بأوزان عشوائية غير مدربة قد اقتُرحت في أبحاث سابقة حول شبكات (RBF) في أواخر الثمانينيات. ورد غوانغ بين هوانغ بالإشارة إلى فروقها الدقيقة.

كما هو موضح في بعض المناقشات في عامي 2008 و2015.[33] على وجه الخصوص، تمت الإشارة في رسالة[33] إلى محرر معاملات IEEE على الشبكات العصبية إلى أن فكرة استخدام طبقة مخفية متصلة بالمدخلات بواسطة أوزان عشوائية غير مدربة تم اقتراحها بالفعل في الأوراق الأصلية حول شبكات RBF في أواخر الثمانينيات؛ رد قوانغ بين هوانغ بالإشارة إلى الاختلافات الدقيقة.[34]

"في ورقة بحثية عام 2015،[1] رد هوانغ على الانتقادات الموجهة إليه بشأن تسمية ELM لطرق موجودة مسبقاً. وأعرب عن استيائه من التعليقات السلبية وغير المهنية التي أحيطت بهذه التسمية، معتبراً أنها نابعة من أسباب ومقاصد مختلفة. وادعى هوانغ أن عمله يوفر إطاراً موحداً لأنواع مختلفة من الشبكات العصبونية، بما في ذلك ELM الهيكلية الهرمية."


في ورقة بحثية عام 2015،[1] رد هوانج على الشكاوى حول اختراعه لاسم ELM للطرق الموجودة بالفعل، واشتكى من "التعليقات السلبية للغاية وغير المفيدة على ELM بطريقة غير أكاديمية أو مهنية لأسباب ونوايا مختلفة" و"هجوم مجهول غير مسؤول يهدف إلى تدمير بيئة البحث في التناغم"، بحجة أن عمله "يوفر منصة تعليمية موحدة" لأنواع مختلفة من الشبكات العصبية،[1] بما في ذلك ELM ذات الهيكل الهرمي.[27]

في عام 2015، أصدر هوانغ رداً رسمياً على ما اعتبره "انتقادات خبيثة وهجومية".[35] وقد تقدمت الأبحاث الحديثة من خلال استبدال الأوزان العشوائية بأوزان عشوائية مقيدة.[6][36]

المصادر المفتوحة

المراجع

  1. ↑ 1٫0 1٫1 1٫2 1٫3 1٫4 Huang، Guang-Bin (2015). "What are Extreme Learning Machines? Filling the Gap Between Frank Rosenblatt's Dream and John von Neumann's Puzzle" (PDF). Cognitive Computation. ج. 7 ع. 3: 263–278. DOI:10.1007/s12559-015-9333-0. S2CID:13936498. مؤرشف من الأصل (PDF) في 2017-06-10. اطلع عليه بتاريخ 2015-07-30.
  2. ↑ Huang، Guang-Bin (2014). "An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels" (PDF). Cognitive Computation. ج. 6 ع. 3: 376–390. DOI:10.1007/s12559-014-9255-2. S2CID:7419259.
  3. ↑ Rosenblatt، Frank (1958). "The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain". Psychological Review. ج. 65 ع. 6: 386–408. CiteSeerX:10.1.1.588.3775. DOI:10.1037/h0042519. PMID:13602029. S2CID:12781225.
  4. ↑ Rosenblatt، Frank (1962). Principles of Neurodynamics. Spartan, New York.
  5. ↑ Huang، Guang-Bin؛ Zhu، Qin-Yu؛ Siew، Chee-Kheong (2006). "Extreme learning machine: theory and applications". Neurocomputing. ج. 70 ع. 1: 489–501. CiteSeerX:10.1.1.217.3692. DOI:10.1016/j.neucom.2005.12.126. S2CID:116858.
  6. ↑ 6٫0 6٫1 6٫2 Huang، Guang-Bin; Hongming Zhou; Xiaojian Ding; and Rui Zhang (2012). "Extreme Learning Machine for Regression and Multiclass Classification" (PDF). IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics. ج. 42 ع. 2: 513–529. CiteSeerX:10.1.1.298.1213. DOI:10.1109/tsmcb.2011.2168604. PMID:21984515. S2CID:15037168. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-19.
  7. ↑ Huang، Guang-Bin (2014). "An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels" (PDF). Cognitive Computation. ج. 6 ع. 3: 376–390. DOI:10.1007/s12559-014-9255-2. S2CID:7419259.
  8. ↑ Huang، Guang-Bin, Qin-Yu Zhu, K. Z. Mao, Chee-Kheong Siew, P. Saratchandran, and N. Sundararajan (2006). "Can Threshold Networks Be Trained Directly?" (PDF). IEEE Transactions on Circuits and Systems-II: Express Briefs. ج. 53 ع. 3: 187–191. DOI:10.1109/tcsii.2005.857540. S2CID:18076010. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-22.
  9. ↑ 9٫0 9٫1 9٫2 Huang، Guang-Bin, Lei Chen, and Chee-Kheong Siew (2006). "Universal Approximation Using Incremental Constructive Feedforward Networks with Random Hidden Nodes" (PDF). IEEE Transactions on Neural Networks. ج. 17 ع. 4: 879–892. DOI:10.1109/tnn.2006.875977. PMID:16856652. S2CID:6477031. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-22.
  10. ↑ Rahimi، Ali, and Benjamin Recht (2008). "Weighted Sums of Random Kitchen Sinks: Replacing Minimization with Randomization in Learning" (PDF). Advances in Neural Information Processing Systems. ج. 21.
  11. ↑ 11٫0 11٫1 11٫2 Huang، Guang-Bin, Lei Chen (2007). "Convex Incremental Extreme Learning Machine" (PDF). Neurocomputing. ج. 70 ع. 16–18: 3056–3062. DOI:10.1016/j.neucom.2007.02.009. مؤرشف من الأصل (PDF) في 2017-08-10. اطلع عليه بتاريخ 2017-08-22.
  12. ↑ 12٫0 12٫1 Huang، Guang-Bin, and Lei Chen (2008). "Enhanced Random Search Based Incremental Extreme Learning Machine" (PDF). Neurocomputing. ج. 71 ع. 16–18: 3460–3468. CiteSeerX:10.1.1.217.3009. DOI:10.1016/j.neucom.2007.10.008. مؤرشف من الأصل (PDF) في 2014-10-14. اطلع عليه بتاريخ 2017-08-22.
  13. ↑ He، Qing, Xin Jin, Changying Du, Fuzhen Zhuang, Zhongzhi Shi (2014). "Clustering in Extreme Learning Machine Feature Space" (PDF). Neurocomputing. ج. 128: 88–95. DOI:10.1016/j.neucom.2012.12.063. S2CID:30906342.
  14. ↑ Kasun، Liyanaarachchi Lekamalage Chamara, Yan Yang, Guang-Bin Huang, and Zhengyou Zhang (2016). "Dimension Reduction With Extreme Learning Machine" (PDF). IEEE Transactions on Image Processing. ج. 25 ع. 8: 3906–3918. Bibcode:2016ITIP...25.3906K. DOI:10.1109/tip.2016.2570569. PMID:27214902. S2CID:1803922.
  15. ↑ 15٫0 15٫1 Huang، Guang-Bin, Zuo Bai, and Liyanaarachchi Lekamalage Chamara Kasun, and Chi Man Vong (2015). "Local Receptive Fields Based Extreme Learning Machine" (PDF). IEEE Computational Intelligence Magazine. ج. 10 ع. 2: 18–29. DOI:10.1109/mci.2015.2405316. S2CID:1417306. مؤرشف من الأصل (PDF) في 2017-08-08. اطلع عليه بتاريخ 2017-08-22.
  16. ↑ 16٫0 16٫1 Tang، Jiexiong, Chenwei Deng, and Guang-Bin Huang (2016). "Extreme Learning Machine for Multilayer Perceptron" (PDF). IEEE Transactions on Neural Networks and Learning Systems. ج. 27 ع. 4: 809–821. DOI:10.1109/tnnls.2015.2424995. PMID:25966483. S2CID:206757279. مؤرشف من الأصل (PDF) في 2017-07-12. اطلع عليه بتاريخ 2017-08-22.
  17. ↑ Barak، Omri; Rigotti, Mattia; and Fusi, Stefano (2013). "The Sparseness of Mixed Selectivity Neurons Controls the Generalization-Discrimination Trade-off". Journal of Neuroscience. ج. 33 ع. 9: 3844–3856. DOI:10.1523/jneurosci.2753-12.2013. PMC:6119179. PMID:23447596.
  18. ↑ Rigotti، Mattia; Barak, Omri; Warden, Melissa R.; Wang, Xiao-Jing; Daw, Nathaniel D.; Miller, Earl K.; and Fusi, Stefano (2013). "The Importance of Mixed Selectivity in Complex Cognitive Tasks". Nature. ج. 497 ع. 7451: 585–590. Bibcode:2013Natur.497..585R. DOI:10.1038/nature12160. PMC:4412347. PMID:23685452.
  19. ↑ Fusi، Stefano, Earl K Miller and Mattia Rigotti (2015). "Why Neurons Mix: High Dimensionality for Higher Cognition" (PDF). Current Opinion in Neurobiology. ج. 37: 66–74. DOI:10.1016/j.conb.2016.01.010. PMID:26851755. S2CID:13897721.
  20. ↑ Kutlu، Yakup Kutlu, Apdullah Yayık, and Esen Yıldırım, and Serdar Yıldırım (2017). "LU triangularization extreme learning machine in EEG cognitive task classification". Neural Computation and Applications. ج. 31 ع. 4: 1117–1126. DOI:10.1007/s00521-017-3142-1. S2CID:6572895.
  21. ↑ Apdullah Yayık؛ Yakup Kutlu؛ Gökhan Altan (12 يوليو 2019). "Regularized HessELM and Inclined Entropy Measurement forCongestive Heart Failure Prediction". arXiv:1907.05888 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
  22. ↑ Altan، Gökhan Altan, Yakup Kutlu, Adnan Özhan Pekmezci and Apdullah Yayık (2018). "Diagnosis of Chronic Obstructive Pulmonary Disease using Deep Extreme Learning Machines with LU Autoencoder Kernel". International Conference on Advanced Technologies.
  23. ↑ "Classic Papers: Articles That Have Stood The Test of Time". University of Nottingham. 15 يونيو 2017. اطلع عليه بتاريخ 2023-12-21.
  24. ↑ ""List of 10 classic AI papers from 2006"". 2017. اطلع عليه بتاريخ 2023-12-21.
  25. ↑ Huang, G.B.؛ Zhu, Q.Y.؛ Siew, C.K. (ديسمبر 2006). "Extreme learning machine: theory and applications". Neurocomputing. ج. 70 ع. 1–3: 489–501. DOI:10.1016/j.neucom.2005.12.126. ISSN:0925-2312. S2CID:116858. اطلع عليه بتاريخ 2023-12-21.
  26. ↑ Liang, N.Y.؛ Huang, G.B.؛ Saratchandran, P.؛ Sundararajan, N. (نوفمبر 2006). "A fast and accurate online sequential learning algorithm for feedforward networks". IEEE Transactions on Neural Networks. ج. 17 ع. 6: 1411–1423. DOI:10.1109/TNN.2006.880583. PMID:17131657. S2CID:7028394. اطلع عليه بتاريخ 2023-12-21.
  27. ↑ 27٫0 27٫1 Zhu، W.؛ Miao، J.؛ Qing، L.؛ Huang، G. B. (1 يوليو 2015). "Hierarchical Extreme Learning Machine for unsupervised representation learning". 2015 International Joint Conference on Neural Networks (IJCNN). ص. 1–8. DOI:10.1109/IJCNN.2015.7280669. ISBN:978-1-4799-1960-4. S2CID:14222151.
  28. ↑ Neumann، Klaus; Steil, Jochen J. (2011). "Batch intrinsic plasticity for extreme learning machines". Proc. Of International Conference on Artificial Neural Networks: 339–346.
  29. ↑ Neumann، Klaus; Steil, Jochen J. (2013). "Optimizing extreme learning machines via ridge regression and batch intrinsic plasticity". Neurocomputing. ج. 102: 23–30. DOI:10.1016/j.neucom.2012.01.041.
  30. ↑ Neumann، Klaus; Rolf, Matthias; Steil, Jochen J. (2013). "Reliable integration of continuous constraints into extreme learning machines". International Journal of Uncertainty, Fuzziness and Knowledge-Based Systems. ج. 21 ع. supp02: 35–50. DOI:10.1142/S021848851340014X. ISSN:0218-4885.
  31. ↑ Neumann، Klaus (2014). Reliability. University Library Bielefeld. ص. 49–74.
  32. ↑ "The Official Homepage on Origins of Extreme Learning Machines (ELM)". اطلع عليه بتاريخ 2018-12-15.
  33. ↑ Wang، Lipo P.؛ Wan، Chunru R. (2008). "Comments on "The Extreme Learning Machine"". IEEE Trans. Neural Netw. ج. 19 ع. 8: 1494–5, author reply 1495–6. CiteSeerX:10.1.1.217.2330. DOI:10.1109/TNN.2008.2002273. PMID:18701376.
  34. ↑ Huang، Guang-Bin (2008). "Reply to "comments on 'the extreme learning machine' "". IEEE Transactions on Neural Networks. ج. 19 ع. 8: 1495–1496. DOI:10.1109/tnn.2008.2002275. S2CID:14720232.
  35. ↑ Guang-Bin، Huang (2015). "WHO behind the malign and attack on ELM, GOAL of the attack and ESSENCE of ELM" (PDF). www.extreme-learning-machines.org.
  36. ↑ Zhu، W.؛ Miao، J.؛ Qing، L. (1 يوليو 2014). "Constrained Extreme Learning Machine: A novel highly discriminative random feedforward neural network". 2014 International Joint Conference on Neural Networks (IJCNN). ص. 800–807. DOI:10.1109/IJCNN.2014.6889761. ISBN:978-1-4799-1484-5. S2CID:5769519.
  37. ↑ Akusok، Anton; Bjork, Kaj-Mikael; Miche, Yoan; Lendasse, Amaury (2015). "High-Performance Extreme Learning Machines: A Complete Toolbox for Big Data Applications". IEEE Access. ج. 3: 1011–1025. Bibcode:2015IEEEA...3.1011A. DOI:10.1109/access.2015.2450498.
مجلوبة من «https://wikiarabia.org/index.php?title=آلة_التعلم_القصوى&oldid=2489»
محتويات