الفرق بين المراجعتين لصفحة: «آلة التعلم القصوى»

مراجعة 22:21، 21 سبتمبر 2024

آلة التعلم القصوى (بالإنجليزية: Extreme learning machine)‏ واختصارها (ELM) هي نوع من الشبكات العصبونية ذات التغذية الأمامية التي تتميز بقدراتها الممتازة في العديد من المهام مثل التصنيف والانحدار والتجميع والتقريب المتفرق والضغط وتعلم الميزات.

تستخدم هذه الآلات طبقة واحدة أو طبقات متعددة خفية، حيث تتطلب معلمات العُقد الخفية (وليس فقط الأوزان) ضبطًا. يسمح هذا النهج الفريد لآلات التعلم القصوى بتحقيق تعلم فعال ويتفوق في كثير من الأحيان على الشبكات العصبونية التقليدية.

يمكن تعيين هذه العقد الخفية عشوائيًا وعدم تحديثها مطلقًا (أي أنها عبارة عن إسقاط عشوائي ولكن مع تحويلات غير خطية)، أو يمكن توريثها من أسلافها دون تغييرها.

يتم عادةً تعلم الأوزان الخارجة للعُقد الخفية في خطوة واحدة، ما يمثل في الأساس تدريبًا لنموذج خطي.

آلات التعلم العميق القصوى هي مصطلح صاغه غوانغ-بين هوانغ (بالإنجليزية: Guang-Bin Huang)‏ لوصف هذه النماذج، والتي اقترحها في الأصل للشبكات العصبونية مع أي نوع من العُقد الخفية اللاخطية المستمرة، بما في ذلك الخلايا العصبية البيولوجية وأنواع مختلفة من الدوال الرياضية الأساسية.^[1]^[2]

يمكن إرجاع مفهوم الشبكات العصبونية الاصطناعية إلى فرانك روزنبلات(بالإنجليزية: Frank Rosenblatt)‏، الذي لم يقدم فقط البيرسيبترون (بالإنجليزية: Perceptron)‏ ذي الطبقة الواحدة في عام 1958، بل قدم أيضًا بيرسيبترون متعدد الطبقات، وهي شبكة مكونة من ثلاث طبقات: طبقة الإدخال، طبقة خفية ذات أوزان عشوائيًا تظل ثابتة أثناء التدريب، وطبقة الإخراج التعلمي.^[3]^[4]

أظهرت الدراسات أن هذه النماذج قادرة على تحقيق تعميم أفضل وتعلم بمعدلات أسرع بآلاف المرات من الشبكات المستندة إلى الانتشار العكسي. بالإضافة إلى ذلك، أُثبت تفوقها على آلات المتجهات الداعمة في كل من مهام التصنيف والانحدار.^[5]^[6]^[1]^[7]

تاريخ آلة التعلم القصوى

ركزت أبحاث آلات التعلم العميق القصوى بين عامي 2001 و 2010 في المقام الأول على إطار تعليم موحد للشبكات العصبونية ذات التغذية الأمامية والطبقة الخفية المفردة (SLFNs) المعممة (بالإنجليزية: single-hidden layer feedforward neural networks)‏.

بما في ذلك ولكن ليس على سبيل الحصر الشبكات السينية (بالإنجليزية: sigmoid networks)‏، وشبكات RBF (بالإنجليزية: Radial basis function network)‏، وشبكات العتبة{{Yk[|threshold networks}}،^[8] والشبكات المثلثية(بالإنجليزية: trigonometric networks)‏، وأنظمة الاستدلال الضبابي (بالإنجليزية: fuzzy inference systems)‏، ومتسلسلة فورييه(بالإنجليزية: Fourier series)‏،^[9]^[10] وتحويل لابلاس (بالإنجليزية: Laplacian transform)‏، وشبكات الموجات(بالإنجليزية: wavelet networks)‏.

وكانت إحدى الإنجازات الأهم خلال هذه الفترة إثبات القدرات النظرية للتقريب والتصنيف العالمي لآلات التعلم القصوى.^[9]^[11]^[12]

توسعت الأبحاث في مجال آلة التعلم القصوى (ELM) في الفترة من 2010 إلى 2015 لتشمل إطار تعليم موحد للنواة وشعاع الدعم الآلي (بالإنجليزية: Support vector machine)‏ (SVM) وعددًا من طرق تعلم الميزات النموذجية مثل تحليل العنصر الرئيسي (بالإنجليزية: Principal component analysis)‏ (PCA) وتحليل العوامل غير السلبية (NMF).

أظهرت الدراسات أن شعاع الدعم الآلي غالبًا ما يوفر حلولًا دون المستوى الأمثل مقارنة بـ آلة التعلم القصوى.

علاوة على ذلك، توفر آلة التعلم القصوى نواة "الصندوق الأبيض"، الذي يُنفّذ من خلال تعيين الميزات العشوائية لآلة التعلم القصوى، على عكس نواة "الصندوق الأسود" المستخدمة في شعاع الدعم الآلي (بالإنجليزية: Support vector machine)‏ (SVM). يمكن اعتبار (بالإنجليزية: Principal component analysis)‏ (PCA) وعامل المصفوفة غير السلبية (NMF) حالات خاصة تستخدم عقدًا خفية خطية.^[13]^[14]

من عام 2015 إلى عام 2017، شهدت الأبحاث زيادة ملحوظة في التركيز على التطبيقات الهرمية لآلة التعلم القصوى. ظهرت أبحاث بيولوجية كبيرة منذ عام 2011 تدعم نظريات معينة لآلة التعلم القصوى.^[15]^[16]^[17]^[18]^[19]

منذ عام 2017، اكتسبت طرق التفريق المصفوفي المثلثي (بالإنجليزية: LU decomposition)‏ و خوارزمية هيسنبرج-شور (بالإنجليزية: Hessenberg–Schur algorithm)‏ و تفريق QR (بالإنجليزية: QR decomposition)‏ مع تنظيمها أهمية كحلول لمشكلة الانخفاض في التقارب التي تواجهها أثناء التدريب.^[20]^[21]^[22]

أبرزت مدونة الباحث العلمي من جوجل (بالإنجليزية: Google Scholar)‏ في عام 2017 ورقتين بحثيتين حول آلات التعلم القصوى (ELM) ضمن قائمة "الأوراق الكلاسيكية: مقالات صمدت أمام اختبار الزمن".^[23] ضمنت هاتين الورقتين في قائمة من 10 أوراق بحثية كلاسيكية في مجال الذكاء الاصطناعي من عام 2006.^[24]^[25]^[26]

خوارزميات آلة التعلم القصوى

نظرًا لوجود طبقة مخفية واحدة من ELM، افترض أن دالة الإخراج للعقدة المخفية $i$ -th هي $h_{i}(\mathbf {x} )=G(\mathbf {a} _{i},b_{i},\mathbf {x} )$ حيث $\mathbf {a} _{i}$ و $b_{i}$ هما معلمات العقدة المخفية $i$ . دالة الإخراج لـ ELM لشبكات التغذية الأمامية ذات الطبقة المخفية المفردة (SLFN) مع عقد مخفية $L$ هي:

$f_{L}({\bf {x}})=\sum _{i=1}^{L}{\boldsymbol {\beta }}_{i}h_{i}({\bf {x}})$ ، حيث ${\boldsymbol {\beta }}_{i}$ هو وزن الإخراج للعقدة المخفية $i$ .

$\mathbf {h} (\mathbf {x} )=[h_{i}(\mathbf {x} ),...,h_{L}(\mathbf {x} )]$ هي دالة التعيين الناتج للطبقة الخفية في آلة التعلم القصوى. بالنظر إلى $N$ من عينات التدريب، فإن مصفوفة إخراج الطبقة المخفية $\mathbf {H}$ من ELM تُعطى على النحو التالي: ${\bf {H}}=\left[{\begin{matrix}{\bf {h}}({\bf {x}}_{1})\\\vdots \\{\bf {h}}({\bf {x}}_{N})\end{matrix}}\right]=\left[{\begin{matrix}G({\bf {a}}_{1},b_{1},{\bf {x}}_{1})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{1})\\\vdots &\vdots &\vdots \\G({\bf {a}}_{1},b_{1},{\bf {x}}_{N})&\cdots &G({\bf {a}}_{L},b_{L},{\bf {x}}_{N})\end{matrix}}\right]$

و $\mathbf {T}$ هي المصفوفة الهدف لبيانات التدريب: ${\bf {T}}=\left[{\begin{matrix}{\bf {t}}_{1}\\\vdots \\{\bf {t}}_{N}\end{matrix}}\right]$

يعد آلة التعلم القصوى عمومًا شبكة عصبونية تنظيمية تتميز بعدم ضبط خرائط طبقتها الخفية. يمكن تشكيل هذه الخرائط باستخدام عُقد خفية عشوائية أو نواة أو تنفيذات أخرى. دالة الهدف لشبكة آلة التعلم القصوى هي:

${\text{Minimize: }}\|{\boldsymbol {\beta }}\|_{p}^{\sigma _{1}}+C\|{\bf {H}}{\boldsymbol {\beta }}-{\bf {T}}\|_{q}^{\sigma _{2}}$

حيث $\sigma _{1}>0,\sigma _{2}>0,p,q=0,{\frac {1}{2}},1,2,\cdots ,+\infty$ .

مجموعات مختلفة من $\sigma _{1}$ , $\sigma _{2}$ , $p$ و $q$ يمكن تطبيقها على مهام متنوعة، مما ينتج عنه خوارزميات تعلم مختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع.

بُنى آلة التعلم القصوى

نظريات

القدرة على التقريب الشامل

القدرة على التصنيف

العصبونات

المجال الحقيقي

المجال المعقد

الاعتمادية

الجدل حول آلة التعلم القصوى

المراجع

↑ ^1٫0 ^1٫1 خطأ استشهاد: وسم <ref> غير صحيح؛ لا نص تم توفيره للمراجع المسماة :0
↑ Huang، Guang-Bin (2014). "An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels" (PDF). Cognitive Computation. ج. 6 ع. 3: 376–390. DOI:10.1007/s12559-014-9255-2. S2CID:7419259.
↑ Rosenblatt، Frank (1958). "The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain". Psychological Review. ج. 65 ع. 6: 386–408. CiteSeerX:10.1.1.588.3775. DOI:10.1037/h0042519. PMID:13602029. S2CID:12781225.
↑ Rosenblatt، Frank (1962). Principles of Neurodynamics. Spartan, New York.
↑ Huang، Guang-Bin؛ Zhu، Qin-Yu؛ Siew، Chee-Kheong (2006). "Extreme learning machine: theory and applications". Neurocomputing. ج. 70 ع. 1: 489–501. CiteSeerX:10.1.1.217.3692. DOI:10.1016/j.neucom.2005.12.126. S2CID:116858.
↑ Huang، Guang-Bin; Hongming Zhou; Xiaojian Ding; and Rui Zhang (2012). "Extreme Learning Machine for Regression and Multiclass Classification" (PDF). IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics. ج. 42 ع. 2: 513–529. CiteSeerX:10.1.1.298.1213. DOI:10.1109/tsmcb.2011.2168604. PMID:21984515. S2CID:15037168. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-19.
↑ Huang، Guang-Bin (2014). "An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels" (PDF). Cognitive Computation. ج. 6 ع. 3: 376–390. DOI:10.1007/s12559-014-9255-2. S2CID:7419259.
↑ Huang، Guang-Bin, Qin-Yu Zhu, K. Z. Mao, Chee-Kheong Siew, P. Saratchandran, and N. Sundararajan (2006). "Can Threshold Networks Be Trained Directly?" (PDF). IEEE Transactions on Circuits and Systems-II: Express Briefs. ج. 53 ع. 3: 187–191. DOI:10.1109/tcsii.2005.857540. S2CID:18076010. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-22.
↑ ^9٫0 ^9٫1 Huang، Guang-Bin, Lei Chen, and Chee-Kheong Siew (2006). "Universal Approximation Using Incremental Constructive Feedforward Networks with Random Hidden Nodes" (PDF). IEEE Transactions on Neural Networks. ج. 17 ع. 4: 879–892. DOI:10.1109/tnn.2006.875977. PMID:16856652. S2CID:6477031. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-22.
↑ Rahimi، Ali, and Benjamin Recht (2008). "Weighted Sums of Random Kitchen Sinks: Replacing Minimization with Randomization in Learning" (PDF). Advances in Neural Information Processing Systems. ج. 21.
↑ Huang، Guang-Bin, Lei Chen (2007). "Convex Incremental Extreme Learning Machine" (PDF). Neurocomputing. ج. 70 ع. 16–18: 3056–3062. DOI:10.1016/j.neucom.2007.02.009. مؤرشف من الأصل (PDF) في 2017-08-10. اطلع عليه بتاريخ 2017-08-22.
↑ Huang، Guang-Bin, and Lei Chen (2008). "Enhanced Random Search Based Incremental Extreme Learning Machine" (PDF). Neurocomputing. ج. 71 ع. 16–18: 3460–3468. CiteSeerX:10.1.1.217.3009. DOI:10.1016/j.neucom.2007.10.008. مؤرشف من الأصل (PDF) في 2014-10-14. اطلع عليه بتاريخ 2017-08-22.
↑ He، Qing, Xin Jin, Changying Du, Fuzhen Zhuang, Zhongzhi Shi (2014). "Clustering in Extreme Learning Machine Feature Space" (PDF). Neurocomputing. ج. 128: 88–95. DOI:10.1016/j.neucom.2012.12.063. S2CID:30906342.
↑ Kasun، Liyanaarachchi Lekamalage Chamara, Yan Yang, Guang-Bin Huang, and Zhengyou Zhang (2016). "Dimension Reduction With Extreme Learning Machine" (PDF). IEEE Transactions on Image Processing. ج. 25 ع. 8: 3906–3918. Bibcode:2016ITIP...25.3906K. DOI:10.1109/tip.2016.2570569. PMID:27214902. S2CID:1803922.
↑ Huang، Guang-Bin, Zuo Bai, and Liyanaarachchi Lekamalage Chamara Kasun, and Chi Man Vong (2015). "Local Receptive Fields Based Extreme Learning Machine" (PDF). IEEE Computational Intelligence Magazine. ج. 10 ع. 2: 18–29. DOI:10.1109/mci.2015.2405316. S2CID:1417306. مؤرشف من الأصل (PDF) في 2017-08-08. اطلع عليه بتاريخ 2017-08-22.
↑ Tang، Jiexiong, Chenwei Deng, and Guang-Bin Huang (2016). "Extreme Learning Machine for Multilayer Perceptron" (PDF). IEEE Transactions on Neural Networks and Learning Systems. ج. 27 ع. 4: 809–821. DOI:10.1109/tnnls.2015.2424995. PMID:25966483. S2CID:206757279. مؤرشف من الأصل (PDF) في 2017-07-12. اطلع عليه بتاريخ 2017-08-22.
↑ Barak، Omri; Rigotti, Mattia; and Fusi, Stefano (2013). "The Sparseness of Mixed Selectivity Neurons Controls the Generalization-Discrimination Trade-off". Journal of Neuroscience. ج. 33 ع. 9: 3844–3856. DOI:10.1523/jneurosci.2753-12.2013. PMC:6119179. PMID:23447596.
↑ Rigotti، Mattia; Barak, Omri; Warden, Melissa R.; Wang, Xiao-Jing; Daw, Nathaniel D.; Miller, Earl K.; and Fusi, Stefano (2013). "The Importance of Mixed Selectivity in Complex Cognitive Tasks". Nature. ج. 497 ع. 7451: 585–590. Bibcode:2013Natur.497..585R. DOI:10.1038/nature12160. PMC:4412347. PMID:23685452.
↑ Fusi، Stefano, Earl K Miller and Mattia Rigotti (2015). "Why Neurons Mix: High Dimensionality for Higher Cognition" (PDF). Current Opinion in Neurobiology. ج. 37: 66–74. DOI:10.1016/j.conb.2016.01.010. PMID:26851755. S2CID:13897721.
↑ Kutlu، Yakup Kutlu, Apdullah Yayık, and Esen Yıldırım, and Serdar Yıldırım (2017). "LU triangularization extreme learning machine in EEG cognitive task classification". Neural Computation and Applications. ج. 31 ع. 4: 1117–1126. DOI:10.1007/s00521-017-3142-1. S2CID:6572895.
↑ Apdullah Yayık؛ Yakup Kutlu؛ Gökhan Altan (12 يوليو 2019). "Regularized HessELM and Inclined Entropy Measurement forCongestive Heart Failure Prediction". arXiv:1907.05888 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)
↑ Altan، Gökhan Altan, Yakup Kutlu, Adnan Özhan Pekmezci and Apdullah Yayık (2018). "Diagnosis of Chronic Obstructive Pulmonary Disease using Deep Extreme Learning Machines with LU Autoencoder Kernel". International Conference on Advanced Technologies.
↑ "Classic Papers: Articles That Have Stood The Test of Time". University of Nottingham. 15 يونيو 2017. اطلع عليه بتاريخ 2023-12-21.
↑ ""List of 10 classic AI papers from 2006"". 2017. اطلع عليه بتاريخ 2023-12-21.
↑ Huang, G.B.؛ Zhu, Q.Y.؛ Siew, C.K. (ديسمبر 2006). "Extreme learning machine: theory and applications". Neurocomputing. ج. 70 ع. 1–3: 489–501. DOI:10.1016/j.neucom.2005.12.126. ISSN:0925-2312. S2CID:116858. اطلع عليه بتاريخ 2023-12-21.
↑ Liang, N.Y.؛ Huang, G.B.؛ Saratchandran, P.؛ Sundararajan, N. (نوفمبر 2006). "A fast and accurate online sequential learning algorithm for feedforward networks". IEEE Transactions on Neural Networks. ج. 17 ع. 6: 1411–1423. DOI:10.1109/TNN.2006.880583. PMID:17131657. S2CID:7028394. اطلع عليه بتاريخ 2023-12-21.

[:0-1] 1٫0 ^1٫1 خطأ استشهاد: وسم <ref> غير صحيح؛ لا نص تم توفيره للمراجع المسماة :0

[2] Huang، Guang-Bin (2014). "An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels" (PDF). Cognitive Computation. ج. 6 ع. 3: 376–390. DOI:10.1007/s12559-014-9255-2. S2CID:7419259.

[3] Rosenblatt، Frank (1958). "The Perceptron: A Probabilistic Model For Information Storage And Organization in the Brain". Psychological Review. ج. 65 ع. 6: 386–408. CiteSeerX:10.1.1.588.3775. DOI:10.1037/h0042519. PMID:13602029. S2CID:12781225.

[rosenblatt1962-4] Rosenblatt، Frank (1962). Principles of Neurodynamics. Spartan, New York.

[5] Huang، Guang-Bin؛ Zhu، Qin-Yu؛ Siew، Chee-Kheong (2006). "Extreme learning machine: theory and applications". Neurocomputing. ج. 70 ع. 1: 489–501. CiteSeerX:10.1.1.217.3692. DOI:10.1016/j.neucom.2005.12.126. S2CID:116858.

[:4-6] Huang، Guang-Bin; Hongming Zhou; Xiaojian Ding; and Rui Zhang (2012). "Extreme Learning Machine for Regression and Multiclass Classification" (PDF). IEEE Transactions on Systems, Man, and Cybernetics - Part B: Cybernetics. ج. 42 ع. 2: 513–529. CiteSeerX:10.1.1.298.1213. DOI:10.1109/tsmcb.2011.2168604. PMID:21984515. S2CID:15037168. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-19.

[7] Huang، Guang-Bin (2014). "An Insight into Extreme Learning Machines: Random Neurons, Random Features and Kernels" (PDF). Cognitive Computation. ج. 6 ع. 3: 376–390. DOI:10.1007/s12559-014-9255-2. S2CID:7419259.

[8] Huang، Guang-Bin, Qin-Yu Zhu, K. Z. Mao, Chee-Kheong Siew, P. Saratchandran, and N. Sundararajan (2006). "Can Threshold Networks Be Trained Directly?" (PDF). IEEE Transactions on Circuits and Systems-II: Express Briefs. ج. 53 ع. 3: 187–191. DOI:10.1109/tcsii.2005.857540. S2CID:18076010. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-22.

[:1-9] 9٫0 ^9٫1 Huang، Guang-Bin, Lei Chen, and Chee-Kheong Siew (2006). "Universal Approximation Using Incremental Constructive Feedforward Networks with Random Hidden Nodes" (PDF). IEEE Transactions on Neural Networks. ج. 17 ع. 4: 879–892. DOI:10.1109/tnn.2006.875977. PMID:16856652. S2CID:6477031. مؤرشف من الأصل (PDF) في 2017-08-29. اطلع عليه بتاريخ 2017-08-22.

[10] Rahimi، Ali, and Benjamin Recht (2008). "Weighted Sums of Random Kitchen Sinks: Replacing Minimization with Randomization in Learning" (PDF). Advances in Neural Information Processing Systems. ج. 21.

[:2-11] Huang، Guang-Bin, Lei Chen (2007). "Convex Incremental Extreme Learning Machine" (PDF). Neurocomputing. ج. 70 ع. 16–18: 3056–3062. DOI:10.1016/j.neucom.2007.02.009. مؤرشف من الأصل (PDF) في 2017-08-10. اطلع عليه بتاريخ 2017-08-22.

[:3-12] Huang، Guang-Bin, and Lei Chen (2008). "Enhanced Random Search Based Incremental Extreme Learning Machine" (PDF). Neurocomputing. ج. 71 ع. 16–18: 3460–3468. CiteSeerX:10.1.1.217.3009. DOI:10.1016/j.neucom.2007.10.008. مؤرشف من الأصل (PDF) في 2014-10-14. اطلع عليه بتاريخ 2017-08-22.

[13] He، Qing, Xin Jin, Changying Du, Fuzhen Zhuang, Zhongzhi Shi (2014). "Clustering in Extreme Learning Machine Feature Space" (PDF). Neurocomputing. ج. 128: 88–95. DOI:10.1016/j.neucom.2012.12.063. S2CID:30906342.

[14] Kasun، Liyanaarachchi Lekamalage Chamara, Yan Yang, Guang-Bin Huang, and Zhengyou Zhang (2016). "Dimension Reduction With Extreme Learning Machine" (PDF). IEEE Transactions on Image Processing. ج. 25 ع. 8: 3906–3918. Bibcode:2016ITIP...25.3906K. DOI:10.1109/tip.2016.2570569. PMID:27214902. S2CID:1803922.

[:5-15] Huang، Guang-Bin, Zuo Bai, and Liyanaarachchi Lekamalage Chamara Kasun, and Chi Man Vong (2015). "Local Receptive Fields Based Extreme Learning Machine" (PDF). IEEE Computational Intelligence Magazine. ج. 10 ع. 2: 18–29. DOI:10.1109/mci.2015.2405316. S2CID:1417306. مؤرشف من الأصل (PDF) في 2017-08-08. اطلع عليه بتاريخ 2017-08-22.

[:6-16] Tang، Jiexiong, Chenwei Deng, and Guang-Bin Huang (2016). "Extreme Learning Machine for Multilayer Perceptron" (PDF). IEEE Transactions on Neural Networks and Learning Systems. ج. 27 ع. 4: 809–821. DOI:10.1109/tnnls.2015.2424995. PMID:25966483. S2CID:206757279. مؤرشف من الأصل (PDF) في 2017-07-12. اطلع عليه بتاريخ 2017-08-22.

[17] Barak، Omri; Rigotti, Mattia; and Fusi, Stefano (2013). "The Sparseness of Mixed Selectivity Neurons Controls the Generalization-Discrimination Trade-off". Journal of Neuroscience. ج. 33 ع. 9: 3844–3856. DOI:10.1523/jneurosci.2753-12.2013. PMC:6119179. PMID:23447596.

[18] Rigotti، Mattia; Barak, Omri; Warden, Melissa R.; Wang, Xiao-Jing; Daw, Nathaniel D.; Miller, Earl K.; and Fusi, Stefano (2013). "The Importance of Mixed Selectivity in Complex Cognitive Tasks". Nature. ج. 497 ع. 7451: 585–590. Bibcode:2013Natur.497..585R. DOI:10.1038/nature12160. PMC:4412347. PMID:23685452.

[19] Fusi، Stefano, Earl K Miller and Mattia Rigotti (2015). "Why Neurons Mix: High Dimensionality for Higher Cognition" (PDF). Current Opinion in Neurobiology. ج. 37: 66–74. DOI:10.1016/j.conb.2016.01.010. PMID:26851755. S2CID:13897721.

[:29-20] Kutlu، Yakup Kutlu, Apdullah Yayık, and Esen Yıldırım, and Serdar Yıldırım (2017). "LU triangularization extreme learning machine in EEG cognitive task classification". Neural Computation and Applications. ج. 31 ع. 4: 1117–1126. DOI:10.1007/s00521-017-3142-1. S2CID:6572895.

[:30-21] Apdullah Yayık؛ Yakup Kutlu؛ Gökhan Altan (12 يوليو 2019). "Regularized HessELM and Inclined Entropy Measurement forCongestive Heart Failure Prediction". arXiv:1907.05888 [cs.LG]. {{استشهاد بأرخايف}}: الوسيط |arxiv= مطلوب (مساعدة)

[:31-22] Altan، Gökhan Altan, Yakup Kutlu, Adnan Özhan Pekmezci and Apdullah Yayık (2018). "Diagnosis of Chronic Obstructive Pulmonary Disease using Deep Extreme Learning Machines with LU Autoencoder Kernel". International Conference on Advanced Technologies.

[CP_1-23] "Classic Papers: Articles That Have Stood The Test of Time". University of Nottingham. 15 يونيو 2017. اطلع عليه بتاريخ 2023-12-21.

[CPL_1-24] ""List of 10 classic AI papers from 2006"". 2017. اطلع عليه بتاريخ 2023-12-21.

[ELM_1-25] Huang, G.B.؛ Zhu, Q.Y.؛ Siew, C.K. (ديسمبر 2006). "Extreme learning machine: theory and applications". Neurocomputing. ج. 70 ع. 1–3: 489–501. DOI:10.1016/j.neucom.2005.12.126. ISSN:0925-2312. S2CID:116858. اطلع عليه بتاريخ 2023-12-21.

[FA_1-26] Liang, N.Y.؛ Huang, G.B.؛ Saratchandran, P.؛ Sundararajan, N. (نوفمبر 2006). "A fast and accurate online sequential learning algorithm for feedforward networks". IEEE Transactions on Neural Networks. ج. 17 ع. 6: 1411–1423. DOI:10.1109/TNN.2006.880583. PMID:17131657. S2CID:7028394. اطلع عليه بتاريخ 2023-12-21.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]

[16]

[17]

[18]

[19]

[20]

[21]

[22]

[23]

[24]

[25]

[26]

@@ سطر 51: / سطر 51: @@
 \end{matrix}\right]
 </math>
+و<math>\mathbf{T}</math> هي المصفوفة الهدف لبيانات التدريب: <math>{\bf T}=\left[\begin{matrix}
+{\bf t}_1\\
+\vdots\\
+{\bf t}_N
+\end{matrix}\right]
+</math>
+يعد آلة التعلم القصوى عمومًا شبكة عصبونية تنظيمية تتميز بعدم ضبط خرائط طبقتها الخفية. يمكن تشكيل هذه الخرائط باستخدام عُقد خفية عشوائية أو نواة أو تنفيذات أخرى. دالة الهدف لشبكة آلة التعلم القصوى هي:
+<math>
+\text{Minimize: } \|{\boldsymbol \beta}\|_p^{\sigma_1}+C\|{\bf H}{\boldsymbol \beta}-{\bf T}\|_q^{\sigma_2}
+</math>
+حيث <math>\sigma_1>0, \sigma_2>0, p,q=0, \frac{1}{2}, 1, 2, \cdots, +\infty</math>.
+مجموعات مختلفة من <math>\sigma_1</math>, <math>\sigma_2</math>, <math>p</math> و <math>q</math> يمكن تطبيقها على مهام متنوعة، مما ينتج عنه خوارزميات تعلم مختلفة للانحدار والتصنيف والترميز المتفرق والضغط وتعلم الميزات والتجميع.
 ==بُنى آلة التعلم القصوى==