عرض مصدر التحليل الدلالي الكامن

{{كاتب الصفحة}}
[[ملف:التحليل الدلالي الكامن.jpg|تصغير|بديل=التحليل الدلالي الكامن - مشهد تخيلي مولد باستخدام الذكاء الصنعي.|التحليل الدلالي الكامن - مشهد تخيلي مولد باستخدام الذكاء الصنعي.]]
'''التحليل الدلالي الكامن''' {{إنج|Latent semantic analysis (LSA)}} هو تقنية في معالجة اللغة الطبيعية {{إنج|Natural Language Processing (NLP)}} -في مجال الدلالة التوزيعية تحديدًا - تستخدم لتحليل العلاقات بين الوثائق والمصطلحات التي تحتوي عليها. يقوم التحليل الدلالي الكامن بإنشاء مجموعة من المفاهيم -الميزات الكامنة- والتي تعكس المعنى المشترك بين هذه الوثائق والمصطلحات.

يفترض التحليل الدلالي الكامن أن الكلمات ذات المعنى المماثل ستظهر في أجزاء مماثلة من النص (الدلالات التوزيعية). ويستند هذا الافتراض إلى فكرة أن الكلمات ذات المعنى المماثل تميل إلى أن تستخدم في سياقات مماثلة.

تُبنى مصفوفة من نصوص هذه الوثائق تحتوي على عدد الكلمات في كل وثيقة، حيث تمثل الصفوف الكلمات الفريدة وتشير الأعمدة إلى كل وثيقة. وتستخدم في هذا التحليل  تقنية رياضية تُعرف باسم تفريق القيمة المنفردة (SVD) لتقليل عدد الصفوف مع الحفاظ على هيكل التشابه بين الأعمدة.

تُقارن هذه الوثائق بعد ذلك بناءً على تشابه جيب التمام بين أي عمودين. فكلما اقتربت قيمة التشابه من 1 زادت درجة التشابه بين الوثائق، والعكس صحيح.<ref>{{cite journal | title=Latent Semantic Analysis | author=Susan T. Dumais |year=2005 | doi=10.1002/aris.1440380105 | journal=Annual Review of Information Science and Technology | volume=38 | pages=188–230}}</ref>

حصل كل من سكوت ديرويستر وسوزان دومايس وجورج فورناس وريتشارد هارشمان وتوماس لانداور وكارين لوشبوم ولين ستريتر على براءة اختراع تقنية استرجاع المعلومات باستخدام هيكل التحليل الدلالي الكامن في عام 1988 (براءة اختراع أمريكية رقم 4,839,853 منتهية الصلاحية الآن).

يطلق على التحليل الدلالي الكامن في سياق تطبيقه على استرجاع المعلومات اسم الفهرسة الدلالية الكامنة {{إنج|(LSI) latent semantic indexing}}  أحيانًا.<ref>{{cite web | url=http://lsa.colorado.edu/ | title=The Latent Semantic Indexing home page}}</ref>

==نظرة عامة==
===مصفوفة الحدوث===
يمكن للتحليل الدلالي الكامن استخدام مصفوفة الوثائق والمصطلحات وهي مصفوفة رياضية تصف تكرار المصطلحات في مجموعة من الوثائق، وهي مصفوفة متفرقة (متناثرة) تتناغم صفوفها مع المصطلحات وأعمدتها مع الوثائق.

يعتبر "تردد المصطلح - تردد الوثيقة المعكوس" من الأمثلة النموذجية على توزيع عناصر المصفوفة: يتناسب وزن عنصر ما في المصفوفة مع عدد مرات ظهور المصطلحات في كل وثيقة، حيث ترفع أوزان المصطلحات النادرة لتعكس أهميتها النسبية.

تعتبر هذه المصفوفة شائعة أيضًا في النماذج اللفظية القياسية، على الرغم من أنه ليس من الضروري أن تُعبَّر كمصفوفة صراحة، نظرًا لأن الخصائص الرياضية للمصفوفات لا تستخدم فيها دائمًا.

===خفض الرتبة===
يجد التحليل الدلالي الكامن بعد إنشاء مصفوفة التكرار تقريبًا مُنخفض الرتبة لمصفوفة المصطلحات-المستندات.<ref>Markovsky I. (2012) Low-Rank Approximation: Algorithms, Implementation, Applications, Springer, 2012, {{ISBN|978-1-4471-2226-5}}</ref> ويُعزى ذلك لأسباب مختلفة لهذه التقريبات:

* يَفترض التحليل أن مصفوفة المصطلحات-المستندات الأصلية كبيرة جدًا بالنسبة لموارد الحوسبة ؛ وتُفسر مصفوفة الرتبة المنخفضة في هذه الحالة بتقدير تقريبي (أقل شر ضروري).
* يَفترض التحليل أن مصفوفة المصطلحات-المستندات الأصلية مشوشة: على سبيل المثال، يجب إزالة الحالات القصصية للمصطلحات. وتُفسر المصفوفة المقدرة كمصفوفة خالية من التشويش (مصفوفة أفضل من المصفوفة الأصلية).
* يُفترض أن مصفوفة المصطلحات-المستندات الأصلية متفرقة للغاية بالنسبة إلى مصفوفة المصطلحات-المستندات "الحقيقية". وهذا يعني أن المصفوفة الأصلية تسرد فقط الكلمات الموجودة بالفعل في كل مستند، بينما أننا قد نكون مهتمين بجميع الكلمات المتعلقة بكل مستند - وهي مجموعة أكبر بكثير عموما بسبب الترادفات في المعاني.

يؤدي خفض الرتبة إلى دمج بعض الأبعاد وجعلها تعتمد على أكثر من مصطلح واحد.

على سبيل المثال، يمكن أن يتحول التسلسل التالي:

{(سيارة) ، (شاحنة) ، (زهرة)} إلى 

{(1.3452 * سيارة + 0.2828 * شاحنة) ، (زهرة)}

يساعد خفض الرتبة على حل مشكلة تحديد المترادفات من خلال دمج الأبعاد المرتبطة بالمصطلحات التي لها معاني متشابهة. كما أنه يقلل من مشكلة المشتركات اللفظية من خلال إضافة مكونات الكلمات متعددة المعاني التي تشير إلى الاتجاه "الصحيح" إلى مكونات الكلمات التي تشترك في المعنى. وفي المقابل، تميل العناصر التي تشير إلى اتجاهات غير مقصودة إلى الانحسار أو أن تكون أقل أهمية من العناصر التي تشير إلى الاتجاه المقصود.

===الاشتقاق===
لنفترض أن<math>X</math> هي مصفوفة حيث يصف العنصر <math>(i,j)</math> حدوث المصطلح <math>i</math> في الوثيقة <math>j</math> (التردد على سبيل المثال). <math>X</math> ستبدو المصفوفة كمايلي:

<math>
\begin{matrix} 
 & \textbf{d}_j \\
 & \downarrow \\
\textbf{t}_i^T \rightarrow &
\begin{bmatrix} 
x_{1,1} & \dots & x_{1,j} & \dots & x_{1,n} \\
\vdots & \ddots & \vdots & \ddots & \vdots \\
x_{i,1} & \dots & x_{i,j} &  \dots & x_{i,n} \\
\vdots & \ddots & \vdots & \ddots & \vdots \\
x_{m,1} & \dots & x_{m,j} & \dots & x_{m,n} \\
\end{bmatrix}
\end{matrix}
</math>

سيكون الصف في هذه المصفوفة الآن متجها يتوافق مع مصطلح ما، مع ذكر علاقته بكل وثيقة:

<math>\textbf{t}_i^T = \begin{bmatrix} x_{i,1} & \dots & x_{i,j} & \dots & x_{i,n} \end{bmatrix}</math>

وبالمثل، سيكون العمود في هذه المصفوفة متجها يتوافق مع مستند ما، مع ذكر علاقته بكل مصطلح:

<math>\textbf{d}_j = \begin{bmatrix}
x_{1,j} \\
\vdots \\
x_{i,j} \\
\vdots \\
x_{m,j} \\
 \end{bmatrix}</math>

يعطي حاصل الجداء النقطي <math>\textbf{t}_i^T \textbf{t}_p</math> بين متجهي مصطلحين معامل الارتباط بين المصطلحات على مجموعة الوثائق. 

ويحتوي حاصل ضرب المصفوفات <math>X X^T</math> كل حواصل الجداء النقطي. يحتوي العنصر <math>(i,p)</math> (الذي يساوي العنصر <math>(p,i)</math>) حاصل الجداء النقطي:

(<math> = \textbf{t}_p^T \textbf{t}_i</math>)<math>\textbf{t}_i^T \textbf{t}_p</math>

وبالمثل، تحتوي المصفوفة <math>X^T X</math> على حاصل الجداء النقطي بين جميع متجهات الوثيقة، ما يعطي ارتباطها بالمصطلحات: <math>\textbf{d}_j^T \textbf{d}_q = \textbf{d}_q^T \textbf{d}_j</math>.

واستنادا إلى نظرية الجبر الخطي، هنالك تحليل ل <math>X</math> بحيث تكون <math>U</math> و <math>V</math> مصفوفة متعامدة و <math> Sigma</math> هي مصفوفة قطرية. وهذا ما يطلق عليه اسم تفريق القيمة المنفردة:

<math>
\begin{matrix}
X = U \Sigma V^T
\end{matrix}
</math>

ويصبح حاصل جداء المصفوفة الذي يعطي المصطلح وارتباط المستند:

<math>
\begin{matrix}
X X^T &=& (U \Sigma V^T) (U \Sigma V^T)^T = (U \Sigma V^T) (V^{T^T} \Sigma^T U^T) = U \Sigma V^T V \Sigma^T U^T = U \Sigma \Sigma^T U^T  \\
X^T X &=& (U \Sigma V^T)^T (U \Sigma V^T) = (V^{T^T} \Sigma^T U^T) (U \Sigma V^T) = V \Sigma^T U^T U \Sigma V^T = V \Sigma^T \Sigma V^T
\end{matrix}
</math>

نظرا لأن <math>\Sigma \Sigma^T</math> و<math>\Sigma^T \Sigma</math> قطريان، نرى أن <math>U</math> يجب أن تحتوي على المتجه الذاتي ل <math>X X^T</math>، بينما يجب أن تكون <math>V</math> هي المتجهات الذاتية ل <math>X^T X</math>. كلا الجدائين لهما نفس القيم الذاتية غير الصفرية، المعطاة من خلال الإدخالات غير الصفرية ل <math>\Sigma \Sigma^T</math>، أو بالتساوي، من خلال الإدخالات غير الصفرية ل <math>\Sigma^T\Sigma</math>.

سيبدو التحليل الآن كمايلي:

<math>
\begin{matrix} 
 & X & & & U & & \Sigma & & V^T \\
 & (\textbf{d}_j) & & & & & & & (\hat{\textbf{d}}_j) \\
 & \downarrow & & & & & & & \downarrow \\
(\textbf{t}_i^T) \rightarrow 
&
\begin{bmatrix}
x_{1,1} & \dots & x_{1,j} & \dots & x_{1,n} \\
\vdots & \ddots & \vdots & \ddots & \vdots \\
x_{i,1} & \dots & x_{i,j} &  \dots & x_{i,n} \\
\vdots & \ddots & \vdots & \ddots & \vdots \\
x_{m,1} & \dots & x_{m,j} & \dots & x_{m,n} \\
\end{bmatrix}
&
=
&
(\hat{\textbf{t}}_i^T) \rightarrow
&
\begin{bmatrix} 
\begin{bmatrix} \, \\ \, \\ \textbf{u}_1 \\ \, \\ \,\end{bmatrix} 
\dots
\begin{bmatrix} \, \\ \, \\ \textbf{u}_l \\ \, \\ \, \end{bmatrix}
\end{bmatrix}
&
\cdot
&
\begin{bmatrix} 
\sigma_1 & \dots & 0 \\
\vdots & \ddots & \vdots \\
0 & \dots & \sigma_l \\
\end{bmatrix}
&
\cdot
&
\begin{bmatrix} 
\begin{bmatrix} & & \textbf{v}_1 & & \end{bmatrix} \\
\vdots \\
\begin{bmatrix} & & \textbf{v}_l & & \end{bmatrix}
\end{bmatrix}
\end{matrix}
</math>

تدعى القيم <math>\sigma_1, \dots, \sigma_l</math> بالقيم الفردية، و <math>u_1, \dots, u_l</math> و <math>v_1, \dots, v_l</math> بالمتجهات المنفردة اليمنى واليسرى. لاحظ أن الجزء الوحيد من <math>U</math> الذي يساهم في <math>\textbf{t}_i</math> هو الصف <math>i\textrm{'th}</math>. وليكن اسم متجه الصف هذا <math>\hat{\textrm{t}}^T_i</math>. وبالمثل، فإن الجزء الوحيد من <math>V^T</math> الذي يساهم في <math>\textbf{d}_j</math> هو العمود <math>j\textrm{'th}</math>، <math>\hat{ \textrm{d}}_j</math>. وهي ليست متجهات ذاتية، ولكنها تعتمد على جميع المتجهات الذاتية.

يتضح أنه عند تحديد أكبر قيم منفردة ل <math>k</math>، والمتجهات الفردية المقابلة لها من <math>U</math> و <math>V</math>، فسنحصل على تقريب ترتيب رتبة <math>k</math> إلى <math>X</math> مع أصغر هامش خطأ (قاعدة فروبينوس).

يوفر هذا التقريب الحد الأدنى من الخطأ، مما يسهل التعامل مع المصطلح وتوثيق المتجهات على أنها "[[الفضاء الدلالي|فضاء دلالي]]".

ومن ثم سيحتوي متجه صف "المصطلح" <math>hat{textbf{t}}^T_i</math> على إدخالات <math>k</math> لتربطه إلى فضاء ذي أبعاد أقل. 

لا تتعلق هذه الأبعاد الجديدة بأي مفاهيم مفهومة، بل هي مجرد تقريب أقل بعدا للفضاء ذي الأبعاد الأعلى. وبالمثل ، فإن متجه "الوثيقة" <math>hat{textbf{d}}_j</math> هو تقريب في هذا الفضاء ذي الأبعاد الأدنى. نكتب هذا التقريب على النحو التالي:

<math>X_k = U_k \Sigma_k V_k^T</math>

يمكنك الآن القيام بمايلي:

* التعرف على كيفية وجود المستندات ذات الصلة <math>j</math> و<math>q</math> في الفضاء منخفض الأبعاد من خلال مقارنة المتجهات <math>\Sigma_k \cdot \hat{\textbf{d}}_j </math> و <math>\Sigma_k \cdot \hat{\textbf{d}}_q </math> من خلال (نموذج الفضاء المتجه-تشابه جيب التمام).
* مقارنة المصطلحين <math>i</math> و<math>p</math> من خلال مقارنة المتجهين <math>\Sigma_k \cdot \hat{\textbf{t}}_i</math> و<math>\ Sigma_k \cdot \hat{\textbf{t}}_p</math>. لاحظ أن <math>\hat{\textbf{t}}</math> أصبح الآن متجه عمود.
* يمكن تجميع الوثائق وتمثيلات متجهات المصطلحات باستخدام خوارزميات التجميع التقليدية مثل خوارزمية "k-means" التصنيفية باستخدام مقاييس تشابه جيب التمام.
* بالنسبة إلى استعلام ما، استعراض الاستعلام كمستند صغير، ومقارنته بالوثائق في الفضاء منخفض الأبعاد.

للقيام بهذا الأخير، يجب عليك أولا ترجمة استعلامك إلى فضاء منخفض الأبعاد، ومن البديهي بعد ذلك أنه يجب عليك استخدام نفس التحويل الذي استخدمته على الوثائق:

<math>\hat{\textbf{d}}_j = \Sigma_k^{-1}U_k^T{\textbf{d}}_j </math>

لاحظ هنا أنه يمكننا استخلاص معكوس المصفوفة القطرية <math>Sigma_k</math> من خلال عكس كل قيمة غير صفرية داخل المصفوفة.

هذا يعني أنه إذا كان لديك متجه استعلام <math>q</math>، فيجب عليك ترجمة <math>\hat{\textbf{q}} = \Sigma_k^{-1} U_k^T \textbf{q}</math> قبل مقارنتها بمتجهات المستند في الفضاء منخفض الأبعاد. يمكنك القيام بنفس الأمر مع المتجهات ذات المدى الزائف:

<math>\textbf{t}_i^T = \hat{\textbf{t}}_i^T \Sigma_k V_k^T</math>

<math>\hat{\textbf{t}}_i^T = \textbf{t}_i^T V_k^{-T} \Sigma_k^{-1} = \textbf{t}_i^T V_k \Sigma_k^{-1}</math>

<math>\hat{\textbf{t}}_i = \Sigma_k^{-1}  V_k^T \textbf{t}_i</math>

==تطبيقات التحليل الدلالي الكامن==
يمكن استخدام الفضاء الجديد ذي الأبعاد المنخفضة في مجموعة متنوعة من التطبيقات، بما في ذلك:

* '''مقارنة الوثائق:''' يمكن استخدام الفضاء ذي الأبعاد المنخفضة لمقارنة الوثائق بناءً على محتوى الكلمات التي تحتوي عليها. يمكن أن يكون هذا مفيدًا في مجموعة متنوعة من التطبيقات، مثل تجميع البيانات وتصنيف الوثائق.
* '''البحث عن وثائق مماثلة عبر اللغات:''' وذلك بعد تحليل مجموعة أساسية من الوثائق المترجمة. يُعرف هذا النوع من البحث باسم استرجاع المعلومات عبر اللغات.
* '''علاقة المصطلحات:''' البحث عن العلاقات بين المصطلحات (المترادفات وتعدد المعاني).
* '''استعلام المصطلحات:''' ترجمتة استعلام المصطلحات إلى فضاء منخفض الأبعاد، والبحث عن المستندات المطابقة (استرجاع المعلومات).
* '''التشابه الدلالي:''' البحث عن أقوى تشابه دلالي بين مجموعات صغيرة من المصطلحات، باستخدام سياق مجموعة المعرفة، مثلما يحدث في نماذج الإجابة على الأسئلة متعددة الخيارات.<ref name="Alain2009">{{cite journal | url=http://hal.archives-ouvertes.fr/docs/00/38/41/43/PDF/eLSA1-brm20.pdf | title=Effect of tuned parameters on an LSA multiple choice questions answering model |author1=Alain Lifchitz |author2=Sandra Jhean-Larose |author3=Guy Denhière | journal=Behavior Research Methods | volume=41 | issue=4 | pages=1201–1209 | year=2009  | doi=10.3758/BRM.41.4.1201 | pmid=19897829 | arxiv=0811.0146 | s2cid=480826 | doi-access=free }}</ref>
* توسيع فضاءالميزات لأنظمة تعلم الآلة/التنقيب في النصوص.<ref name="Galvez2017">{{cite journal | title=Assessing the usefulness of online message board mining in automatic stock prediction systems |author1=Ramiro H. Gálvez |author2=Agustín Gravano | journal=Journal of Computational Science | volume=19 | pages=1877–7503 | year=2017  | doi=10.1016/j.jocs.2017.01.001}}</ref>
* تحليل ارتباط الكلمات في متن النصوص.<ref name="Altszyler2017">{{cite journal | title=The interpretation of dream meaning: Resolving ambiguity using Latent Semantic Analysis in a small corpus of text |author1=Altszyler, E. |author2=Ribeiro, S. | author3= Sigman, M.|author4=Fernández Slezak, D. | journal=Consciousness and Cognition | volume=56 | pages=178–187 | year=2017 | doi=10.1016/j.concog.2017.09.004| pmid=28943127 | arxiv=1610.01520 |s2cid=195347873 }}</ref>

تعتبر المرادفات وتعددية المعاني من المشاكل الأساسية في معالجة اللغة الطبيعية:

* الترادف هو ظاهرة حيث تصف كلمات مختلفة نفس الفكرة. وبالتالي ، قد تفشل الاستعلامات في محرك البحث في استرداد مستند ذي صلة لا يحتوي على الكلمات التي ظهرت في الاستعلام. على سبيل المثال، قد لا يعيد البحث عن "طبيب" مستندًا يحتوي على كلمة "دكتور"، على الرغم من أن الكلمتين لهما نفس المعنى.
* تعدد المعاني هو الظاهرة التي تحمل فيها الكلمة الواحدة معاني متعددة. لذلك قد يؤدي البحث إلى استرداد مستندات غير ذات صلة تحتوي على الكلمات المطلوبة بالمعنى الخاطئ. على سبيل المثال ، من المحتمل أن يبحث عالم النبات ومبرمجوا الكمبيوتر عن كلمة "شجرة" لأغراض مختلفة.

===التطبيقات التجارية===
استخدم التحليل الدلالي الكامن للمساعدة في إجراء عمليات بحث عن براءات الاختراع السابقة.<ref name="Gerry2007">{{Cite journal | author=Gerry J. Elman | title=Automated Patent Examination Support - A proposal | journal=Biotechnology Law Report | date=October 2007 | doi=10.1089/blr.2007.9896 | volume=26 | issue=5 | pages=435–436 }}</ref>

===تطبيقات التحليل الدلالي الكامن على الذاكرة البشرية===
شاع استخدام التحليل الدلالي الكامن في الذاكرة البشرية، وخاصة في مجالات التذكر الحر والبحث في الذكريات. وبحسب قياسات التحليل الدلالي الكامن، توجد هناك علاقة إيجابية بين التشابه الدلالي لكلمتين واحتمالية استدعاء الكلمات واحدة تلو الأخرى في مهام التذكر الحر باستخدام قوائم أسماء شائعة عشوائية. 

ولوحظ أنه في هذه الحالات، كان وقت الاستجابة المتبادل بين الكلمات المتشابهة أسرع بكثير من الوقت بين الكلمات غير المتشابهة. يشار إلى هذه النتائج باسم التأثير الدلالي للقرب.<ref>{{cite journal | url=http://psycnet.apa.org/journals/xlm/25/4/923.pdf | title=Contextual Variability and Serial Position Effects in Free Recall |author1=Marc W. Howard |author2=Michael J. Kahana |year=1999}}</ref>

عندما أخطأ المشاركون في هذه التجربة في تذكر العناصر المدروسة، مالت أخطاؤهم إلى أن تكون عناصر أكثر ارتباطا من الناحية الدلالية بالعنصر المطلوب وموجودة في قائمة مدروسة مسبقا. ويبدو أن اقحام القائمة السابقة هذه، كما أصبحت تسمى، تنافس مع العناصر الموجودة في قائمة التذكر الحالية عند المشاركين.<ref>{{cite conference| url=https://memory.psych.upenn.edu/files/pubs/ZaroEtal06.pdf | title=Temporal Associations and Prior-List Intrusions in Free Recall | author=Franklin M. Zaromb| conference=Interspeech'2005|year=2006|display-authors=etal}}</ref>

هنالك نموذج آخر أيضًا في دراسات الذاكرة يسمى فضاءات الارتباط بالكلمات {{إنج|Word Association Spaces (WAS)}}، من خلال جمع بيانات الارتباط الحر من سلسلة من التجارب والتي تتضمن مقاييس لترابط الكلمات لأكثر من 72,000 زوج من الكلمات المميزة.<ref>{{cite web|last=Nelson|first=Douglas|title=The University of South Florida Word Association, Rhyme and Word Fragment Norms|url=http://w3.usf.edu/FreeAssociation/Intro.html|access-date=May 8, 2011}}</ref>

==التنفيذ==
يجري تفريق القيمة المنفردة عادة باستخدام أساليب المصفوفة الكبيرة (خوارزمية لانكزوس) ويمكن أيضا حسابها تدريجيا باستخدام متطلبات موارد حوسبية منخفضة عبر نهج يشبه الشبكة العصبية، والذي لا يتطلب الاحتفاظ بالمصفوفة الكبيرة كاملة الرتبة في الذاكرة.<ref name="Genevi2005">{{cite conference | url=http://www.dcs.shef.ac.uk/~genevieve/gorrell_webb.pdf | title=Generalized Hebbian Algorithm for Latent Semantic Analysis | author1=Geneviève Gorrell | author2=Brandyn Webb | book-title=Interspeech'2005 | year=2005 | url-status=dead | archive-url=https://web.archive.org/web/20081221063926/http://www.dcs.shef.ac.uk/~genevieve/gorrell_webb.pdf | archive-date=2008-12-21 }}</ref>

طورت مؤخرا خوارزمية لتفريق القيمة المنفردة، سريعة وتزايدية وتتطلب موارد ذاكرة منخفضة ومخصصة للمصفوفات الكبيرة.<ref name="brand2006">{{cite journal | url=http://www.merl.com/reports/docs/TR2006-059.pdf | title=Fast Low-Rank Modifications of the Thin Singular Value Decomposition | author=Matthew Brand | journal=Linear Algebra and Its Applications | volume=415 | pages=20–30 | year=2006 | doi=10.1016/j.laa.2005.07.021 | doi-access=free }}</ref> وتتوفر تطبيقات ماتلاب (MATLAB) و بايثون (Python) لهذه الخوارزميات السريعة.

وفرت خوارزمية براند (2003) حلاً دقيقًا على النقيض من التقريب العشوائي الذي اقترحه جوريل وويب (2005). وأحرز تقدم كبير في السنوات الأخير لتقليل التعقيد الحسابي لتفريق القيمة المنفردة. على سبيل المثال وباستخدام خوارزمية (ARPACK) المتوازية لإجراء تفريق قيمة ذاتية متوازية، من الممكن تسريع حساب تفريق القيمة المنفردة مع توفير جودة تنبؤ مماثلة.<ref>{{cite book | doi = 10.1109/ICCSNT.2011.6182070 | pages=739–741 | year=2011 | last1 = Ding | first1 = Yaguang | last2 = Zhu | first2 = Guofeng | last3 = Cui | first3 = Chenyang | last4 = Zhou | first4 = Jian | last5 = Tao | first5 = Liang| title=Proceedings of 2011 International Conference on Computer Science and Network Technology | chapter=A parallel implementation of Singular Value Decomposition based on Map-Reduce and PARPACK | isbn=978-1-4577-1587-7 | s2cid=15281129 }}</ref>

===المحدودية===
* قد يكون من الصعب تفسير الأبعاد الناتجة. على سبيل المثال: 
:: {(سيارة)، (شاحنة)، (زهرة)} ↦  {(1.3452 * سيارة + 0.2828 * شاحنة), (زهرة)}
:(1.3452 * سيارة + 0.2828 * شاحنة) يمكن تفسير المكون على أنه "مركبة". على اي حال، فمن المحتمل جدا أن تحصل الحالات القريبة من
:: {(سيارة), (زجاجة), (زهرة)} ↦  {(1.3452 * سيارة + 0.2828 * '''زجاجة'''), (زهرة)}.

تؤدي هذه النتائج إلى علاقات رياضية يمكن تفسيرها، ولكنها ليست واضحة في اللغة الطبيعية. ومع ذلك، يمكن تفسير المكون (1.3452 * سيارة + 0.2828 * زجاجة) لأن كلا من الزجاجات والسيارات مصنوعة من مواد شفافة وغير شفافة، وهي مصنوعة من قبل الإنسان، ومن المرجح أن تحتوي على شعارات أو كلمات على سطحها..<ref name=":0">{{Cite journal|last1=Deerwester|first1=Scott|last2=Dumais|first2=Susan T.|last3=Furnas|first3=George W.|last4=Landauer|first4=Thomas K.|last5=Harshman|first5=Richard|date=1990|title=Indexing by latent semantic analysis|journal=Journal of the American Society for Information Science|volume=41|issue=6|pages=391–407|citeseerx=10.1.1.108.8490|doi=10.1002/(SICI)1097-4571(199009)41:6<391::AID-ASI1>3.0.CO;2-9}}</ref>
لذلك، يمكن القول أن هذين المفهومين "يشتركان في الدلالات". أي أنه قد لا توجد كلمة واحدة في اللغة المعنية تصفهما تماما، وقد تتطلب عملية التفسير فهمًا أعمق للسياق.

* يواجه التحليل الدلالي الكامن من صعوبات في قدرته على التفريق بين المعاني المختلفة للكلمة الواحدة. وذلك لأن التحليل الدلالي الكامن يمثل كل كلمة كنقطة واحدة في الفضاء، مما يعني أن كل ظهور للكلمة يعامل على أنه له نفس المعنى. على سبيل المثال، يعتبر التحليل الدلالي الكامن حدوث "كرسي الرئاسة" في وثيقة تحتوي على "رئيس كرسي المجلس" وفي وثيقة منفصلة تحتوي على "صانع الكرسي" هو نفسه.
:وهذا يؤدي إلى أن يكون تمثيل المتجه للكلمة متوسطًا لجميع المعاني المختلفة للكلمة في المجموعة، مما قد يجعل من الصعب المقارنة بين الكلمات. ومع ذلك، يمكن أن يقلل تأثير هذه المشكلة إلى حد كبير في حالة الكلمات التي لها معنى سائد في جميع أنحاء المجموعة.
* نموذج حقيبة الكلمات (BOW) له قيود، حيث أنه يمثل النص كمجموعة غير مرتبة من الكلمات.<ref>{{cite journal|title=Empirical study using network of semantically related associations in bridging the knowledge gap|first1=Vida|last1=Abedi|first2=Mohammed|last2=Yeasin|first3=Ramin|last3=Zand|date=27 November 2014|volume=12|issue=1|pages=324|doi=10.1186/s12967-014-0324-9|pmid=25428570|pmc=4252998|journal=Journal of Translational Medicine |doi-access=free }}</ref>
* يفترض التحليل الدلالي الكامن أن الكلمات والوثائق تشكل نموذج توزيع احتمالي طبيعي (توزيع غاوس) مشتركا (فرضية إرغوديك). ومع ذلك، لوحظ أن البيانات المرصودة تتوافق بشكل أفضل مع نموذج توزيع بواسون (قانون بواسون للأعداد الصغيرة).
:طور بديل حديث للتحليل الدلالي الكامن، يسمى التحليل الدلالي الكامن الاحتمالي، والذي يستند إلى نموذج متعدد الحدود. يُزعم أن هذا النموذج الجديد يعطي نتائج أفضل من التحليل الدلالي الكامن القياسي.<ref name="Thomas1999">{{cite conference|title=Probabilistic Latent Semantic Analysis|author=Thomas Hofmann|book-title=Uncertainty in Artificial Intelligence|year=1999|arxiv = 1301.6705}}</ref>

==الطرق البديلة==
===التجزئة الدلالية===
تربط الوثائق في التجزئة الدلالية إلى عناوين الذاكرة بواسطة شبكة عصبية ربطا يجعل الوثائق المتشابهة دلالياً قريبة من بعضها البعض. تقوم الشبكة العصبية العميقة بإنشاء نموذج رسومي لمتجهات عدد الكلمات المستمدة من مجموعة كبيرة من الوثائق.

يمكن بعد ذلك العثور على الوثائق المماثلة لمستند الاستعلام ببساطة عن طريق الوصول إلى جميع العناوين التي تختلف عن عنوان مستند الاستعلام ببضعة بتات فقط. تعتبر هذه الطريقة التي تعتمد على توسيع كفاءة الترميز المتجانس للتقريب المطابق أسرع بكثير من التجزئة الحساسة للموقع، وهي أسرع طريقة حالية.
===الفهرسة الدلالية الكامنة===
الفهرسة الدلالية الكامنة {{إنج|Latent semantic indexing (LSI)}} هي طريقة للفهرسة والاسترداد تستخدم تقنية رياضية تسمى تفريق القيمة المنفردة لتحديد الأنماط في العلاقات بين المصطلحات والمفاهيم الموجودة في مجموعة غير مهيكلة من النصوص.

تستند الفهرسة الدلالية الكامنة على مبدأ أن الكلمات المستخدمة في نفس السياقات تميل إلى أن تكون ذات معانٍ متشابهة. وتتمثل الميزة الرئيسة للفهرسة الدلالية الكامنة في قدرتها على استخراج المحتوى المفاهيمي لنص معين من خلال إنشاء ارتباطات بين تلك المصطلحات التي تظهر في سياقات متشابهة.<ref name=deerwester1988>Deerwester, S., et al, Improving Information Retrieval with Latent Semantic Indexing, Proceedings of the 51st Annual Meeting of the American Society for Information Science 25, 1988, pp. 36–40.</ref>

تُعدُّ الفهرسة الدلالية الكامنة تطبيقًا آخر لتحليل المراسلات، وهي تقنية إحصائية متعددة المتغيرات طورها جان بول بينزكري في أوائل سبعينيات القرن الماضي.<ref>{{ cite book
 | author = Benzécri, J.-P.
 | publisher=Dunod |location= Paris, France
 | year = 1973
 | title = L'Analyse des Données. Volume II. L'Analyse des Correspondences
 }}</ref>

أطلق عليه اسم "الفهرسة الدلالية الكامنة" بسبب قدرته على ربط المصطلحات ذات الصلة الدلالية التي لا تظهر ظهورًا مباشرا في مجموعة من النصوص، وقد طبق لأول مرة على النصوص في شركة بيلكور أواخر الثمانينيات.

كما أن الطريقة المسماة أيضًا بالتحليل الدلالي الكامن (LSA)، تكشف عن الهيكل الدلالي الكامن الأساسي في استخدام الكلمات في مجموعة من النصوص وكيف يمكن استخدامها لاستخراج معنى النص استجابةً لاستفسارات المستخدم، والتي يشار إليها عادةً بالبحث عن المفاهيم.

سترجع الاستفسارات أو عمليات البحث عن المفاهيم على مجموعة من المستندات التي خضعت للفهرسة الدلالية الكامنة نتائج متشابهة مفهوميًا في المعنى مع معايير البحث حتى لو لم تشارك النتائج كلمة أو كلمات محددة مع معايير البحث.

==فوائد الفهرسة الدلالية الكامنة==
تساعد الفهرسة الدلالية الكامنة في التغلب على الترادفات بزيادة دقة استرجاع المعلومات، وهو أحد أكثر القيود إشكالية في استعلامات الكلمات الرئيسية المنطقية ونماذج الفضاء المتجهي.<ref name=":0" />
يحدث الترادف عندما يكون لكلمة أو عبارة أكثر من معنى واحد، مما قد يؤدي إلى عدم التطابق بين المفردات التي استخدمها مؤلفوا الوثائق ومستخدموا أنظمة استرجاع المعلومات. وقد تؤدي الاستعلامات المنطقية أو الكلمات الرئيسية نتيجة لذلك إلى نتائج غير ذات صلة أو إلى فقدان معلومات ذات صلة.<ref>{{Cite journal | last1 = Furnas | first1 = G. W. | last2 = Landauer | first2 = T. K. | last3 = Gomez | first3 = L. M. | last4 = Dumais | first4 = S. T. | title = The vocabulary problem in human-system communication | doi = 10.1145/32206.32212 | journal = Communications of the ACM | volume = 30 | issue = 11 | pages = 964–971 | year = 1987 | citeseerx = 10.1.1.118.4768 | s2cid = 3002280 }}</ref>

تستخدم الفهرسة الدلالية الكامنة أيضًا في تصنيف المستندات تلقائيًا. وقد أظهرت العديد من التجارب أن هناك بعض أوجه التشابه بين الطريقة التي تعالج بها الفهرسة الدلالية الكامنة والبشر النص وآلية تصنيفه.

تصنيف المستندات هو عملية تخصيص المستندات إلى فئة واحدة أو أكثر محددة مسبقًا بناءً على تشابهها مع المحتوى المفاهيمي للفئات. تستخدم الفهرسة الدلالية الكامنة أمثلة على المستندات لإنشاء الأساس المفاهيمي لكل فئة.

تقارن المفاهيم الواردة في الوثائق أثناء عملية التصنيف بالمفاهيم الواردة في أمثلة الوثائق. وتُعين فئة (أو فئات) للوثائق بناءً على أوجه التشابه بين المفاهيم التي تحتوي عليها والمفاهيم المضمنة في أمثلة الوثائق.

يمكن أيضًا تحقيق التجميع الديناميكي المستند إلى المحتوى المفاهيمي للوثائق باستخدام الفهرسة الدلالية الكامنة. وهو عملية ربط المستندات بناءً على تشابهها المفاهيمي، دون استخدام أمثلة للوثائق لإنشاء الأساس المفاهيمي لكل مجموعة. يعتبر التجميع الديناميكي مفيدًا جدًا عند التعامل مع مجموعة غير معروفة من النصوص العشوائية.

تعتمد الفهرسة الدلالية الكامنة في جوهرها على استقلالها عن اللغة، وذلك بفضل استخدامها لنهج رياضي صارم. هذا يعني أنها يمكنها استخلاص المحتوى الدلالي للمعلومات المكتوبة بأي لغة، دون الحاجة إلى استخدام هياكل إضافية مثل القواميس أوالمراجع.

كما يمكن للفهرسة الدلالية الكامنة أداء البحث عن المفاهيم عبر اللغات والتصنيف بناءا على الأمثلة. على سبيل المثال، يمكن إجراء استعلام بلغة واحدة، مثل الإنجليزية، وسترجع نتائج مماثلة من الناحية المفاهيمية حتى إذا كانت مكتوبة بلغة مختلفة تمامًا أو بلغات متعددة.

الفهرسة الدلالية الكامنة هي تقنية تحليلية يمكنها فهم معنى النص، وليس مجرد مطابقة الكلمات. يمكن استخدامها لمعالجة أي كائن يمكن التعبير عنه كنص، بما في ذلك سلاسل الأحرف الاعتباطية.

على سبيل المثال، أظهرت الاختبارات باستخدام ملخصات ميدلاين أن الفهرسة الدلالية الكامنة يمكنها أن تصنف الجينات تصنيفا فعالا. وذلك لأنها يمكنها فهم المعلومات البيولوجية المحتواة في عناوين وملخصات الاستشهادات في ميدلاين، مثل الوظائف البيولوجية للجين وتفاعلاته مع الجينات الأخرى.<ref>{{Cite journal | last1 = Homayouni | first1 = R. | last2 = Heinrich | first2 = K. | last3 = Wei | first3 = L. | last4 = Berry | first4 = M. W. | title = Gene clustering by Latent Semantic Indexing of MEDLINE abstracts | doi = 10.1093/bioinformatics/bth464 | journal = Bioinformatics | volume = 21 | issue = 1 | pages = 104–115 | year = 2004 | pmid =  15308538| doi-access = free }}</ref>

تتكيف الفهرسة الدلالية الكامنة تلقائيًا مع المصطلحات الجديدة والمتغيرة، كما أنها متسامحة مع الضوضاء، مثل الأخطاء الإملائية والمطبعية والرموز غير القابلة للقراءة. هذا يجعلها تقنية مفيدة لتطبيقات التعرف الضوئي على الحروف (OCR) وتحويل النص إلى كلام. بالإضافة إلى ذلك، يمكن استخدام الفهرسة الدلالية الكامنة بفعالية مع البيانات المتفرقة والغامضة والمتناقضة.<ref>{{Cite book | last1 = Price | first1 = R. J. | last2 = Zukas | first2 = A. E. | chapter = Application of Latent Semantic Indexing to Processing of Noisy Text | doi = 10.1007/11427995_68 | title = Intelligence and Security Informatics | series = Lecture Notes in Computer Science | volume = 3495 | pages = 602 | year = 2005 | isbn = 978-3-540-25999-2 }}</ref>

الفهرسة الدلالية الكامنة هي تقنية قوية يمكن استخدامها لتحليل وفهم معنى النص. ولا تتطلب هذه التقنية أن يكون النص مكتوباً بصيغة جملة، بل يمكن أن تعمل مع مجموعة متنوعة من التنسيقات النصية، بما في ذلك القوائم والملاحظات والبريد الإلكتروني والمحتوى القائم على الويب.

يمكن استخدام الفهرسة الدلالية الكامنة لتحديد الأنماط في العلاقات بين المصطلحات والمفاهيم الهامة الموجودة في النصوص طالما أن مجموعة النصوص هذه تحتوي على مصطلحات متعددة.

أثبتت الفهرسة الدلالية الكامنة أنها حل مفيد للعديد من مشاكل المطابقة المفاهيمية..<ref>Ding, C., [https://cloudfront.escholarship.org/dist/prd/content/qt0713n15c/qt0713n15c.pdf A Similarity-based Probability Model for Latent Semantic Indexing], Proceedings of the 22nd International ACM SIGIR Conference on Research and Development in Information Retrieval, 1999, pp. 59–65.</ref><ref>Bartell, B., Cottrell, G., and Belew, R., [http://www.academia.edu/download/31070610/latent_semantic_indexing_is_an_optimal_special_case_of_multidimensional.pdf Latent Semantic Indexing is an Optimal Special Case of Multidimensional Scaling]{{dead link|date=July 2022|bot=medic}}{{cbignore|bot=medic}}, Proceedings, ACM SIGIR Conference on Research and Development in Information Retrieval, 1992, pp. 161–167.</ref> وقد ثبت أن هذه التقنية تلتقط المعلومات الرئيسية للعلاقة، بما في ذلك المعلومات السببية والموجهة نحو الهدف والمعلومات التصنيفية.<ref>{{cite journal|author1=Graesser, A. |author2=Karnavat, A.|title=Latent Semantic Analysis Captures Causal, Goal-oriented, and Taxonomic Structures|journal=Proceedings of CogSci 2000|pages=184–189|citeseerx = 10.1.1.23.5444|year = 2000}}</ref>

==التسلسل الزمني للفهرسة الدلالية الكامنة==
منتصف الستينيات -وصف واختبار تقنية تحليل العوامل لأول مرة (هـ. بوركو وم. بيرنيك)
* 1988 - نُشرت ورقة رئيسية حول تقنية الفهرسة الدلالية الكامنة.<ref name=deerwester1988/>
* 1989 - أول براءة اختراع.<ref name=deerwester1988/>
* 1992 - أول استخدام لتقنية الفهرسة الدلالية الكامنة لتعيين المقالات للمراجعين.<ref>{{cite book|last1=Dumais |first1=S. |last2=Nielsen |first2=J. |title=Proceedings of the 15th annual international ACM SIGIR conference on Research and development in information retrieval - SIGIR '92 |chapter=Automating the assignment of submitted manuscripts to reviewers |year=1992|pages=233–244|doi=10.1145/133160.133205|isbn=978-0897915236 |citeseerx=10.1.1.16.9793 |s2cid=15038631 }}</ref>
* 1994 - منح براءة الاختراع للتطبيق العابر للغات القائم على تقنية الفهرسة الدلالية الكامنة (لانداور وآخرون).
* 1995 - أول استخدام لتقنية الفهرسة الدلالية الكامنة في تقدير الأطروحات (فولتز وآخرون، لانداور وآخرون).
* 1999 - أول تنفيذ لتقنية الفهرسة الدلالية الكامنة لصالح المجتمع الاستخباراتي لتحليل النصوص غير المهيكلة (SAIC).
* 2002 - تقديم منتج يعتمد على الفهرسة الدلالية الكامنة للوكالات الحكومية ذات الطابع الاستخباراتي (SAIC).

==رياضيات الفهرسة الدلالية الكامنة==
تستخدم الفهرسة الدلالية الكامنة تقنيات الجبر الخطي الشائعة لتعلم الترابطات المفاهيمية في مجموعة من النصوص. تتضمن العملية عموما بناء مصفوفة مصطلح-مستند مرجحة، وتنفيذ تفريق القيم المنفردة (Singular Value Decomposition) على المصفوفة، واستخدام المصفوفة لتحديد المفاهيم الموجودة في النص.
===مصفوفة المصطلح-الوثيقة===
تبدأ الفهرسة الدلالية الكامنة ببناء مصفوفة المستند-المصطلح، <math>A</math>، لتحديد تكرار المصطلحات <math>m</math> الفريدة في مجموعة <math>n</math> الوثائق. في مصفوفة المصطلح-الوثيقة، يمثل كل مصطلح بصف, وكل وثيقة تمثل بعمود، وكل خلية من خلايا المصفوفة، <math>a_{ij}</math>، ثمثل في البداية عدد المرات التي يظهر فيها المصطلح المرتبط في الوثيقة المشار إليها، <math>\mathrm{tf_{ij}}</math>. عادة ما تكون هذه المصفوفة كبيرة جدًا ومتناثرة.

وبمجرد بناء مصفوفة الصطلح-الوثيقة، يمكن تطبيق وظائف الترجيح المحلية والعمومية عليها لتكييف البيانات. تقوم دوال الترجيح بتحويل كل خلية، <math>a_{ij}</math> من <math>A</math>، إلى حاصل ضرب وزن مصطلح محلي، <math>l_{ij}</math>، الذي يصف التكرار النسبي للمصطلح في الوثيقة، والوزن الشامل، <math>g_i</math>، الذي يصف التكرار النسبي للمصطلح ضمن مجموعة الوثائق كاملة.

بعض الوظائف المحلية الشائعة للترجيح محددة في الجدول التالي:<ref> Berry, M. W., and Browne, M., Understanding Search Engines: Mathematical Modeling and Text Retrieval, Society for Industrial and Applied Mathematics, Philadelphia, (2005).</ref>

{| style="width:60%" cellpadding="25" cellspacing="5" align="center"
|-
|  style="width:22%" | '''ثنائي''' ||
| <math>l_{ij} = 1</math> if the term exists in the document, or else <math>0</math>
|-
|  style="width:22%" | '''تردد المصطلح''' ||
| <math>l_{ij} = \mathrm{tf}_{ij}</math>, the number of occurrences of term <math>i</math> in document <math>j</math>
|-
|  style="width:22%" | '''الخوارزمية''' ||
| <math>l_{ij} = \log(\mathrm{tf}_{ij} + 1)</math>
|-
|  style="width:22%" | '''التطبيع المضاف''' ||
| <math>l_{ij} = \frac{\Big(\frac{\mathrm{tf}_{ij}}{\max_i(\mathrm{tf}_{ij})}\Big) + 1}{2}</math>
|}

بعض الوظائف العمومية الشائعة للترجيح محددة في الجدول التالي:

{| style="width:60%" cellpadding="25" cellspacing="5" align="center"
|-
| style="width:22%" | '''ثنائي''' ||
| <math>g_i = 1</math>
|-
| style="width:22%" | '''عادي''' ||
| <math>g_i = \frac{1}{\sqrt{\sum_j \mathrm{tf}_{ij}^2}}</math>
|-
| style="width:22%" | '''الوزن الدلالي''' ||
| <math>g_i = \mathrm{gf}_i / \mathrm{df}_i</math>, where <math>\mathrm{gf}_i</math> is the total number of times term <math>i</math> occurs in the whole collection, and <math>\mathrm{df}_i</math> is the number of documents in which term <math>i</math> occurs.
|-
| style="width:22%" | '''تردد المصطلح-معكوس تردد الوثيقة''' ||
| <math>g_i = \log_2 \frac{n}{1+ \mathrm{df}_i}</math>
|-
| style="width:22%" | '''العشوائية''' ||
| <math>g_i = 1 + \sum_j \frac{p_{ij} \log p_{ij}}{\log n}</math>, where <math>p_{ij} = \frac{\mathrm{tf}_{ij}}{\mathrm{gf}_i}</math>
|}

تشير الدراسات التجريبية على الفهرسة الدلالية الكامنة إلى أن وظائف ترجيح السجل والإنتروبيا(الإنتروبيا هي مقياس لعشوائية نظام) تعمل جيدا، من الناحية العملية، مع العديد من مجموعات البيانات.<ref>Landauer, T., et al., Handbook of Latent Semantic Analysis, Lawrence Erlbaum Associates, 2007.</ref> بمعنى آخر، يحسب كل إدخال <math>a_{ij}</math> من <math>A</math> على النحو التالي:

:<math>g_i = 1 + \sum_j \frac{p_{ij} \log p_{ij}}{\log n}</math>

:<math>a_{ij} = g_i \ \log (\mathrm{tf}_{ij} + 1)</math>

===تصنيف تفريق القيمة المنفردة المخفض===
يجرى تفريق القيمة المنفردة بترتيب مخفض على المصفوفة لتحديد أنماط العلاقات بين المصطلحات والمفاهيم الواردة في النص. يشكل تفريق القيمة المنفردة أساس الفهرسة الدلالية الكامنة.<ref>Berry, Michael W., Dumais, Susan T., O'Brien, Gavin W., [http://delab.csd.auth.gr/~dimitris/courses/ir_spring06/page_rank_computing/01cc99333c00501ddab030.pdf Using Linear Algebra for Intelligent Information Retrieval], December 1994, SIAM Review 37:4 (1995), pp. 573–595.</ref>

فهو يحسب الفضاءات المتجهية للمصطلحات والوثائق بتقريب مصفوفة تردد المصطلح الواحد <math>A</math>، إلى ثلاثة مصفوفات— '''''m''''' بحجم '''''r''''' الفضاء المتجهي لمفهوم المصطلح  <math>T</math>، '''''r''''' بحجم '''''r''''' مصفوفة القيم المنفردة <math>S</math>، و '''''n''''' بحج '''''r''''' الفضاء المتجهي لمفهوم الوثيقة، <math>D</math>، والتي تحقق العلاقات التالية:

<math>A \approx TSD^T</math>

<math>T^T T = I_r \quad D^T D = I_r </math>

<math>S_{1,1} \geq S_{2,2} \geq \ldots \geq  S_{r,r} > 0 \quad S_{i,j} = 0 \; \text{where} \; i \neq j</math>

تمثل '''A''' مصفوفة مرجحة من عدد '''''m''''' من المصطلحات الفريدة في مجموعة من النصوص ذات عدد '''''n''''' من الوثائق. تمثل '''T''' مصفوفة من متجهات المصطلحات حيث يمثل '''''r''''' رتبة '''A''' - مقياس لأبعادها الفريدة '''≤ min(''m,n'')'''. تمثل '''S''' مصفوفة قطرية من القيم المفردة المتناقصة، وتمثل '''D''' مصفوفة من متجهات المستندات.

في هذه الصيغة، تمثل '''A''' مصفوفة مرجحة  '''''m''''' من عدد '''''n''''' من تردد المصطلح في مجموعة من النصوص حيث '''''m''''' عدد المصطلحات الفريدة، و '''''n''''' هي عدد الوثائق.  '''T''' تحسب '''''m''''' من خلال '''''r''''' مصفوفة متجهات المصطلح حيث '''''r''''' هي ترتيب '''A'''—مقياس لأبعاده الفريدة '''≤ min(''m,n'')'''.  '''S''' تحسب '''''r''''' من خلال '''''r''''' مصفوفة قطرية من القيم المنفردة المتناقصة، و '''D''' تحسب '''''n''''' من خلال '''''r''''' مصفوفة متجهات الوثيقة.

يقتطع بعد ذلك تفريق القيمة المنفردة لتقليل الترتيب من خلال الاحتفاظ بأكبر إدخالات قطرية فقط  '''''k'''' « '''''r''''' في مصفوفة القيمة المفردة '''S '''، حيث يكون ''''k'''' عادةً بالترتيب من 100 إلى 300 بُعد
.
تقلل هذه العملية أحجام مصفوفة المتجهات والمصطلح إلى ''''m''''' بمقدار '''''k''''' و '''''n''''' بمقدار ''' ''ك'''' على التوالي. إن لعملية تفريق القيمة المنفردة إلى جانب هذا التخفيض تأثير في الحفاظ على المعلومات الدلالية ذات الأهمية في النص مع تقليل الضوضاء وغيرها من الشوائب غير المرغوب فيها في الفضاء الأصلي لـ '''A'''. وغالبًا ما يُشار إلى هذه المجموعة المخفضة من المصفوفات بصيغة معدلة مثل:

:::::::'''A ≈ A<sub>''k''</sub> = T<sub>''k''</sub> S<sub>''k''</sub> D<sub>''k''</sub><sup>T</sup>'''

تحسب خوارزميات الفهرسة الدلالية الكامنة الفعالة القيم الأولى المفردة فقط  ''''k''''' ومتجهات المصطلحات والوثائق عوضا عن حساب ملف تفريق القيمة المنفردة كاملا ومن ثم اقتطاعه.

لاحظ أن هذه العملية لتخفيض الرتب هي في الأساس نفس عملية إجراء تحليل العنصر الرئيسي (PCA) على المصفوفة A، باستثناء أن تحليل العنصر الرئيسي يطرح المتوسطات، وأنه يفقد آلية تفريغ المصفوفة A، ما يجعله غير قابل للتطبيق للمعاجم الكبيرة.

==الاستعلام عن الفضاء المتجهي للفهرس الدلالي الكامن وتعزيزه==
تحدد المصفوفات '''T<sub>''k''</sub>''' و '''D<sub>''k''</sub>''' المحسوبة الفضاءات المتجهية للمصطلح والمستند، والتي  والتي تجسد المعلومات المفاهيمية من خلال القيم المفردة المحسوبة، '''S<sub>''k''</sub>'''، والمستمدة من مجموعة الوثائق. إن تشابه المصطلحات أو الوثائق داخل هذه الفضاءات هو العامل الذي يحدد مدى قربها من بعضها البعض في هذه الفضاءات، ويحسب عادةُ كدالة للزاوية بين المتجهات المقابلة.

تستخدم نفس الخطوات لتحديد المتجهات التي تمثل نص الاستعلامات والوثائق الجديدة داخل فضاء المستند الخاص بالفهرس الدلالي الكامن الموجود. من خلال تحويل بسيط للمعادلة '''A = T S D<sup>T</sup>''' إلى ما معادلة  تعادلها '''D = A<sup>T</sup> T S<sup>−1</sup > ''' يمكن إنشاء متجه جديد، ''''d'''''، لاستعلام أو لوثيقة جديدة بحساب عمود جديد في '''A''' ثم ضرب عمود جديد ب '''T S<sup>−1</sup>'''. يحسب العمود الجديد في '''A''' باستخدام ترجيحات المصطلح العمومية المشتقة في الأصل وتطبيق نفس دالة الترجيح المحلية على المصطلحات الموجودة في الاستعلام أو في الوثيقة الجديدة.

عيب واحد في حساب المتجهات بهذه الطريقة ، عند إضافة وثائق جديدة قابلة للبحث هو تجاهل المصطلحات التي لم تكن معروفة أثناء مرحلة تفريق القيمة المنفردة للمؤشر الأصلي. لن يكون لهذه المصطلحات أي تأثير على الترجيحات العمومية والارتباطات المُتَعَلّمة من مجموعة النصوص الأصلية. ومع ذلك، لا تزال المتجهات المحسوبة للنص الجديد ذات صلة كبيرة بمقارنات التشابه مع جميع متجهات الوثائق الأخرى.

تسمى عملية تعزيز فضاءات الوثيقة المتجهية للفهرس الدلالي الكامن بوثائق جديدة بهذه الطريقة ب "الطي".  على الرغم من أن عملية الطي لا تأخذ في الاعتبار المحتوى الدلالي الجديد للنص الجديد، فإن إضافة عدد كبير من الوثائق بهذه الطريقة سيظل يوفر نتائج جيدة للاستفسارات طالما أن المصطلحات والمفاهيم التي تحتويها ممثلة جيدا ضمن الفهرس الدلالي الكامن الذي تضاف إليه. 

عندما يلزم تضمين مصطلحات ومفاهيم مجموعة جديدة من الوثائق في الفهرس الدلالي الكامن، فيجب حينها إعادة حساب مصفوفة الوثيقة-المصطلح، وتفريق القيمة المنفردة أو الحاجة إلى طريقة تحديث تزايدية (مثل تلك الموضحة في <ref name="brand2006"/>).

===الاستخدامات الأخرى للفهرسة الدلالية الكامنة===
من المعترف به عمومًا أن القدرة على التعامل مع النصوص على أساس دلالي أمر ضروري لأنظمة استرداد المعلومات الحديثة. ونتيجة لذلك ، فقد توسع استخدام الفهرسة الدلالية الكامنة توسعا ملحوظ في السنوات الأخيرة مع التغلب على التحديات السابقة المتعلقة بقابلية التوسع والأداء.

تُستخدم الفهرسة الدلالية الكامنة في مجموعة متنوعة من تطبيقات استرداد المعلومات ومعالجة النصوص ، على الرغم من أن تطبيقها الأساسي كان في البحث عن المفاهيم والتصنيف الآلي للوثائق.<ref>Dumais, S., Latent Semantic Analysis, ARIST Review of Information Science and Technology, vol. 38, 2004, Chapter 4.</ref> فيما يلي بعض الطرق الأخرى التي تستخدم فيها استخدام الفهرسة الدلالية الكامنة:

* استكشاف المعلومات.<ref>Best Practices Commentary on the Use of Search and Information Retrieval Methods in E-Discovery, the Sedona Conference, 2007, pp. 189–223.</ref> (eDiscovery، المجتمع الحكومي / الاستخباراتي، النشر)
* التصنيف الآلي للمستندات.<ref>Foltz, P. W. and Dumais, S. T. [http://courses.ischool.utexas.edu/Turnbull_Don/2004/spring/i385q-dt/readings/Foltz_Dumais-1992-Personalized.pdf Personalized Information Delivery:  An analysis of information filtering methods], Communications of the ACM, 1992, 34(12), 51-60.</ref> (eDiscovery، المجتمع الحكومي / الاستخباراتي، النشر)
* تلخيص النصوص.<ref>Gong, Y., and Liu, X., [https://ieeexplore.ieee.org/abstract/document/953917/ Creating Generic Text Summaries], Proceedings, Sixth International Conference on Document Analysis and Recognition, 2001, pp. 903–907.</ref> (eDiscovery، النشر)
* اكتشاف العلاقات. <ref>Bradford, R., [https://www.researchgate.net/profile/Fei_Yue_Wang/publication/317002646_Intelligence_and_Security_InformaticsLecture_Notes_in_Computer_Science_LNCS_3495/links/591d7440aca272d31bcd75a5/Intelligence-and-Security-InformaticsLecture-Notes-in-Computer-Science-LNCS-3495.pdf#page=392 Efficient Discovery of New Information in Large Text Databases], Proceedings, IEEE International Conference on Intelligence and Security Informatics, Atlanta, Georgia, LNCS Vol. 3495, Springer, 2005, pp. 374–380.</ref> (الحكومة، المجتمع الاستخباراتي، الشبكات الاجتماعية)
* الإنشاء التلقائي لمخططات روابط الأفراد والمنظمات. <ref>{{cite book | chapter-url=https://link.springer.com/chapter/10.1007/11760146_84 | doi=10.1007/11760146_84 | chapter=Application of Latent Semantic Indexing in Generating Graphs of Terrorist Networks | title=Intelligence and Security Informatics | series=Lecture Notes in Computer Science | year=2006 | last1=Bradford | first1=R. B. | volume=3975 | pages=674–675 | isbn=978-3-540-34478-0 }}</ref> (الحكومة، المجتمع الاستخباراتي)
* مطابقة الأوراق الفنية والمنح مع المراجعين.<ref>Yarowsky, D., and Florian, R., [https://www.aclweb.org/anthology/W99-0627 Taking the Load off the Conference Chairs: Towards a Digital Paper-routing Assistant], Proceedings of the 1999 Joint SIGDAT Conference on Empirical Methods in NLP and Very-Large Corpora, 1999, pp. 220–230.</ref>  (الحكومة)
* دعم العملاء عبر الإنترنت.<ref>Caron, J., Applying LSA to Online Customer Support: A Trial Study, Unpublished Master's Thesis, May 2000.</ref> (إدارة العملاء)
* تحديد تأليف المستندات.<ref>Soboroff, I., et al, [https://www.researchgate.net/profile/David_Ebert/publication/2740116_Visualizing_Document_Authorship_Using_N-grams_and_Latent_Semantic_Indexing/links/0a85e53a81770c370c000000.pdf Visualizing Document Authorship Using N-grams and Latent Semantic Indexing],   Workshop on New Paradigms in Information Visualization and Manipulation, 1997, pp. 43–48.</ref> (التعليم)
* التعليق التلقائي على الكلمات المفتاحية للصور.<ref>Monay, F., and Gatica-Perez, D., [https://infoscience.epfl.ch/record/82928/files/monay-acm-sp054.pdf On Image Auto-annotation with Latent Space Models], Proceedings of the 11th ACM international conference on Multimedia, Berkeley, CA, 2003, pp. 275–278.</ref>
* فهم شفرة المصدر للبرمجيات. <ref>{{cite book|author1=Maletic, J. |author2=Marcus, A.|title=Proceedings 12th IEEE Internationals Conference on Tools with Artificial Intelligence. ICTAI 2000 |chapter=Using latent semantic analysis to identify similarities in source code to support program understanding |location=Vancouver, British Columbia|date=November 13–15, 2000|pages= 46–53|doi=10.1109/TAI.2000.889845|isbn=978-0-7695-0909-9|citeseerx=10.1.1.36.6652|s2cid=10354564}}</ref>(هندسة البرمجيات)
* تصفية الرسائل غير المرغوب فيها. ]<ref>Gee, K., [http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.57.8321&rep=rep1&type=pdf Using Latent Semantic Indexing to Filter Spam], in: Proceedings, 2003 ACM Symposium on Applied Computing, Melbourne, Florida, pp. 460–464.</ref> (إدارة النظام)
* نمذجة المعلومات. <ref name=landauer2004>Landauer, T., Laham, D., and Derr, M., [https://www.pnas.org/content/pnas/101/suppl_1/5214.full.pdf From Paragraph to Graph: Latent Semantic Analysis for Information Visualization], Proceedings of the National Academy of Sciences, 101, 2004, pp. 5214–5219.</ref>
* تقدير درجات المقالات.<ref>Foltz, Peter W., Laham, Darrell, and Landauer, Thomas K., [http://www-psych.nmsu.edu/~pfoltz/reprints/Edmedia99.html Automated Essay Scoring: Applications to Educational Technology], Proceedings of EdMedia,  1999.</ref>  (التعليم)
* اكتشاف الأدبيات.<ref>Gordon, M., and Dumais, S., [https://deepblue.lib.umich.edu/bitstream/handle/2027.42/34255/2_ftp.pdf?sequence=1&isAllowed=y Using Latent Semantic Indexing for Literature Based Discovery], Journal of the American Society for Information Science, 49(8), 1998, pp. 674–685.</ref>
* توقع عوائد الأسهم.<ref name="Galvez2017"/>
* تحليل محتوى الأحلام.<ref name="Altszyler2017"/>(علم النفس)

Sure, here is a possible translation of the text into Arabic:

==تحديات الفهرسة الدلالية الكامنة==
ارتكزت التحديات المبكرة للفهرسة الدلالية الكامنة على قابلية التوسع والأداء، حيث تتطلب الفهرسة الدلالية الكامنة أداءً حاسوبيا عاليا مرتفعًا نسبيًا وذاكرة أكبر مقارنةً بتقنيات استرداد المعلومات الأخرى.<ref>Karypis, G., Han, E., [https://www.researchgate.net/profile/George_Karypis/publication/2437989_Fast_Supervised_Dimensionality_Reduction_Algorithm_with_Applications_to_Document_Categorization_Retrieval/links/549ee9c80cf267bdb8fdb8e1.pdf Fast Supervised Dimensionality Reduction Algorithm with Applications to Document Categorization and Retrieval], Proceedings of CIKM-00, 9th ACM Conference on Information and Knowledge Management.</ref>

بدأت هذه التحديات بالتشتت إلى حد ما مع توفر المعالجات الحديثة عالية السرعة وتوفر موارد الذاكرة غير المكلفة.

التطبيقات الفعلية للفهرسة الدلالية الكامنة في وقعنا المعاش والتي تضمنت أكثر من 30 مليون وثيقة عولجت بالكامل من خلال حسابات المصفوفة وتفريق القيمة المنفردة شائعة في بعض تطبيقات الفهرسة الدلالية الكامنة.<ref name="rehurek2011">{{cite book | chapter=Subspace Tracking for Latent Semantic Analysis | author=Radim Řehůřek | title=Advances in Information Retrieval | volume=6611 | pages=289–300 | year=2011 | doi=10.1007/978-3-642-20161-5_29 |series=Lecture Notes in Computer Science|isbn=978-3-642-20160-8}}</ref>

كان هناك تحدي آخر للفهرسة الدلالية الكامنة هو الصعوبة المزعومة في تحديد العدد الأمثل للأبعاد المستخدمة لإجراء تفريق القيمة المنفردة. وكقاعدة عامة، يسمح عدد أقل من الأبعاد بإجراء مقارنات أوسع للمفاهيم الواردة في مجموعة من النصوص، بينما يسمح عدد أكبر من الأبعاد بإجراء مقارنات أكثر تحديدًا (أو أكثر صلة) للمفاهيم.

يقتصر العدد الفعلي للأبعاد التي يمكن استخدامها على عدد الوثائق في المجموعة. وقد أظهرت الأبحاث أن حوالي 300 بعدًا ستوفر عادةً أفضل النتائج مع مجموعات الوثائق متوسطة الحجم (مئات الآلاف من المستندات) وربما 400 بعدًا لمجموعات الوثائق الأكبر (ملايين المستندات).<ref>Bradford, R., [https://dl.acm.org/citation.cfm?id=1458105 An Empirical Study of Required Dimensionality for Large-scale Latent Semantic Indexing Applications], Proceedings of the 17th ACM Conference on Information and Knowledge Management, Napa Valley, California, USA, 2008, pp. 153–162.</ref>

ومع ذلك، تشير الدراسات الحديثة إلى أن 50-1000 بعدًا مناسبة حسب حجم وطبيعة مجموعة الوثائق.<ref name=landauer2008b>Landauer, Thomas K., and Dumais, Susan T., Latent Semantic Analysis, Scholarpedia, 3(11):4356, 2008.</ref> لا يصلح التحقق من نسبة التباين المحتفظ بها، على غرار تحليل المكونات الأساسية، لتحديد الأبعاد المثلى للفهرسة الدلالية الكامنة.

هناك طريقتان محتملتان للعثور على الأبعاد الصحيحة باستخدام اختبار المرادف أو توقع الكلمات المفقودة.<ref>Landauer, T. K., Foltz, P. W., & Laham, D. (1998). [https://mimno.infosci.cornell.edu/info6150/readings/dp1.LSAintro.pdf Introduction to Latent Semantic Analysis]. Discourse Processes, 25, 259-284</ref> عند استخدام مواضيع الفهرسة الدلالية الكامنة كميزات في طرق التعلم الخاضع للإشراف، يمكن استخدام قياسات خطأ التنبؤ للعثور على الأبعاد المثالية.

==المراجع==
{{مراجع|32em}}

[[تصنيف:تقانة]]
{{#vardefine:infoboxseo|1}}{{#seo:
|title 			= {{PAGENAME}} - ويكي عربية
|site_name		= ويكي عربية
|type			= article
|description=التحليل الدلالي الكامن هو تقنية في معالجة اللغة الطبيعية -في مجال الدلالة التوزيعية تحديدًا - تستخدم لتحليل العلاقات بين الوثائق والمصطلحات التي تحتوي عليها.
|locale			= {{PAGELANGUAGE}}
|image 			= التحليل الدلالي الكامن.jpg
}}
{{Short description|التحليل الدلالي الكامن هو تقنية في معالجة اللغة الطبيعية -في مجال الدلالة التوزيعية تحديدًا - تستخدم لتحليل العلاقات بين الوثائق والمصطلحات التي تحتوي عليها.}}