التحليل الدلالي الكامن

التحليل الدلالي الكامن - مشهد تخيلي مولد باستخدام الذكاء الصنعي.

التحليل الدلالي الكامن (بالإنجليزية: Latent semantic analysis (LSA))‏ هو تقنية في معالجة اللغة الطبيعية (بالإنجليزية: Natural Language Processing (NLP))‏ -في مجال الدلالة التوزيعية تحديدًا - تستخدم لتحليل العلاقات بين الوثائق والمصطلحات التي تحتوي عليها. يقوم التحليل الدلالي الكامن بإنشاء مجموعة من المفاهيم -الميزات الكامنة- والتي تعكس المعنى المشترك بين هذه الوثائق والمصطلحات.

يفترض التحليل الدلالي الكامن أن الكلمات ذات المعنى المماثل ستظهر في أجزاء مماثلة من النص (الدلالات التوزيعية). ويستند هذا الافتراض إلى فكرة أن الكلمات ذات المعنى المماثل تميل إلى أن تستخدم في سياقات مماثلة.

تُبنى مصفوفة من نصوص هذه الوثائق تحتوي على عدد الكلمات في كل وثيقة، حيث تمثل الصفوف الكلمات الفريدة وتشير الأعمدة إلى كل وثيقة. وتستخدم في هذا التحليل تقنية رياضية تُعرف باسم تفريق القيمة المنفردة (SVD) لتقليل عدد الصفوف مع الحفاظ على هيكل التشابه بين الأعمدة.

تُقارن هذه الوثائق بعد ذلك بناءً على تشابه جيب التمام بين أي عمودين. فكلما اقتربت قيمة التشابه من 1 زادت درجة التشابه بين الوثائق، والعكس صحيح.

حصل كل من سكوت ديرويستر وسوزان دومايس وجورج فورناس وريتشارد هارشمان وتوماس لانداور وكارين لوشبوم ولين ستريتر على براءة اختراع تقنية استرجاع المعلومات باستخدام هيكل التحليل الدلالي الكامن في عام 1988 (براءة اختراع أمريكية رقم 4,839,853 منتهية الصلاحية الآن).

يطلق على التحليل الدلالي الكامن في سياق تطبيقه على استرجاع المعلومات اسم الفهرسة الدلالية الكامنة (بالإنجليزية: (LSI) latent semantic indexing)‏ أحيانًا.

نظرة عامة

مصفوفة الحدوث

يمكن للتحليل الدلالي الكامن استخدام مصفوفة الوثائق والمصطلحات وهي مصفوفة رياضية تصف تكرار المصطلحات في مجموعة من الوثائق، وهي مصفوفة متفرقة (متناثرة) تتناغم صفوفها مع المصطلحات وأعمدتها مع الوثائق.

يعتبر "تردد المصطلح - تردد الوثيقة المعكوس" من الأمثلة النموذجية على توزيع عناصر المصفوفة: يتناسب وزن عنصر ما في المصفوفة مع عدد مرات ظهور المصطلحات في كل وثيقة، حيث ترفع أوزان المصطلحات النادرة لتعكس أهميتها النسبية.

تعتبر هذه المصفوفة شائعة أيضًا في النماذج اللفظية القياسية، على الرغم من أنه ليس من الضروري أن تُعبَّر كمصفوفة صراحة، نظرًا لأن الخصائص الرياضية للمصفوفات لا تستخدم فيها دائمًا.

خفض الرتبة

يجد التحليل الدلالي الكامن بعد إنشاء مصفوفة التكرار تقريبًا مُنخفض الرتبة لمصفوفة المصطلحات-المستندات. ويُعزى ذلك لأسباب مختلفة لهذه التقريبات:

• يَفترض التحليل أن مصفوفة المصطلحات-المستندات الأصلية كبيرة جدًا بالنسبة لموارد الحوسبة ؛ وتُفسر مصفوفة الرتبة المنخفضة في هذه الحالة بتقدير تقريبي (أقل شر ضروري).
• يَفترض التحليل أن مصفوفة المصطلحات-المستندات الأصلية مشوشة: على سبيل المثال، يجب إزالة الحالات القصصية للمصطلحات. وتُفسر المصفوفة المقدرة كمصفوفة خالية من التشويش (مصفوفة أفضل من المصفوفة الأصلية).
• يُفترض أن مصفوفة المصطلحات-المستندات الأصلية متفرقة للغاية بالنسبة إلى مصفوفة المصطلحات-المستندات "الحقيقية". وهذا يعني أن المصفوفة الأصلية تسرد فقط الكلمات الموجودة بالفعل في كل مستند، بينما أننا قد نكون مهتمين بجميع الكلمات المتعلقة بكل مستند - وهي مجموعة أكبر بكثير عموما بسبب الترادفات في المعاني.

يؤدي خفض الرتبة إلى دمج بعض الأبعاد وجعلها تعتمد على أكثر من مصطلح واحد.

على سبيل المثال، يمكن أن يتحول التسلسل التالي:

{(سيارة) ، (شاحنة) ، (زهرة)} إلى

{(1.3452 * سيارة + 0.2828 * شاحنة) ، (زهرة)}

يساعد خفض الرتبة على حل مشكلة تحديد المترادفات من خلال دمج الأبعاد المرتبطة بالمصطلحات التي لها معاني متشابهة. كما أنه يقلل من مشكلة المشتركات اللفظية من خلال إضافة مكونات الكلمات متعددة المعاني التي تشير إلى الاتجاه "الصحيح" إلى مكونات الكلمات التي تشترك في المعنى. وفي المقابل، تميل العناصر التي تشير إلى اتجاهات غير مقصودة إلى الانحسار أو أن تكون أقل أهمية من العناصر التي تشير إلى الاتجاه المقصود.

الاشتقاق

لنفترض أن$X$ هي مصفوفة حيث يصف العنصر $(i,j)$ حدوث المصطلح $i$ في الوثيقة $j$ (التردد على سبيل المثال). $X$ ستبدو المصفوفة كمايلي:

${\begin{matrix}&{\textbf {d}}_{j}\\&\downarrow \\{\textbf {t}}_{i}^{T}\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,j}&\dots &x_{1,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{i,1}&\dots &x_{i,j}&\dots &x_{i,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{m,1}&\dots &x_{m,j}&\dots &x_{m,n}\\\end{bmatrix}}\end{matrix}}$

سيكون الصف في هذه المصفوفة الآن متجها يتوافق مع مصطلح ما، مع ذكر علاقته بكل وثيقة:

${\textbf {t}}_{i}^{T}={\begin{bmatrix}x_{i,1}&\dots &x_{i,j}&\dots &x_{i,n}\end{bmatrix}}$

وبالمثل، سيكون العمود في هذه المصفوفة متجها يتوافق مع مستند ما، مع ذكر علاقته بكل مصطلح:

${\textbf {d}}_{j}={\begin{bmatrix}x_{1,j}\\\vdots \\x_{i,j}\\\vdots \\x_{m,j}\\\end{bmatrix}}$

يعطي حاصل الجداء النقطي ${\textbf {t}}_{i}^{T}{\textbf {t}}_{p}$ بين متجهي مصطلحين معامل الارتباط بين المصطلحات على مجموعة الوثائق.

ويحتوي حاصل ضرب المصفوفات $XX^{T}$ كل حواصل الجداء النقطي. يحتوي العنصر $(i,p)$ (الذي يساوي العنصر $(p,i)$) حاصل الجداء النقطي:

($={\textbf {t}}_{p}^{T}{\textbf {t}}_{i}$)${\textbf {t}}_{i}^{T}{\textbf {t}}_{p}$

وبالمثل، تحتوي المصفوفة $X^{T}X$ على حاصل الجداء النقطي بين جميع متجهات الوثيقة، ما يعطي ارتباطها بالمصطلحات: ${\textbf {d}}_{j}^{T}{\textbf {d}}_{q}={\textbf {d}}_{q}^{T}{\textbf {d}}_{j}$.

واستنادا إلى نظرية الجبر الخطي، هنالك تحليل ل $X$ بحيث تكون $U$ و $V$ مصفوفة متعامدة و $Sigma$ هي مصفوفة قطرية. وهذا ما يطلق عليه اسم تفريق القيمة المنفردة:

${\begin{matrix}X=U\Sigma V^{T}\end{matrix}}$

ويصبح حاصل جداء المصفوفة الذي يعطي المصطلح وارتباط المستند:

${\begin{matrix}XX^{T}&=&(U\Sigma V^{T})(U\Sigma V^{T})^{T}=(U\Sigma V^{T})(V^{T^{T}}\Sigma ^{T}U^{T})=U\Sigma V^{T}V\Sigma ^{T}U^{T}=U\Sigma \Sigma ^{T}U^{T}\\X^{T}X&=&(U\Sigma V^{T})^{T}(U\Sigma V^{T})=(V^{T^{T}}\Sigma ^{T}U^{T})(U\Sigma V^{T})=V\Sigma ^{T}U^{T}U\Sigma V^{T}=V\Sigma ^{T}\Sigma V^{T}\end{matrix}}$

نظرا لأن $\Sigma \Sigma ^{T}$ و$\Sigma ^{T}\Sigma$ قطريان، نرى أن $U$ يجب أن تحتوي على المتجه الذاتي ل $XX^{T}$، بينما يجب أن تكون $V$ هي المتجهات الذاتية ل $X^{T}X$. كلا الجدائين لهما نفس القيم الذاتية غير الصفرية، المعطاة من خلال الإدخالات غير الصفرية ل $\Sigma \Sigma ^{T}$، أو بالتساوي، من خلال الإدخالات غير الصفرية ل $\Sigma ^{T}\Sigma$.

سيبدو التحليل الآن كمايلي:

${\begin{matrix}&X&&&U&&\Sigma &&V^{T}\\&({\textbf {d}}_{j})&&&&&&&({\hat {\textbf {d}}}_{j})\\&\downarrow &&&&&&&\downarrow \\({\textbf {t}}_{i}^{T})\rightarrow &{\begin{bmatrix}x_{1,1}&\dots &x_{1,j}&\dots &x_{1,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{i,1}&\dots &x_{i,j}&\dots &x_{i,n}\\\vdots &\ddots &\vdots &\ddots &\vdots \\x_{m,1}&\dots &x_{m,j}&\dots &x_{m,n}\\\end{bmatrix}}&=&({\hat {\textbf {t}}}_{i}^{T})\rightarrow &{\begin{bmatrix}{\begin{bmatrix}\,\\\,\\{\textbf {u}}_{1}\\\,\\\,\end{bmatrix}}\dots {\begin{bmatrix}\,\\\,\\{\textbf {u}}_{l}\\\,\\\,\end{bmatrix}}\end{bmatrix}}&\cdot &{\begin{bmatrix}\sigma _{1}&\dots &0\\\vdots &\ddots &\vdots \\0&\dots &\sigma _{l}\\\end{bmatrix}}&\cdot &{\begin{bmatrix}{\begin{bmatrix}&&{\textbf {v}}_{1}&&\end{bmatrix}}\\\vdots \\{\begin{bmatrix}&&{\textbf {v}}_{l}&&\end{bmatrix}}\end{bmatrix}}\end{matrix}}$

تدعى القيم $\sigma _{1},\dots ,\sigma _{l}$ بالقيم الفردية، و $u_{1},\dots ,u_{l}$ و $v_{1},\dots ,v_{l}$ بالمتجهات المنفردة اليمنى واليسرى. لاحظ أن الجزء الوحيد من $U$ الذي يساهم في ${\textbf {t}}_{i}$ هو الصف $i{\textrm {'th}}$. وليكن اسم متجه الصف هذا ${\hat {\textrm {t}}}_{i}^{T}$. وبالمثل، فإن الجزء الوحيد من $V^{T}$ الذي يساهم في ${\textbf {d}}_{j}$ هو العمود $j{\textrm {'th}}$، ${\hat {\textrm {d}}}_{j}$. وهي ليست متجهات ذاتية، ولكنها تعتمد على جميع المتجهات الذاتية.

يتضح أنه عند تحديد أكبر قيم منفردة ل $k$، والمتجهات الفردية المقابلة لها من $U$ و $V$، فسنحصل على تقريب ترتيب رتبة $k$ إلى $X$ مع أصغر هامش خطأ (قاعدة فروبينوس).

يوفر هذا التقريب الحد الأدنى من الخطأ، مما يسهل التعامل مع المصطلح وتوثيق المتجهات على أنها "فضاء دلالي".

ومن ثم سيحتوي متجه صف "المصطلح" $hat{textbf{t}}_{i}^{T}$ على إدخالات $k$ لتربطه إلى فضاء ذي أبعاد أقل.

لا تتعلق هذه الأبعاد الجديدة بأي مفاهيم مفهومة، بل هي مجرد تقريب أقل بعدا للفضاء ذي الأبعاد الأعلى. وبالمثل ، فإن متجه "الوثيقة" $hat{textbf{d}}_{j}$ هو تقريب في هذا الفضاء ذي الأبعاد الأدنى. نكتب هذا التقريب على النحو التالي:

$X_{k}=U_{k}\Sigma _{k}V_{k}^{T}$

يمكنك الآن القيام بمايلي:

• التعرف على كيفية وجود المستندات ذات الصلة $j$ و$q$ في الفضاء منخفض الأبعاد من خلال مقارنة المتجهات $\Sigma _{k}\cdot {\hat {\textbf {d}}}_{j}$ و $\Sigma _{k}\cdot {\hat {\textbf {d}}}_{q}$ من خلال (نموذج الفضاء المتجه-تشابه جيب التمام).
• مقارنة المصطلحين $i$ و$p$ من خلال مقارنة المتجهين $\Sigma _{k}\cdot {\hat {\textbf {t}}}_{i}$ و$\ Sigma_{k}\cdot {\hat {\textbf {t}}}_{p}$. لاحظ أن ${\hat {\textbf {t}}}$ أصبح الآن متجه عمود.
• يمكن تجميع الوثائق وتمثيلات متجهات المصطلحات باستخدام خوارزميات التجميع التقليدية مثل خوارزمية "k-means" التصنيفية باستخدام مقاييس تشابه جيب التمام.
• بالنسبة إلى استعلام ما، استعراض الاستعلام كمستند صغير، ومقارنته بالوثائق في الفضاء منخفض الأبعاد.

للقيام بهذا الأخير، يجب عليك أولا ترجمة استعلامك إلى فضاء منخفض الأبعاد، ومن البديهي بعد ذلك أنه يجب عليك استخدام نفس التحويل الذي استخدمته على الوثائق:

${\hat {\textbf {d}}}_{j}=\Sigma _{k}^{-1}U_{k}^{T}{\textbf {d}}_{j}$

لاحظ هنا أنه يمكننا استخلاص معكوس المصفوفة القطرية $Sigma_{k}$ من خلال عكس كل قيمة غير صفرية داخل المصفوفة.

هذا يعني أنه إذا كان لديك متجه استعلام $q$، فيجب عليك ترجمة ${\hat {\textbf {q}}}=\Sigma _{k}^{-1}U_{k}^{T}{\textbf {q}}$ قبل مقارنتها بمتجهات المستند في الفضاء منخفض الأبعاد. يمكنك القيام بنفس الأمر مع المتجهات ذات المدى الزائف:

${\textbf {t}}_{i}^{T}={\hat {\textbf {t}}}_{i}^{T}\Sigma _{k}V_{k}^{T}$

${\hat {\textbf {t}}}_{i}^{T}={\textbf {t}}_{i}^{T}V_{k}^{-T}\Sigma _{k}^{-1}={\textbf {t}}_{i}^{T}V_{k}\Sigma _{k}^{-1}$

${\hat {\textbf {t}}}_{i}=\Sigma _{k}^{-1}V_{k}^{T}{\textbf {t}}_{i}$

تطبيقات التحليل الدلالي الكامن

يمكن استخدام الفضاء الجديد ذي الأبعاد المنخفضة في مجموعة متنوعة من التطبيقات، بما في ذلك:

• مقارنة الوثائق: يمكن استخدام الفضاء ذي الأبعاد المنخفضة لمقارنة الوثائق بناءً على محتوى الكلمات التي تحتوي عليها. يمكن أن يكون هذا مفيدًا في مجموعة متنوعة من التطبيقات، مثل تجميع البيانات وتصنيف الوثائق.
• البحث عن وثائق مماثلة عبر اللغات: وذلك بعد تحليل مجموعة أساسية من الوثائق المترجمة. يُعرف هذا النوع من البحث باسم استرجاع المعلومات عبر اللغات.
• علاقة المصطلحات: البحث عن العلاقات بين المصطلحات (المترادفات وتعدد المعاني).
• استعلام المصطلحات: ترجمتة استعلام المصطلحات إلى فضاء منخفض الأبعاد، والبحث عن المستندات المطابقة (استرجاع المعلومات).
• التشابه الدلالي: البحث عن أقوى تشابه دلالي بين مجموعات صغيرة من المصطلحات، باستخدام سياق مجموعة المعرفة، مثلما يحدث في نماذج الإجابة على الأسئلة متعددة الخيارات.
• توسيع فضاءالميزات لأنظمة تعلم الآلة/التنقيب في النصوص.
• تحليل ارتباط الكلمات في متن النصوص.

تعتبر المرادفات وتعددية المعاني من المشاكل الأساسية في معالجة اللغة الطبيعية:

• الترادف هو ظاهرة حيث تصف كلمات مختلفة نفس الفكرة. وبالتالي ، قد تفشل الاستعلامات في محرك البحث في استرداد مستند ذي صلة لا يحتوي على الكلمات التي ظهرت في الاستعلام. على سبيل المثال، قد لا يعيد البحث عن "طبيب" مستندًا يحتوي على كلمة "دكتور"، على الرغم من أن الكلمتين لهما نفس المعنى.
• تعدد المعاني هو الظاهرة التي تحمل فيها الكلمة الواحدة معاني متعددة. لذلك قد يؤدي البحث إلى استرداد مستندات غير ذات صلة تحتوي على الكلمات المطلوبة بالمعنى الخاطئ. على سبيل المثال ، من المحتمل أن يبحث عالم النبات ومبرمجوا الكمبيوتر عن كلمة "شجرة" لأغراض مختلفة.

التطبيقات التجارية

استخدم التحليل الدلالي الكامن للمساعدة في إجراء عمليات بحث عن براءات الاختراع السابقة.

تطبيقات التحليل الدلالي الكامن على الذاكرة البشرية

شاع استخدام التحليل الدلالي الكامن في الذاكرة البشرية، وخاصة في مجالات التذكر الحر والبحث في الذكريات. وبحسب قياسات التحليل الدلالي الكامن، توجد هناك علاقة إيجابية بين التشابه الدلالي لكلمتين واحتمالية استدعاء الكلمات واحدة تلو الأخرى في مهام التذكر الحر باستخدام قوائم أسماء شائعة عشوائية.

ولوحظ أنه في هذه الحالات، كان وقت الاستجابة المتبادل بين الكلمات المتشابهة أسرع بكثير من الوقت بين الكلمات غير المتشابهة. يشار إلى هذه النتائج باسم التأثير الدلالي للقرب.

عندما أخطأ المشاركون في هذه التجربة في تذكر العناصر المدروسة، مالت أخطاؤهم إلى أن تكون عناصر أكثر ارتباطا من الناحية الدلالية بالعنصر المطلوب وموجودة في قائمة مدروسة مسبقا. ويبدو أن اقحام القائمة السابقة هذه، كما أصبحت تسمى، تنافس مع العناصر الموجودة في قائمة التذكر الحالية عند المشاركين.

هنالك نموذج آخر أيضًا في دراسات الذاكرة يسمى فضاءات الارتباط بالكلمات (بالإنجليزية: Word Association Spaces (WAS))‏، من خلال جمع بيانات الارتباط الحر من سلسلة من التجارب والتي تتضمن مقاييس لترابط الكلمات لأكثر من 72,000 زوج من الكلمات المميزة.

التنفيذ

يجري تفريق القيمة المنفردة عادة باستخدام أساليب المصفوفة الكبيرة (خوارزمية لانكزوس) ويمكن أيضا حسابها تدريجيا باستخدام متطلبات موارد حوسبية منخفضة عبر نهج يشبه الشبكة العصبية، والذي لا يتطلب الاحتفاظ بالمصفوفة الكبيرة كاملة الرتبة في الذاكرة.

طورت مؤخرا خوارزمية لتفريق القيمة المنفردة، سريعة وتزايدية وتتطلب موارد ذاكرة منخفضة ومخصصة للمصفوفات الكبيرة. وتتوفر تطبيقات ماتلاب (MATLAB) و بايثون (Python) لهذه الخوارزميات السريعة.

وفرت خوارزمية براند (2003) حلاً دقيقًا على النقيض من التقريب العشوائي الذي اقترحه جوريل وويب (2005). وأحرز تقدم كبير في السنوات الأخير لتقليل التعقيد الحسابي لتفريق القيمة المنفردة. على سبيل المثال وباستخدام خوارزمية (ARPACK) المتوازية لإجراء تفريق قيمة ذاتية متوازية، من الممكن تسريع حساب تفريق القيمة المنفردة مع توفير جودة تنبؤ مماثلة.

المحدودية

• قد يكون من الصعب تفسير الأبعاد الناتجة. على سبيل المثال:

{(سيارة)، (شاحنة)، (زهرة)} ↦ {(1.3452 * سيارة + 0.2828 * شاحنة), (زهرة)}

(1.3452 * سيارة + 0.2828 * شاحنة) يمكن تفسير المكون على أنه "مركبة". على اي حال، فمن المحتمل جدا أن تحصل الحالات القريبة من

{(سيارة), (زجاجة), (زهرة)} ↦ {(1.3452 * سيارة + 0.2828 * زجاجة), (زهرة)}.

تؤدي هذه النتائج إلى علاقات رياضية يمكن تفسيرها، ولكنها ليست واضحة في اللغة الطبيعية. ومع ذلك، يمكن تفسير المكون (1.3452 * سيارة + 0.2828 * زجاجة) لأن كلا من الزجاجات والسيارات مصنوعة من مواد شفافة وغير شفافة، وهي مصنوعة من قبل الإنسان، ومن المرجح أن تحتوي على شعارات أو كلمات على سطحها.. لذلك، يمكن القول أن هذين المفهومين "يشتركان في الدلالات". أي أنه قد لا توجد كلمة واحدة في اللغة المعنية تصفهما تماما، وقد تتطلب عملية التفسير فهمًا أعمق للسياق.

• يواجه التحليل الدلالي الكامن من صعوبات في قدرته على التفريق بين المعاني المختلفة للكلمة الواحدة. وذلك لأن التحليل الدلالي الكامن يمثل كل كلمة كنقطة واحدة في الفضاء، مما يعني أن كل ظهور للكلمة يعامل على أنه له نفس المعنى. على سبيل المثال، يعتبر التحليل الدلالي الكامن حدوث "كرسي الرئاسة" في وثيقة تحتوي على "رئيس كرسي المجلس" وفي وثيقة منفصلة تحتوي على "صانع الكرسي" هو نفسه.

وهذا يؤدي إلى أن يكون تمثيل المتجه للكلمة متوسطًا لجميع المعاني المختلفة للكلمة في المجموعة، مما قد يجعل من الصعب المقارنة بين الكلمات. ومع ذلك، يمكن أن يقلل تأثير هذه المشكلة إلى حد كبير في حالة الكلمات التي لها معنى سائد في جميع أنحاء المجموعة.

• نموذج حقيبة الكلمات (BOW) له قيود، حيث أنه يمثل النص كمجموعة غير مرتبة من الكلمات.
• يفترض التحليل الدلالي الكامن أن الكلمات والوثائق تشكل نموذج توزيع احتمالي طبيعي (توزيع غاوس) مشتركا (فرضية إرغوديك). ومع ذلك، لوحظ أن البيانات المرصودة تتوافق بشكل أفضل مع نموذج توزيع بواسون (قانون بواسون للأعداد الصغيرة).

طور بديل حديث للتحليل الدلالي الكامن، يسمى التحليل الدلالي الكامن الاحتمالي، والذي يستند إلى نموذج متعدد الحدود. يُزعم أن هذا النموذج الجديد يعطي نتائج أفضل من التحليل الدلالي الكامن القياسي.

الطرق البديلة

التجزئة الدلالية

تربط الوثائق في التجزئة الدلالية إلى عناوين الذاكرة بواسطة شبكة عصبية ربطا يجعل الوثائق المتشابهة دلالياً قريبة من بعضها البعض. تقوم الشبكة العصبية العميقة بإنشاء نموذج رسومي لمتجهات عدد الكلمات المستمدة من مجموعة كبيرة من الوثائق.

يمكن بعد ذلك العثور على الوثائق المماثلة لمستند الاستعلام ببساطة عن طريق الوصول إلى جميع العناوين التي تختلف عن عنوان مستند الاستعلام ببضعة بتات فقط. تعتبر هذه الطريقة التي تعتمد على توسيع كفاءة الترميز المتجانس للتقريب المطابق أسرع بكثير من التجزئة الحساسة للموقع، وهي أسرع طريقة حالية.

الفهرسة الدلالية الكامنة

الفهرسة الدلالية الكامنة (بالإنجليزية: Latent semantic indexing (LSI))‏ هي طريقة للفهرسة والاسترداد تستخدم تقنية رياضية تسمى تفريق القيمة المنفردة لتحديد الأنماط في العلاقات بين المصطلحات والمفاهيم الموجودة في مجموعة غير مهيكلة من النصوص.

تستند الفهرسة الدلالية الكامنة على مبدأ أن الكلمات المستخدمة في نفس السياقات تميل إلى أن تكون ذات معانٍ متشابهة. وتتمثل الميزة الرئيسة للفهرسة الدلالية الكامنة في قدرتها على استخراج المحتوى المفاهيمي لنص معين من خلال إنشاء ارتباطات بين تلك المصطلحات التي تظهر في سياقات متشابهة.

تُعدُّ الفهرسة الدلالية الكامنة تطبيقًا آخر لتحليل المراسلات، وهي تقنية إحصائية متعددة المتغيرات طورها جان بول بينزكري في أوائل سبعينيات القرن الماضي.

أطلق عليه اسم "الفهرسة الدلالية الكامنة" بسبب قدرته على ربط المصطلحات ذات الصلة الدلالية التي لا تظهر ظهورًا مباشرا في مجموعة من النصوص، وقد طبق لأول مرة على النصوص في شركة بيلكور أواخر الثمانينيات.

كما أن الطريقة المسماة أيضًا بالتحليل الدلالي الكامن (LSA)، تكشف عن الهيكل الدلالي الكامن الأساسي في استخدام الكلمات في مجموعة من النصوص وكيف يمكن استخدامها لاستخراج معنى النص استجابةً لاستفسارات المستخدم، والتي يشار إليها عادةً بالبحث عن المفاهيم.

سترجع الاستفسارات أو عمليات البحث عن المفاهيم على مجموعة من المستندات التي خضعت للفهرسة الدلالية الكامنة نتائج متشابهة مفهوميًا في المعنى مع معايير البحث حتى لو لم تشارك النتائج كلمة أو كلمات محددة مع معايير البحث.

فوائد الفهرسة الدلالية الكامنة

تساعد الفهرسة الدلالية الكامنة في التغلب على الترادفات بزيادة دقة استرجاع المعلومات، وهو أحد أكثر القيود إشكالية في استعلامات الكلمات الرئيسية المنطقية ونماذج الفضاء المتجهي. يحدث الترادف عندما يكون لكلمة أو عبارة أكثر من معنى واحد، مما قد يؤدي إلى عدم التطابق بين المفردات التي استخدمها مؤلفوا الوثائق ومستخدموا أنظمة استرجاع المعلومات. وقد تؤدي الاستعلامات المنطقية أو الكلمات الرئيسية نتيجة لذلك إلى نتائج غير ذات صلة أو إلى فقدان معلومات ذات صلة.

تستخدم الفهرسة الدلالية الكامنة أيضًا في تصنيف المستندات تلقائيًا. وقد أظهرت العديد من التجارب أن هناك بعض أوجه التشابه بين الطريقة التي تعالج بها الفهرسة الدلالية الكامنة والبشر النص وآلية تصنيفه.

تصنيف المستندات هو عملية تخصيص المستندات إلى فئة واحدة أو أكثر محددة مسبقًا بناءً على تشابهها مع المحتوى المفاهيمي للفئات. تستخدم الفهرسة الدلالية الكامنة أمثلة على المستندات لإنشاء الأساس المفاهيمي لكل فئة.

تقارن المفاهيم الواردة في الوثائق أثناء عملية التصنيف بالمفاهيم الواردة في أمثلة الوثائق. وتُعين فئة (أو فئات) للوثائق بناءً على أوجه التشابه بين المفاهيم التي تحتوي عليها والمفاهيم المضمنة في أمثلة الوثائق.

يمكن أيضًا تحقيق التجميع الديناميكي المستند إلى المحتوى المفاهيمي للوثائق باستخدام الفهرسة الدلالية الكامنة. وهو عملية ربط المستندات بناءً على تشابهها المفاهيمي، دون استخدام أمثلة للوثائق لإنشاء الأساس المفاهيمي لكل مجموعة. يعتبر التجميع الديناميكي مفيدًا جدًا عند التعامل مع مجموعة غير معروفة من النصوص العشوائية.

تعتمد الفهرسة الدلالية الكامنة في جوهرها على استقلالها عن اللغة، وذلك بفضل استخدامها لنهج رياضي صارم. هذا يعني أنها يمكنها استخلاص المحتوى الدلالي للمعلومات المكتوبة بأي لغة، دون الحاجة إلى استخدام هياكل إضافية مثل القواميس أوالمراجع.

كما يمكن للفهرسة الدلالية الكامنة أداء البحث عن المفاهيم عبر اللغات والتصنيف بناءا على الأمثلة. على سبيل المثال، يمكن إجراء استعلام بلغة واحدة، مثل الإنجليزية، وسترجع نتائج مماثلة من الناحية المفاهيمية حتى إذا كانت مكتوبة بلغة مختلفة تمامًا أو بلغات متعددة.

الفهرسة الدلالية الكامنة هي تقنية تحليلية يمكنها فهم معنى النص، وليس مجرد مطابقة الكلمات. يمكن استخدامها لمعالجة أي كائن يمكن التعبير عنه كنص، بما في ذلك سلاسل الأحرف الاعتباطية.

على سبيل المثال، أظهرت الاختبارات باستخدام ملخصات ميدلاين أن الفهرسة الدلالية الكامنة يمكنها أن تصنف الجينات تصنيفا فعالا. وذلك لأنها يمكنها فهم المعلومات البيولوجية المحتواة في عناوين وملخصات الاستشهادات في ميدلاين، مثل الوظائف البيولوجية للجين وتفاعلاته مع الجينات الأخرى.

تتكيف الفهرسة الدلالية الكامنة تلقائيًا مع المصطلحات الجديدة والمتغيرة، كما أنها متسامحة مع الضوضاء، مثل الأخطاء الإملائية والمطبعية والرموز غير القابلة للقراءة. هذا يجعلها تقنية مفيدة لتطبيقات التعرف الضوئي على الحروف (OCR) وتحويل النص إلى كلام. بالإضافة إلى ذلك، يمكن استخدام الفهرسة الدلالية الكامنة بفعالية مع البيانات المتفرقة والغامضة والمتناقضة.

الفهرسة الدلالية الكامنة هي تقنية قوية يمكن استخدامها لتحليل وفهم معنى النص. ولا تتطلب هذه التقنية أن يكون النص مكتوباً بصيغة جملة، بل يمكن أن تعمل مع مجموعة متنوعة من التنسيقات النصية، بما في ذلك القوائم والملاحظات والبريد الإلكتروني والمحتوى القائم على الويب.

يمكن استخدام الفهرسة الدلالية الكامنة لتحديد الأنماط في العلاقات بين المصطلحات والمفاهيم الهامة الموجودة في النصوص طالما أن مجموعة النصوص هذه تحتوي على مصطلحات متعددة.

أثبتت الفهرسة الدلالية الكامنة أنها حل مفيد للعديد من مشاكل المطابقة المفاهيمية.. وقد ثبت أن هذه التقنية تلتقط المعلومات الرئيسية للعلاقة، بما في ذلك المعلومات السببية والموجهة نحو الهدف والمعلومات التصنيفية.

التسلسل الزمني للفهرسة الدلالية الكامنة

منتصف الستينيات -وصف واختبار تقنية تحليل العوامل لأول مرة (هـ. بوركو وم. بيرنيك)

• 1988 - نُشرت ورقة رئيسية حول تقنية الفهرسة الدلالية الكامنة.
• 1989 - أول براءة اختراع.
• 1992 - أول استخدام لتقنية الفهرسة الدلالية الكامنة لتعيين المقالات للمراجعين.
• 1994 - منح براءة الاختراع للتطبيق العابر للغات القائم على تقنية الفهرسة الدلالية الكامنة (لانداور وآخرون).
• 1995 - أول استخدام لتقنية الفهرسة الدلالية الكامنة في تقدير الأطروحات (فولتز وآخرون، لانداور وآخرون).
• 1999 - أول تنفيذ لتقنية الفهرسة الدلالية الكامنة لصالح المجتمع الاستخباراتي لتحليل النصوص غير المهيكلة (SAIC).
• 2002 - تقديم منتج يعتمد على الفهرسة الدلالية الكامنة للوكالات الحكومية ذات الطابع الاستخباراتي (SAIC).

رياضيات الفهرسة الدلالية الكامنة

تستخدم الفهرسة الدلالية الكامنة تقنيات الجبر الخطي الشائعة لتعلم الترابطات المفاهيمية في مجموعة من النصوص. تتضمن العملية عموما بناء مصفوفة مصطلح-مستند مرجحة، وتنفيذ تفريق القيم المنفردة (Singular Value Decomposition) على المصفوفة، واستخدام المصفوفة لتحديد المفاهيم الموجودة في النص.

مصفوفة المصطلح-الوثيقة

تبدأ الفهرسة الدلالية الكامنة ببناء مصفوفة المستند-المصطلح، $A$، لتحديد تكرار المصطلحات $m$ الفريدة في مجموعة $n$ الوثائق. في مصفوفة المصطلح-الوثيقة، يمثل كل مصطلح بصف, وكل وثيقة تمثل بعمود، وكل خلية من خلايا المصفوفة، $a_{ij}$، ثمثل في البداية عدد المرات التي يظهر فيها المصطلح المرتبط في الوثيقة المشار إليها، $\mathrm {tf_{ij}}$. عادة ما تكون هذه المصفوفة كبيرة جدًا ومتناثرة.

وبمجرد بناء مصفوفة الصطلح-الوثيقة، يمكن تطبيق وظائف الترجيح المحلية والعمومية عليها لتكييف البيانات. تقوم دوال الترجيح بتحويل كل خلية، $a_{ij}$ من $A$، إلى حاصل ضرب وزن مصطلح محلي، $l_{ij}$، الذي يصف التكرار النسبي للمصطلح في الوثيقة، والوزن الشامل، $g_{i}$، الذي يصف التكرار النسبي للمصطلح ضمن مجموعة الوثائق كاملة.

بعض الوظائف المحلية الشائعة للترجيح محددة في الجدول التالي:

ثنائي		$l_{ij}=1$ if the term exists in the document, or else $0$
تردد المصطلح		$l_{ij}=\mathrm {tf} _{ij}$, the number of occurrences of term $i$ in document $j$
الخوارزمية		$l_{ij}=\log(\mathrm {tf} _{ij}+1)$
التطبيع المضاف		$l_{ij}={\frac {{\Big (}{\frac {\mathrm {tf} _{ij}}{\max _{i}(\mathrm {tf} _{ij})}}{\Big )}+1}{2}}$

بعض الوظائف العمومية الشائعة للترجيح محددة في الجدول التالي:

ثنائي		$g_{i}=1$
عادي		$g_{i}={\frac {1}{\sqrt {\sum _{j}\mathrm {tf} _{ij}^{2}}}}$
الوزن الدلالي		$g_{i}=\mathrm {gf} _{i}/\mathrm {df} _{i}$, where $\mathrm {gf} _{i}$ is the total number of times term $i$ occurs in the whole collection, and $\mathrm {df} _{i}$ is the number of documents in which term $i$ occurs.
تردد المصطلح-معكوس تردد الوثيقة		$g_{i}=\log _{2}{\frac {n}{1+\mathrm {df} _{i}}}$
العشوائية		$g_{i}=1+\sum _{j}{\frac {p_{ij}\log p_{ij}}{\log n}}$, where $p_{ij}={\frac {\mathrm {tf} _{ij}}{\mathrm {gf} _{i}}}$

تشير الدراسات التجريبية على الفهرسة الدلالية الكامنة إلى أن وظائف ترجيح السجل والإنتروبيا(الإنتروبيا هي مقياس لعشوائية نظام) تعمل جيدا، من الناحية العملية، مع العديد من مجموعات البيانات. بمعنى آخر، يحسب كل إدخال $a_{ij}$ من $A$ على النحو التالي:

$g_{i}=1+\sum _{j}{\frac {p_{ij}\log p_{ij}}{\log n}}$

$a_{ij}=g_{i}\ \log(\mathrm {tf} _{ij}+1)$

تصنيف تفريق القيمة المنفردة المخفض

يجرى تفريق القيمة المنفردة بترتيب مخفض على المصفوفة لتحديد أنماط العلاقات بين المصطلحات والمفاهيم الواردة في النص. يشكل تفريق القيمة المنفردة أساس الفهرسة الدلالية الكامنة.

فهو يحسب الفضاءات المتجهية للمصطلحات والوثائق بتقريب مصفوفة تردد المصطلح الواحد $A$، إلى ثلاثة مصفوفات— m بحجم r الفضاء المتجهي لمفهوم المصطلح $T$، r بحجم r مصفوفة القيم المنفردة $S$، و n بحج r الفضاء المتجهي لمفهوم الوثيقة، $D$، والتي تحقق العلاقات التالية:

$A\approx TSD^{T}$

$T^{T}T=I_{r}\quad D^{T}D=I_{r}$

$S_{1,1}\geq S_{2,2}\geq \ldots \geq S_{r,r}>0\quad S_{i,j}=0\;{\text{where}}\;i\neq j$

تمثل A مصفوفة مرجحة من عدد m من المصطلحات الفريدة في مجموعة من النصوص ذات عدد n من الوثائق. تمثل T مصفوفة من متجهات المصطلحات حيث يمثل r رتبة A - مقياس لأبعادها الفريدة ≤ min(m,n). تمثل S مصفوفة قطرية من القيم المفردة المتناقصة، وتمثل D مصفوفة من متجهات المستندات.

في هذه الصيغة، تمثل A مصفوفة مرجحة m من عدد n من تردد المصطلح في مجموعة من النصوص حيث m عدد المصطلحات الفريدة، و n هي عدد الوثائق. T تحسب m من خلال r مصفوفة متجهات المصطلح حيث r هي ترتيب A—مقياس لأبعاده الفريدة ≤ min(m,n). S تحسب r من خلال r مصفوفة قطرية من القيم المنفردة المتناقصة، و D تحسب n من خلال r مصفوفة متجهات الوثيقة.

يقتطع بعد ذلك تفريق القيمة المنفردة لتقليل الترتيب من خلال الاحتفاظ بأكبر إدخالات قطرية فقط k' « r في مصفوفة القيمة المفردة S ، حيث يكون 'k' عادةً بالترتيب من 100 إلى 300 بُعد . تقلل هذه العملية أحجام مصفوفة المتجهات والمصطلح إلى 'm بمقدار k و n بمقدار ك' على التوالي. إن لعملية تفريق القيمة المنفردة إلى جانب هذا التخفيض تأثير في الحفاظ على المعلومات الدلالية ذات الأهمية في النص مع تقليل الضوضاء وغيرها من الشوائب غير المرغوب فيها في الفضاء الأصلي لـ A. وغالبًا ما يُشار إلى هذه المجموعة المخفضة من المصفوفات بصيغة معدلة مثل:

A ≈ A_k = T_k S_k D_k^T

تحسب خوارزميات الفهرسة الدلالية الكامنة الفعالة القيم الأولى المفردة فقط 'k ومتجهات المصطلحات والوثائق عوضا عن حساب ملف تفريق القيمة المنفردة كاملا ومن ثم اقتطاعه.

لاحظ أن هذه العملية لتخفيض الرتب هي في الأساس نفس عملية إجراء تحليل العنصر الرئيسي (PCA) على المصفوفة A، باستثناء أن تحليل العنصر الرئيسي يطرح المتوسطات، وأنه يفقد آلية تفريغ المصفوفة A، ما يجعله غير قابل للتطبيق للمعاجم الكبيرة.

الاستعلام عن الفضاء المتجهي للفهرس الدلالي الكامن وتعزيزه

تحدد المصفوفات T_k و D_k المحسوبة الفضاءات المتجهية للمصطلح والمستند، والتي والتي تجسد المعلومات المفاهيمية من خلال القيم المفردة المحسوبة، S_k، والمستمدة من مجموعة الوثائق. إن تشابه المصطلحات أو الوثائق داخل هذه الفضاءات هو العامل الذي يحدد مدى قربها من بعضها البعض في هذه الفضاءات، ويحسب عادةُ كدالة للزاوية بين المتجهات المقابلة.

تستخدم نفس الخطوات لتحديد المتجهات التي تمثل نص الاستعلامات والوثائق الجديدة داخل فضاء المستند الخاص بالفهرس الدلالي الكامن الموجود. من خلال تحويل بسيط للمعادلة A = T S D^T إلى ما معادلة تعادلها D = A^T T S⁻¹ يمكن إنشاء متجه جديد، 'd، لاستعلام أو لوثيقة جديدة بحساب عمود جديد في A ثم ضرب عمود جديد ب T S⁻¹. يحسب العمود الجديد في A باستخدام ترجيحات المصطلح العمومية المشتقة في الأصل وتطبيق نفس دالة الترجيح المحلية على المصطلحات الموجودة في الاستعلام أو في الوثيقة الجديدة.

عيب واحد في حساب المتجهات بهذه الطريقة ، عند إضافة وثائق جديدة قابلة للبحث هو تجاهل المصطلحات التي لم تكن معروفة أثناء مرحلة تفريق القيمة المنفردة للمؤشر الأصلي. لن يكون لهذه المصطلحات أي تأثير على الترجيحات العمومية والارتباطات المُتَعَلّمة من مجموعة النصوص الأصلية. ومع ذلك، لا تزال المتجهات المحسوبة للنص الجديد ذات صلة كبيرة بمقارنات التشابه مع جميع متجهات الوثائق الأخرى.

تسمى عملية تعزيز فضاءات الوثيقة المتجهية للفهرس الدلالي الكامن بوثائق جديدة بهذه الطريقة ب "الطي". على الرغم من أن عملية الطي لا تأخذ في الاعتبار المحتوى الدلالي الجديد للنص الجديد، فإن إضافة عدد كبير من الوثائق بهذه الطريقة سيظل يوفر نتائج جيدة للاستفسارات طالما أن المصطلحات والمفاهيم التي تحتويها ممثلة جيدا ضمن الفهرس الدلالي الكامن الذي تضاف إليه.

عندما يلزم تضمين مصطلحات ومفاهيم مجموعة جديدة من الوثائق في الفهرس الدلالي الكامن، فيجب حينها إعادة حساب مصفوفة الوثيقة-المصطلح، وتفريق القيمة المنفردة أو الحاجة إلى طريقة تحديث تزايدية (مثل تلك الموضحة في ).

الاستخدامات الأخرى للفهرسة الدلالية الكامنة

من المعترف به عمومًا أن القدرة على التعامل مع النصوص على أساس دلالي أمر ضروري لأنظمة استرداد المعلومات الحديثة. ونتيجة لذلك ، فقد توسع استخدام الفهرسة الدلالية الكامنة توسعا ملحوظ في السنوات الأخيرة مع التغلب على التحديات السابقة المتعلقة بقابلية التوسع والأداء.

تُستخدم الفهرسة الدلالية الكامنة في مجموعة متنوعة من تطبيقات استرداد المعلومات ومعالجة النصوص ، على الرغم من أن تطبيقها الأساسي كان في البحث عن المفاهيم والتصنيف الآلي للوثائق. فيما يلي بعض الطرق الأخرى التي تستخدم فيها استخدام الفهرسة الدلالية الكامنة:

• استكشاف المعلومات. (eDiscovery، المجتمع الحكومي / الاستخباراتي، النشر)
• التصنيف الآلي للمستندات. (eDiscovery، المجتمع الحكومي / الاستخباراتي، النشر)
• تلخيص النصوص. (eDiscovery، النشر)
• اكتشاف العلاقات. (الحكومة، المجتمع الاستخباراتي، الشبكات الاجتماعية)
• الإنشاء التلقائي لمخططات روابط الأفراد والمنظمات. (الحكومة، المجتمع الاستخباراتي)
• مطابقة الأوراق الفنية والمنح مع المراجعين. (الحكومة)
• دعم العملاء عبر الإنترنت. (إدارة العملاء)
• تحديد تأليف المستندات. (التعليم)
• التعليق التلقائي على الكلمات المفتاحية للصور.
• فهم شفرة المصدر للبرمجيات. (هندسة البرمجيات)
• تصفية الرسائل غير المرغوب فيها. ] (إدارة النظام)
• نمذجة المعلومات.
• تقدير درجات المقالات. (التعليم)
• اكتشاف الأدبيات.
• توقع عوائد الأسهم.
• تحليل محتوى الأحلام.(علم النفس)

Sure, here is a possible translation of the text into Arabic:

تحديات الفهرسة الدلالية الكامنة

ارتكزت التحديات المبكرة للفهرسة الدلالية الكامنة على قابلية التوسع والأداء، حيث تتطلب الفهرسة الدلالية الكامنة أداءً حاسوبيا عاليا مرتفعًا نسبيًا وذاكرة أكبر مقارنةً بتقنيات استرداد المعلومات الأخرى.

بدأت هذه التحديات بالتشتت إلى حد ما مع توفر المعالجات الحديثة عالية السرعة وتوفر موارد الذاكرة غير المكلفة.

التطبيقات الفعلية للفهرسة الدلالية الكامنة في وقعنا المعاش والتي تضمنت أكثر من 30 مليون وثيقة عولجت بالكامل من خلال حسابات المصفوفة وتفريق القيمة المنفردة شائعة في بعض تطبيقات الفهرسة الدلالية الكامنة.

كان هناك تحدي آخر للفهرسة الدلالية الكامنة هو الصعوبة المزعومة في تحديد العدد الأمثل للأبعاد المستخدمة لإجراء تفريق القيمة المنفردة. وكقاعدة عامة، يسمح عدد أقل من الأبعاد بإجراء مقارنات أوسع للمفاهيم الواردة في مجموعة من النصوص، بينما يسمح عدد أكبر من الأبعاد بإجراء مقارنات أكثر تحديدًا (أو أكثر صلة) للمفاهيم.

يقتصر العدد الفعلي للأبعاد التي يمكن استخدامها على عدد الوثائق في المجموعة. وقد أظهرت الأبحاث أن حوالي 300 بعدًا ستوفر عادةً أفضل النتائج مع مجموعات الوثائق متوسطة الحجم (مئات الآلاف من المستندات) وربما 400 بعدًا لمجموعات الوثائق الأكبر (ملايين المستندات).

ومع ذلك، تشير الدراسات الحديثة إلى أن 50-1000 بعدًا مناسبة حسب حجم وطبيعة مجموعة الوثائق. لا يصلح التحقق من نسبة التباين المحتفظ بها، على غرار تحليل المكونات الأساسية، لتحديد الأبعاد المثلى للفهرسة الدلالية الكامنة.

هناك طريقتان محتملتان للعثور على الأبعاد الصحيحة باستخدام اختبار المرادف أو توقع الكلمات المفقودة. عند استخدام مواضيع الفهرسة الدلالية الكامنة كميزات في طرق التعلم الخاضع للإشراف، يمكن استخدام قياسات خطأ التنبؤ للعثور على الأبعاد المثالية.