ما هي معالجة اللغة الطبيعية وتطبيقاتها العملية (شرح مبسط)

اللغة أساس التواصل البشري منذ آلالاف السنوات، وأي تطور يلحق بها يُعد علامة فارقة في تاريخ المجتمعات البشرية، فاكتشاف الكتابة قبل أكثر من خمسة آلالاف عام ساهم في وضع بذور الحضارات التي نعيش فيها اليوم.

لهذا السبب فإن منح الحواسيب والآلات القدرة على فهم اللغة وتوليدها مثلما نفعل نحن البشر سوف يكون بلا شك نقطة فارقة في مستقبلنا، ولا أستطيع القول أننا فعلنا هذا، ولكننا اقتربنا للغاية من خلال التطور السريع في معالجة اللغات الطبيعية Natural Language Processing.

ما هي معالجة اللغة الطبيعية NLP؟

معالجة اللغة الطبيعية Natural Language Processing أو اختصارًا NLP هي العلم الذي يجمع بين اللغة وعدد من مجالات علم الحاسوب، مثل: تعلم الآلة Machine Learning، التعلم العميق Deep Learning، الشبكات العصبية الصناعية Artificial Neural Networks.

تحاول معالجة اللغة الطبيعية جعل الآلة قادرة على فهم اللغة البشرية وتوليدها، سواء اللغة المكتوبة أو اللغة المسموعة، كما تحاول تحسين التواصل الذي يتم بين الإنسان والآلة، وجعله يشابه ما يحدث بين الإنسان والإنسان.

تُعد معالجة اللغة الطبيعية أيضًا مجال من أكثر مجالات الذكاء الاصطناعي Artificial Intelligence أهمية وصعوبة في نفس الوقت، فهي أساسية لتحسين أجهزة وآلالات الذكاء الاصطناعية، ولكن لديها أيضًا العديد من التحديات التي سنناقشها فيما بعد في هذا المقال.

ومعالجة اللغة الطبيعية ليست علمًا حديثًا بل أن أصولها النظرية ترجع إلى مئات الأعوام، وبداية وجودها الفعلي تعود إلى 60 عام من اليوم، وهي تحاول دمج خوارزميات الحوسبة اللغوية computational linguistics بالإضافة إلى الخوارزميات الإحصائية الخاصة بتعلم الآلة والتعلم العميق، وذلك لجعل الآلة قادرة على فهم اللغة ومعانيها المعقدة.

تُستخدم هذه التقنية في العديد من الأشياء التي نستخدمها يوميًا، بدءًا من محركات البحث Search Engines، وأنظمة الكتابة، وتصحيح الأخطاء في لوحات كتابة الهواتف المحمولة، وحتى في البحث الطبي ومجالات المال والأعمال والبحث الأكاديمي، وسوف نتحدث عن العديد من استخدامات الـ NLP.

والمقصود باللغة الطبيعية في الـ NLP هي اللغات البشرية كالعربية والإنجليزية التي نشأت وتطورت بدون تخطيط أو قواعد مُوضوعة مسبقًا، ولديها العديد من اللهجات المحلية واللهجات العامية المختلفة، كما أنها تتطور تلقائيًا، ولذا تتطلب تحديثًا في استخراج قواعدها مع مرور الوقت.

أما اللغة الاصطناعية Artificial Language، فهي مثل لغات البرمجة ك Python وغيرها، والتي وضع الإنسان قواعدها ومصطلحاتها، وهي عادة لا تُستخدم بين البشر وبعضهم البعض، وإنما بين البشر والحواسيب لكونها واضحة ومباشرة، ولا تحتوي على أي غموض أو لبس لغوي أو احتمال لوجود معنى آخر لأوامرها.

تاريخ معالجة اللغة الطبيعية NLP

من الصعب سرد تاريخ معالجة اللغة الطبيعية، وهذا بسبب كون علم الـ NLP قديم قدم التفكير والفلسفات اللغوية، ولذا فإننا سوف نحاول اختصاره في عدد من النقاط بهدف التبسيط:

1. القرن السابع عشر الميلادي:

كان هناك جهود فلسفية جبارة في القرن السابع عشر الميلادي من أجل وضع نماذج رياضية لغوية، وكان من أشهر الفلاسفة الذين بذلوا جهودًا في هذا المجال: ديكارت وليبنتز، وقد توالي بعدهم العديد من الفلاسفة وعلماء النفس والرياضيات الذين يحاولون دراسة اللغة من جوانب مختلفة.

2. ثلاثينات القرن العشرين:

في أوج الثورة الصناعية وبداية الاختراعات الحديثة التي نعرفها اليوم، تشجع الباحثون من أجل محاولة التوصل إلى آلة تستطيع ترجمة الكلام بين اللغتين الفرنسية والإنجليزية، ولكن لم تؤت هذه المحاولة الثمار المرجوة منها.

3. في العام 1950م:

قام العالم المشهور وأب الذكاء الاصطناعي آلان تورنغ بتقديم اختبار تورنغ إلى العالم، والذي ينص على؛ لو أن نتيجة نموذج الذكاء الاصطناعي لا يمكن تفرقتها عما ينتجه الإنسان ففي هذه الحالة يكون هذا النموذج بكفاءة عالية، وهو القانون الذي يستخدم كثيرًا في معالجة اللغة الطبيعية NLP.

4. في العام 1954م:

كانت بداية التجربة الشهيرة “جورج تاون” مع IBM، والتي كانت تقوم بالترجمة الآلية التلقائية لـ 60 جملة من اللغة الروسية إلى اللغة الإنجليزية والعكس، وهذا ما يُعد طفرة كبيرة للغاية في علم معالجة اللغة الطبيعية.

5. في ستينات القرن العشرين:

قام العديد من علماء اللغة وعلى رأسهم نعوم تشومسكي بإنجازات كبيرة في مجال نظرية اللغة وفي العلوم اللغوية.

6. في العام 1968م:

أطلقت MIT برنامج “SHRDLU” على يد تيري وينجراد، والذي كان من أوائل البرامج التي تقوم بحوار حقيقي، لبق، ومعقول مع آلة.

7. في العام 1991م:

مع بداية انتشار الحواسيب تم إطلاق برنامج “Dr. Sbaitso” الذي كان عبارة عن ذكاء اصطناعي يحاكي المعالج النفسي البشري على نظام التشغيل DOS.

8. في العام 2006م:

تم إطلاق النظام الشهير Watson من IBM، والذي استخدم خوارزميات قوية للغاية وتمرن على كميات كبيرة من البيانات.

9. في العقد الثاني من القرن الحادي والعشرين:

كان هذا العقد بداية انطلاق أنظمة المساعدة الافتراضية، مثل: سيري من آبل، وأليكسا من أمازون، ومساعد جوجل، وغيرها.

أنواع معالجة اللغة الطبيعية NLP

هناك العشرات من أنواع وتقنيات Techniques معالجة اللغات الطبيعية التي لها المئات من الاستخدامات والتطبيقات التي تسهل علينا حياتنا كل يوم.

وإليك نبذة عن النوعين الكبيرين لمعالجة اللغة الطبيعية NLP

في هذا المقال سوف نتطرق إلى أهم التقنيات الخاصة بمعالجة اللغات الطبيعية، ولكن قبل ذلك علينا التوضيح بأنه يمكن تقسيم هذه الأنواع والتقنيات إلى عنوانين كبيرين، هما:

فهم اللغة الطبيعية Natural Language Understanding أو NLU

هذا الجزء يتعلق بالتعامل مع اللغة الطبيعية وفهمها بعد تقديمها كمدخلات للحاسوب أو الآلة سواء كانت هذه اللغة مُقدمة على هيئة نص أو صوت، فالهدف هنا هو جعل الآلة تفهم اللغة الطبيعية.

توليد اللغة الطبيعية Natural Language Generation أو NLG

توليد اللغة الطبيعية هي التقنية التي تتيح للآلة بأن تستطيع توليد محتوى سواء نصي أو صوتي يشابه هذا الذي قد يولده الإنسان العادي، أي أنه في هذه التقنية تتعامل الآلة مع اللغة على أنها مخرجات لا مدخلات.

التقنيات المتعددة لمعالجة اللغة الطبيعية

1) التعرف على الكلام Speech recognition

يتم استخدام هذه التقنية على نطاق واسع هذه الأيام، وتُستخدم من أجل تحويل البيانات الصوتية إلى بيانات نصية، وهذا بهدف إعطاء الأوامر الصوتية أو طرح بعض الأسئلة بشكل صوتي بدون الحاجة إلى الكتابة.

تواجه هذه التقنية العديد من التحديات، مثل: تعدد اللهجات، والنطق غير الصحيح، والكلمات المتشابهة، والأخطاء اللغوية، وغيرها الكثير، ولكن على الرغم من هذا فإننا نشهد تطورًا ملحوظًا في تطبيقاتها كأليكسا وسيري.

قد تستخدم تقنية التعرف على الكلام Speech recognition في أنظمة المساعدة الافتراضية وفي خدمة العملاء والاستجابة إلى شكواهم، وعشرات الاستخدامات غيرها.

2) تصنيف النصوص Text Classification

تصنيف النصوص هو واحد من أكثر تقنيات معالجة اللغة الطبيعية استخدامًا وتشعبًا في وقتنا هذا، فهذه التقنية قد تم تطويرها منذ بدايات نشأة الـ NLP، بجانب هذا فهي الأكثر انتشارًا واستخدامًا في حياتنا اليومية، على سبيل المثال في تصنيف رسائل البريد الإلكتروني الخاصة بنا.

من خلال هذه التقنية نستطيع التعامل مع النصوص بمختلف أشكالها وأغراضها، ومن ثم نقوم بتوزيعها على تصنيفات مختلفة بناءًا على محتواها، ومن أبرز التقنيات الفرعية لتصنيف النصوص Text Classification:

أ) تصنيف الموضوعات Topic Classification

باستخدام هذه التقنية تتم معالجة النصوص المختلفة ومن ثم تحديد موضوعاتها الأساسية، ومن ثم ترتيبها حسب المواضيع الخاصة بها ووضعها في التصنيفات المناسبة لها.

تساعد هذه التقنية عند التعامل مع النصوص الكثيرة التي يصعب على الإنسان قراءتها، ووضعها في تصنيفات محددة سواء لصعوبتها أو لأخذها وقتًا وجهدًا كبيرًا.

كما تقوم العديد من الشركات باستخدام هذه التقنية في إدارة مشاكل العملاء خاصتها، حيث تمرر شكوى العملاء على مصنف ليضعها في تصنيفات محددة حسب النصوص بداخلها.

ب) تحديد النية Intent Detection

في هذه التقنية تقوم خوارزميات الذكاء الاصطناعي بالتعرف على الغايات والأهداف والنية من وراء النصوص أو الحديث، ولذا هذه التقنية تساعد العديد من الشركات على تحسين وإدارة أقسام كخدمة العملاء أو المبيعات بداخلها.

ج) الإسناد إلى الكاتب الحقيقي Authorship Attribution

هذه التقنية مثيرة للغاية إذ أنها تتعامل مع الأعمال الإبداعية التي تثير الجدل حول مؤلفيها، حيث من خلال تغذية الخوارزمية بالأعمال المختلفة للمؤلفين موضع الشك، ومن ثم تغذيتها بالعمل محل الجدال، تستطيع أن تنسب العمل لمؤلفه الحقيقي.

3) استخلاص النصوص Text Extraction

تقنية أخرى مهمة من تقنيات معالجة اللغة الطبيعية NLP هي استخلاص النصوص Text Extraction، وهي تقنية تساعد على توفير الكثير من الوقت والجهد عند الحاجة إلى البحث عن معلومات أو أجزاء محددة من النصوص بداخل كتب أو محتوى كبير للغاية وواسع.

وهناك العديد من الخوارزميات والتقنيات المهمة التي تندرج تحت التقنية الكبرى لاستخلاص النصوص:

ا) استخلاص الكلمات المفتاحية Keyword Extraction

تستطيع هذه التقنية بشكل أتوماتيكي أن تقوم باستخلاص أهم الكلمات المفتاحية والتعبيرات في نص أو مجموعة من النصوص، ويتم استخدام هذه التقنية بكثرة في محركات البحث Search Engines.

ب) استخلاص الأسماء ذات الدلالات Named Entity Recognition أو NER

هذه التقنية مهمة للغاية إذ أنها تجعل الآلة قادرة على التجاوب بشكل أفضل مع اللغة الطبيعية، حيث إنها تستطيع استخلاص الكلمات المقصود بها دلالات أخرى، مثل أن تكون اسم لشخص مشهور، اسم لفيلم أو مسلسل أو حتى اسم مكان.

4) الترجمة الآلية Machine Translation

كما نعرف من حديثنا عن تاريخ معالجة اللغة الطبيعية فقد كانت الترجمة الآلية واحدة من أولى المشكلات التي حاولت الـ NLP التوصل لحلول لها، والتي رغم وصولنا إلى درجة كبيرة من الاحترافية والدقة مثل التي في “ترجمة جوجل” إلا أن هناك الكثير أمامنا للوصول إلى دقة الترجمة البشرية.

5) تحليل المشاعر Sentiment Analysis

تحليل المشاعر Sentiment Analysis هي واحدة من أشهر تقنيات الـ NLP والتي لفتت أنظار العالم في الآونة الأخيرة، فهذه التقنية تحاول فهم المشاعر التي تكمن وراء النصوص وتحديد المواقف الناتجة عنها سواء كانت مشاعر معينة أو حيرة أو سخرية أو شك أو شيء آخر.

واليوم تستخدم العديد من الشركات هذه التقنية من أجل الرد التلقائي على عملائهم، فهي تستطيع تمييز الشكوى من المدح والتجاوب مع الاثنين بالطرق المناسبة حسب الأوامر المُحددة من قبل الشركة.

6) تلخيص النصوص الآلي Automatic Text Summarization

أتمتة عمليات التلخيص كانت أولوية لدى متخصصين معالجة اللغة الطبيعية على مدى عقود، وهذا لكون هذه التقنية تستطيع أن توفر علينا نحن البشر الكثير من الوقت والمجهود اللذان نستغرقهم في أداء هذه المهمة الصعبة.

والآن يستطيع الباحثون أن يقوموا بتلخيص العشرات من الأبحاث العلمية بمختلف تخصصاتها بدون بذل جهد كبير في معالجتهم والتعامل معهم ما ساعد على توفير وقت كبير لهم في أداء التجارب والأبحاث الخاصة بهم.

7) تصنيف أقسام الكلام Part of speech tagging

تحتاج الآلات عند التعامل مع اللغة أو النصوص إلى تحديد أو تصنيف أقسام الكلام، وهو ما يتم من خلال تقنية تصنيف أقسام الكلام Part of speech tagging، إذ يتم تقسيم الجملة إلى أجزائها من أفعال وصفات وأسماء وأحوال وغيرها، وهذا ما يساعد الآلة على الفهم الصحيح للنص أو الصوت الذي يرسله لها الإنسان.

8) فك التباس معاني الكلمات Word Sense Disambiguation أو WSD

بعض الكلمات لديها العديد من المعاني بل ولديها العديد من الأشكال النحوية (اسم، فعل، ….) وهو ما قد يسبب التباس للآلة، ويتطلب استخدام خوارزميات محددة من أجل معالجة هذه المشكلة.

تقنية فك التباس معاني الكلمات Word Sense Disambiguation أو WSD تتعامل مع سياق الجملة، ومن خلاله تستطيع أن تحدد المعنى المراد والمقصود لهذه الكلمة، ويتم هذا من خلال نماذج إحصائية معقدة مع ترجيح الكلمات ذات نسب الرجحان الأكبر.

ويمكن القول بأن هذه التقنية هي ما تمكن الآلة من الحصول على حس لمعنى الكلمات والتفرقة بينها أي أنها من أهم التقنيات التي تجعل الآلة تفهم اللغة الطبيعية.

استخدامات وتطبيقات معالجة اللغة الطبيعية NLP

علم معالجة اللغات الطبيعية NLP علم كبير للغاية، ولذا فإن له المئات من الاستخدامات والتطبيقات المهمة، وبالرغم من أننا تناولنا بعضها أثناء الحديث عن التقنيات المختلفة الخاصة بهذا العلم التي تعد استخدامات مباشرة لل NLP إلا أن هناك المزيد غيرها.

فعلم معالجة اللغات الطبيعية قد ساعدنا بشكل كبيرًا على أداء المهام المطلوبة منا بكفاءة وفعالية، واليوم يُعد مكونًا أساسيًا للعديد من التطبيقات كمحركات البحث Search Engines، وأداء المهام اليومية Daily Routine Tasks، وخدمة العملاء Customer Service، والعديد غيرها.

1. تحليل أراء العملاء Customer Feedback Analysis

العديد من الشركات تستخدم معالجة اللغة الطبيعية NLP في تحليل أراء عملائها على منصات التواصل الاجتماعي، وخاصة تويتر، فمن خلال الخوارزميات المتخصصة أن تعرف أراء العملاء عن منتجاتك والتحسينات التي يرغبون بها وكل تعليقاتهم.

ومن خلال هذا تستطيع عمل مسح موسع لأراء عدد كبير من العملاء بتكلفة أقل وبوقت أقل بكثير، وهذا شيء ضروري للغاية خاصة إذا كانت شركتك تخدم الملايين من العملاء.

2. أتمتة مهام خدمة العملاء Automation of Customer Support Tasks

تواجه أقسام خدمة العملاء في المتوسط المئات من الطلبات والشكاوى يوميًا، وعادة ما تكون هذه الأمور مكررة، ولذا تلجأ بعض الشركات إلى أتمتة المهام المتكررة وتقليل عدد العاملين في أقسام خدمة العملاء، وهذا ما يوفر عليهم أموال كثيرة ويزيد من كفاءة القسم.

3. تطبيقات المحادثة Chatbots

تطبيقات المحادثة Chatbots هي واحدة من أكثر تطبيقات معالجة اللغة الطبيعية شهرة، حيث من خلال الخوارزميات الذكية يمكنك بسهولة توفير ذكاء اصطناعي يرد على عملائك ردود ذكية بشرية، كما يمكنك توفير أنظمة خبراء قادرة على إجابة جميع أسئلة عملائك.

هناك الكثير من التطبيقات الشهيرة حاليًا التي تستخدم هذه الخوارزميات، ومن أبرزها أنظمة المساعدة الافتراضية كسيري الخاصة بآبل ومساعد جوجل الخاص بجوجل.

4. تحليل وتصنيف السجلات الطبية Analysis and Categorization of Medical Records

بفضل تطور تقنيات الـ NLP أصبح بإمكاننا تصنيف ومراجعة السجلات الطبية بدون أي تدخل بشري من خلال خوارزميات بسيطة، كما بإمكاننا تحليل هذه السجلات واستخراج المعلومات التي نريدها بشكل أتوماتيكي.

هذه التطبيق سيجعلنا قادرين على فهم الأمراض والمرضى بشكل أكثر تطورًا، كما أنه سيجعلنا قادرين على التحكم ومنع انتشار الأمراض المعدية.

5. التنبؤ بالنصوص Text Prediction

هذا التطبيق نقوم باستخدامه العديد من المرات يوميًا من خلال التنبؤ بالنصوص والتصحيح التلقائي وهما الميزتان الموجودتان على هواتفنا المحمولة، كما أنه يُستخدم بكثرة في محركات البحث.

6. التدقيق اللغوي Proofreading

العديد من برامج النصوص، مثل: مايكروسوفت وورد تستخدم تقنيات معالجة اللغة الطبيعية من أجل مراجعة الأخطاء النحوية وتصحيح هذه الأخطاء، وهناك تطبيقات متخصصة فقط في هذا الأمر تقوم بهذا، مثل: Grammarly.

7. فلترة رسائل البريد الإلكتروني Email Filters

هذا التطبيق الذي يساعد على تصنيف البريد الإلكتروني الخاص بـ Gmail جيميل إلى الرسائل الأساسية، الرسائل الاجتماعية، الرسائل الترويجية بالإضافة إلى تحديد الرسائل المهملة.

8. كشف الانتحال Plagiarism Detection

مسألة الانتحال Plagiarism مهمة للغاية في الأوساط الأكاديمية، فهي تقارن النصوص التي كتبها الباحثون بتلك المكتوبة من نقل لتحديد نسبة الاقتباس في نصوصهم وأبحاثهم.

لصعوبة القيام بهذا يدويًا فإن التطبيقات التي تقوم باستخدام الـ NLP ساعدت المجتمع العلمي كثيرًا في هذا الشأن.

التحديات التي تواجه معالجة اللغة الطبيعية NLP

اللغات الطبيعية صعبة للغاية حتى بالنسبة إلينا نحن البشر، حتى وإن كانوا من نفس النطاق الجغرافي الضيق ويتحدثون نفس اللهجة وفي نفس العمر، فما بالك بتدريب جهاز أو ذكاء اصطناعي على القيام بهذه الوظيفة الصعبة وعلى أن يتحدث بكفاءة مثل الإنسان.

هناك العديد من الصعوبات والتحديات التي تواجه المتخصصين في معالجة اللغات الطبيعية، والتي تجعلنا حتى الآن لم نصل إلى التطور المأمول الذي نسعى إليه، وهذه التحديات هي:

1. الدقة Precision

لا نستطيع القول بأن خوارزميات معالجة اللغة الطبيعية التي بحوزتنا لها دقة كبيرة، على الأقل عند الحديث عن الشائعة منها وليست المتطورة التي تحتكرها شركات التقنية الكبرى، ولذا فأن القدرة البشرية على معالجة اللغة ما زالت تفوز في أغلب الأحيان على خوارزميات الذكاء الاصطناعي.

فاللغة الطبيعية ليست واضحة ومباشرة مثل اللغة الصناعية التي تفهمها الآلة، بل هي معقدة وملتبسة وتحتوي على الكثير من المتغيرات والغموض التي تجعل المهمة صعبة للغاية على الحواسيب.

2. اللهجات واللغات العامية

اللغات الطبيعية تحتوي على الكثير من اللهجات، فاللغة العربية الخاصة بنا مثلًا تنقسم لعشرات بل لمئات اللهجات المحلية، فهناك اللهجة المصرية، وهناك اللهجة السعودية، واللهجة التونسية وغيرها من اللهجات العربية.

بل وأن هذه اللهجات الكبرى تنقسم للهجات أخرى، فاللهجة المصرية تنقسم إلى لهجات أهل الصعيد المتعددة، ولهجات أهل الريف المختلفة، ولهجات سكان المناطق الساحلية، وكذلك اللهجة السعودية تختلف باختلاف المناطق الجغرافية في السعودية.

هذا التعدد والتنوع يكون غامضًا وصعبًا للغاية على الآلة ولذا فإن العلماء يركزون اليوم على اللغات الفصحى أو الـ Standard، ولكن هناك آمال كبيرة في المستقبل أن يتم برمجة الآلات على فهم اللغات البشرية الفصحى والعامية.

3. مشاكل تقسيم الجمل أو Crash Blossoms

اللغات الطبيعية تتميز بالغموض والالتباس حتى في ظل استخدام القواعد الإملائية والنحوية، فما بالك عند عدم استخدامها أو عند الاستخدام الخاطئ لها، ولذا فأن هناك الكثير من الحالات التي لا تستوعب فيها الآلة المعنى المقصود من الكلام أو تفهمه على وجه الخطأ.

وعلى سبيل المثال الجملة الإنجليزية: A woman without her man is nothing، إذا ما قدمتها للآلة فسوف يصيبها نوع من الخلل أو على الأقل تختار اختيار غير دقيق، فهذه الجملة يمكن فهمها على صورتين:

الصورة الأولى: A woman: without her, man is nothing أي أن الرجل بدون المرأة لا يساوي شيء.
الصورة الثانية: A woman, without her man, is nothing أي أن المرأة بدون رجلها لا تساوي شيء.

إذًا كيف ستفهم الجملة هذه الآلة؟

تتكرر هذه الجمل ذات الغموض أو الإلباس كثيرًا للغاية للدرجة التي أطلقوا عليها مسمى ” Crash Blossoms “.

4. التعبيرات المجازية

نحن كبشر نستخدم التعبيرات المجازية كثيرًا في أحاديثنا اليومية، والتي نستطيع نحن البشر فهمها والتعامل معها، والرد عليها بالردود المناسبة، ولكن الآلات لا تستطيع فعل هذا بسهولة كما نفعله، ولذا على المختصين القيام بجهود خرافية لجعل الحاسوب يستطيع فهم هذه التعبيرات المجازية كما نفهمها نحن.

فمثلًا كثيرًا نقول للشخص غير المبالي أو المستفز “أنت بارد”، وهو ما سيفهمه الحاسوب على أنه إشارة لكون هذا الشخص درجة حرارته منخفضة وأنه بارد برودة فيزيائية، وهذا بالطبع ليس المعنى المقصود.

5. الألفاظ المُستحدثة

تسمح لنا غالبية اللغات بالقدرة على خلق كلمات جديدة ذات معاني مفهوم من خلال عدد من الأدوات اللغوية والنحوية، فمثلًا نستطيع استخدام أصل الكلمة Root من خلال وزن صرفي معروف من أجل خلق كلمة جديدة أو استخدام اللواحق suffixes والسوابق Prefixes من أجل خلق كلمة جديدة يستطيع فهمها الإنسان الذي يسمعها لأول مرة.

ولكن الحاسوب سيواجه مشاكل كبيرة للغاية في التعامل معها وفهمها أولًا، ومن ثم الاستجابة لها والرد عليها باستخدام ردود مناسبة.

6. الكلمات ذات الدلالات

هناك العديد من الكلمات التي نستخدمها، والتي قد يكون لها معنى لغوي غير المعنى الشائع الذي نستخدمه به، وهذه الكلمات عادة ما تكون أسماء شخصيات، وأسماء دول ونطاقات جغرافية، وأسماء أحداث جغرافية، والعديد من الأمور الأخرى.

فعلى سبيل المثال، أسماء المدن العربية كالقاهرة وكالرباط لها دلالات غير تلك اللغوية، والتي نستطيع فهمها من سياق الحديث والتجاوب معها، ولكن الحواسيب والآلات تميل إلى ردها إلى أصولها اللغوية، وهو ما قد يتسبب في التباس كبير.

أيضًا في اللغة الإنجليزية أسماء أشخاص، مثل جودمان Goodman قد يتعامل معها الحاسوب على أنها وصف له دلالة لغوية مما يجعل النتائج والردود الخاصة بها غير دقيقة.

7. الغاية من الحديث

الكلمة الواحدة في اللغة قد يتم استخدامها عدة استخدامات، وهذا حسب لهجة الفرد Tone والمواقف الذي قُيلت فيه والطريقة، وهو ما قد يتسبب في تغيير 180 درجة بمعاني هذه الكلمات وبالتالي في الردود المناسبة لها.

وعلى سبيل المثال كلمة “يا سلام” التي نستخدمها قد يكون معناها التعبير عن الانبهار، أو حتى الاستهزاء، أو إظهار الغضب أو العديد من المعاني الأخرى، والتي نفهمها ضمنيًا ولكن الحاسوب لا يفعل المثل.

8. المزاح

الحواسيب والآلات ليس لديها نفس القدرة الرائعة الخاصة بنا على المزاح واستخدام الكلمات والتعبيرات، أو حتى الكلمات المتشابهة من أجل مزحة أو نكتة ما، وهذا ما يقلل من كفاءتها على إدارة حوار حقيقي مع البشر.

9. تطور اللغة

التحدي الأخير الذي يجب الالتفات إليه هو أن اللغة دائمة التطور والتغير، وأن على الآلة أن تجاري هذا التغير الكبير إذا أرادت أن تقوم بفهم الإنسان فهمًا صحيحًا والرد عليها ردودًا مناسبة.