اعلان 12
نموذج اللغة الكبير (LLM) هو خوارزمية تعلم عميقة يمكنها تنفيذ مجموعة متنوعة من مهام معالجة اللغة الطبيعية (NLP). تستخدم النماذج اللغوية الكبيرة نماذج المحولات ويتم تدريبها باستخدام مجموعات بيانات ضخمة، وبالتالي فهي كبيرة. وهذا يتيح لهم التعرف على النص أو المحتوى الآخر أو ترجمته أو التنبؤ به أو إنشاؤه.
ويشار إلى نماذج اللغات الكبيرة أيضًا باسم الشبكات العصبية (NNs)، وهي أنظمة حاسوبية مستوحاة من الدماغ البشري. تعمل هذه الشبكات العصبية باستخدام شبكة من العقد ذات الطبقات، تشبه إلى حد كبير الخلايا العصبية.
بالإضافة إلى تدريس اللغات البشرية لتطبيقات الذكاء الاصطناعي، يمكن أيضًا تدريب نماذج اللغات الكبيرة على أداء مجموعة متنوعة من المهام مثل فهم هياكل البروتين، وكتابة أكواد البرامج، والمزيد. مثل الدماغ البشري، يجب تدريب نماذج اللغات الكبيرة مسبقًا ثم ضبطها بدقة حتى تتمكن من حل مشاكل تصنيف النص، والإجابة على الأسئلة، وتلخيص المستندات، وإنشاء النص. يمكن تطبيق قدراتها على حل المشكلات في مجالات مثل الرعاية الصحية والتمويل والترفيه حيث تخدم نماذج اللغة الكبيرة مجموعة متنوعة من تطبيقات البرمجة اللغوية العصبية، مثل الترجمة وروبوتات الدردشة ومساعدي الذكاء الاصطناعي وما إلى ذلك.
تحتوي نماذج اللغة الكبيرة أيضًا على عدد كبير من المعلمات، والتي تشبه الذكريات التي يجمعها النموذج أثناء تعلمه من التدريب. فكر في هذه المعلمات باعتبارها بنك المعرفة الخاص بالنموذج.
إذن ما هو نموذج المحولات؟
يعد نموذج المحول هو البنية الأكثر شيوعًا لنموذج اللغة الكبير. وهو يتألف من التشفير وفك التشفير. يقوم نموذج المحول بمعالجة البيانات عن طريق ترميز المدخلات، ثم إجراء معادلات رياضية في نفس الوقت لاكتشاف العلاقات بين الرموز المميزة. وهذا يمكّن الكمبيوتر من رؤية الأنماط التي قد يراها الإنسان إذا تم إعطاؤه نفس الاستعلام.
تعمل النماذج المتحولة بآليات الانتباه الذاتي، والتي تمكن النموذج من التعلم بسرعة أكبر من النماذج التقليدية مثل نماذج الذاكرة الطويلة وقصيرة المدى. الانتباه الذاتي هو ما يمكّن نموذج المحول من النظر في أجزاء مختلفة من التسلسل، أو سياق الجملة بأكمله، لتوليد التنبؤات.
المكونات الرئيسية لنماذج اللغة الكبيرة
تتكون النماذج اللغوية الكبيرة من طبقات شبكة عصبية متعددة. تعمل الطبقات المتكررة وطبقات التغذية الأمامية وطبقات التضمين وطبقات الانتباه جنبًا إلى جنب لمعالجة نص الإدخال وإنشاء محتوى الإخراج.
تقوم طبقة التضمين بإنشاء عمليات التضمين من نص الإدخال. يلتقط هذا الجزء من نموذج اللغة الكبير المعنى الدلالي والنحوي للإدخال، حتى يتمكن النموذج من فهم السياق.
تتكون طبقة التغذية الأمامية (FFN) لنموذج اللغة الكبير من عدة طبقات متصلة بالكامل تعمل على تحويل تضمينات الإدخال. ومن خلال القيام بذلك، تمكن هذه الطبقات النموذج من استخلاص تجريدات ذات مستوى أعلى – أي فهم نية المستخدم من خلال إدخال النص.
تفسر الطبقة المتكررة الكلمات الموجودة في نص الإدخال بالتسلسل. يجسد العلاقة بين الكلمات في الجملة.
تتيح آلية الانتباه لنموذج اللغة التركيز على أجزاء فردية من نص الإدخال ذي الصلة بالمهمة المطروحة. تسمح هذه الطبقة للنموذج بإنشاء المخرجات الأكثر دقة.
اعلان 111
