القسم الأزرق - Cllama (llama.cpp)
النموذج غير متصل
Cllama تم تنفيذها بناءً على llama.cpp، وتدعم استخدام نماذج الذكاء الاصطناعي للتفكير دون اتصال بالإنترنت.
نظرًا لأنها خارج الاتصال، نحتاج أولاً إلى تحضير ملف النموذج، على سبيل المثال، يمكن تنزيل نموذج الخطاب الخارج الاتصال من موقع HuggingFace: Qwen1.5-1.8B-Chat-Q8_0.gguf
ضع النموذج في مجلد معين، مثل وضعه في دليل المشروع للعبة Content/LLAMA
بمجرد الحصول على ملف النموذج الغير متصل بالإنترنت، يمكننا استخدام Cllama للقيام بالدردشة الذكية.
الرد على الأسئلة
استخدم Cllama للدردشة النصية
في النموذج، انقر بزر الماوس الأيمن لإنشاء عقدة "Send Cllama Chat Request".
أنشئُوا nOptions للعُقد، وقُوموا بتعيين "Stream=true, ModelPath=E:\UE\projects\FP_Test1\Content\LLAMA\qwen1.5-1_8b-chat-q8_0.gguf"
إنشاء Messages ، قم بإضافة رسالة من نوع System Message و User Message بشكل منفصل
إنشاء نائب Delegate يقوم بتلقي مخرجات النموذج وطباعتها على الشاشة
الترجمة إلى اللغة العربية:
"النص الكامل يبدو كما يلي، قم بتشغيل النص لترى رسالة إرجاع شاشة اللعبة الكبيرة المطبوعة."
إنشاء نصوص الصور.
Cllama دعمت تجريبيًا مكتبة llava ، مما يوفر قدرة Vision.
قم بتحضير ملف النموذج اللاحق Multimodal، مثل Moondream (moondream2-text-model-f16.gguf, moondream2-mmproj-f16.gguf) أو Qwen2-VL(Qwen2-VL-7B-Instruct-Q8_0.gguf, mmproj-Qwen2-VL-7B-Instruct-f16.ggufأو نموذج Multimodal الذي يدعمه ملف llama.cpp أو غيره.
إنشاء عقدتي Options، وتعيين المعلمات "مسار النموذج" و"مسار نموذج MMProject" بملفات النموذج متعدد الوسائط المقابلة.
إنشاء العقدة لقراءة ملف الصور flower.png، وتعيين الرسائل
أخيرًا، يتم إنشاء العقدة واستقبال المعلومات المُرجعة، ثم يتم طباعتها على الشاشة. الرسم البياني الكامل يبدو كما يلي:
يمكنك رؤية النص المُرجع عند تشغيل الشكل الأزرق
llama.cpp تستخدم وحدة المعالجة الرسومية (GPU)
"خيارات طلب المحادثة Cllama" قامت بإضافة المعلمة "Num Gpu Layer" ، حيث يمكن تعيين حمولة الـ GPU في llama.cpp ، مما يمكّن من التحكم في عدد الطبقات التي يجب حسابها على وحدة المعالجة الرسومية. يرجى الرجوع إلى الصورة المرفقة.
تعامل مع ملفات النموذج في ملف .Pak بعد التعبئة
عند فتح ملف الـ Pak بعد التعبئة، سيتم وضع جميع ملفات الموارد للمشروع في ملف .Pak، بما في ذلك ملفات نماذج الـ gguf الخارجية.
نظرًا لعدم دعم llama.cpp لقراءة ملفات .Pak مباشرة، فمن الضروري نسخ ملفات النماذج غير المتصلة من ملف .Pak ووضعها في نظام الملفات.
AIChatPlus توفر وظيفة تقوم تلقائيًا بنسخ ومعالجة ملفات النموذج في .Pak ووضعها في مجلد Saved.
أو يمكنك التعامل بنفسك مع ملفات النموذج في .Pak ، المهم هو نسخ الملفات لأنه لا يمكن لـ llama.cpp قراءة .Pak بشكل صحيح.
نقطة الوظيفة
Cllama قدم بعض عقد الوظائف لتسهيل الحصول على حالة البيئة الحالية.
"Cllama Is Valid"：تقييم ما إذا كان الملف Cllama llama.cpp مُهيأ بشكل صحيح
"Llama هل لديها دعم لوحدة معالجة الرسوميات"：تحديد ما إذا كان ملف llama.cpp يدعم GPU backend في البيئة الحالية
"الحصول على العناصر الخلفية المعتمدة حاليًا بواسطة llama.cpp"
جهز ملف النموذج Cllama في Pak: قم بنسخ ملفات النموذج في Pak تلقائيًا إلى النظام الملفاتية
Original: https://wiki.disenone.site/ar
This post is protected by CC BY-NC-SA 4.0 agreement, should be reproduced with attribution.
Visitors. Total Visits. Page Visits.
هذه المشاركة تمت ترجمتها باستخدام ChatGPT، يُرجى تقديم ردوديرجى تحديد أي نقص.