الفصل الأزرق - Cllama (llama.cpp)
النموذج الغير متصل
تستند Cllama إلى llama.cpp وتدعم استخدام نماذج الذكاء الاصطناعي للتحليل دون اتصال بالإنترنت.
نظرًا لأنها خارج الاتصال، نحتاج أولاً إلى تجهيز ملفات النموذج، على سبيل المثال، يمكن تنزيل نموذج خارج الاتصال من موقع HuggingFace: Qwen1.5-1.8B-Chat-Q8_0.gguf
ضع النموذج في مجلد معين، مثل وضعه في دليل مشروع اللعبة تحت المسار Content/LLAMA
بعد الحصول على ملف النموذج غير المتصل، يمكننا استخدام Cllama لإجراء محادثات AI.
الدردشة النصية
استخدام Cllama لمحادثات النص
أنشئ عقدًا باسم Send Cllama Chat Request باستخدام زر الماوس الأيمن في الرسم البياني.
أنشئ Options العقد، وقم بتعيين Stream=true, ModelPath="E:\UE\projects\FP_Test1\Content\LLAMA\qwen1.5-1_8b-chat-q8_0.gguf"
أنشئ رسائل، وأضف رسالة نظام ورسالة مستخدم على التوالي.
إنشاء الـ Delegate الذي يقبل مخرجات النموذج ويقوم بطباعتها على الشاشة
النسخة الكاملة من المخطط تبدو كما هو موضح، عند تشغيل المخطط، سترى رسالة تعود بناء النموذج الكبير المطبوع على شاشة اللعبة
توليف الصور إلى نصوص llava
Cllama اعطت دعمًا تجريبيًا أيضًا لمكتبة llava، مما يوفر إمكانية Vision
أعد ملف نموذج Multimodal للعمل دون اتصال بالإنترنت، مثل Moondream (moondream2-text-model-f16.gguf, moondream2-mmproj-f16.gguf）أو Qwen2-VL（Qwen2-VL-7B-Instruct-Q8_0.gguf, mmproj-Qwen2-VL-7B-Instruct-f16.ggufنموذج Multimodal المدعوم بواسطة llama.cpp أو غيرها.
إنشاء عقد Options، وتعيين المعلمات "Model Path" و "MMProject Model Path" بملفات النموذج متعددة الوسائط المقابلة.
إنشاء العقدة لقراءة ملف الصور flower.png وتعيين الرسائل
أنشئ العقدة النهائية لاستقبال المعلومات المرتجعة واطبعها على الشاشة. هكذا تبدو النسخة الكاملة من الخطة.
يمكنك رؤية النص الذي تم إرجاعه عند تشغيل المخطط الأزرق.
llama.cpp تستخدم وحدة المعالجة الرسومية (GPU)
"خيارات طلب محادثة Cllama" تحتوي على معلمة "Num Gpu Layer" الجديدة، حيث يمكن تعيين حمولة ال GPU في ملف llama.cpp، والتحكم في عدد الطبقات التي يجب حسابها على وحدة المعالجة الرسومية. تفضلوا بالاطلاع على الصورة."
KeepAlive
"خيارات طلب الدردشة Cllama" تقوم بإضافة معلمة "KeepAlive"، والتي تسمح بالاحتفاظ بملف النموذج بالذاكرة بعد القراءة، لتسهيل الاستخدام المباشر في المرات القادمة وتقليل عدد مرات قراءة النموذج. يُعبر KeepAlive عن وقت احتفاظ النموذج، حيث 0 يعني عدم الاحتفاظ والإفراج فور الاستخدام؛ بينما -1 يعني الاحتفاظ الدائم. يمكن تعيين قيم مختلفة لـ KeepAlive لكل طلب بمرة، وسيحل القيمة الجديدة محل القيمة القديمة، مثلما يمكن تعيين KeepAlive=-1 في الطلبات السابقة للإبقاء على النموذج في الذاكرة حتى تحديد كيفية الإفراج عن ملف النموذج في الطلب الأخير بوضع KeepAlive=0.
معالجة ملفات النموذج في ملف .Pak بعد الضغط
عندما تقوم بتشغيل Pak بعد ضغطه، سيتم وضع جميع ملفات موارد المشروع في ملف .Pak، بما في ذلك ملفات نماذج الرسومات ثلاثية الأبعاد.
نظرًا لعدم قدرة llama.cpp على قراءة ملف .Pak مباشرة ، فإنه من الضروري نسخ ملفات النماذج الغير متصلة من ملف .Pak ووضعها في نظام الملفات.
AIChatPlus يوفر وظيفة تلقائية لنسخ ومعالجة ملفات النموذج في .Pak ووضعها في مجلد Saved.
يمكنك تولي معالجة ملفات النموذج في .Pak بنفسك، المهم هو نسخ الملفات لأنه لا يمكن لـ llama.cpp قراءة .Pak بشكل صحيح.
نقطة الوظيفة
Cllama قدم بعضًا من العقد الوظيفية لتسهيل الحصول على حالة البيئة الحالية
"Cllama Is Valid": تقييم ما إذا كان Cllama llama.cpp تم تهيئته بشكل صحيح
تحقق مما إذا كانت llama.cpp تدعم بيئة GPU الحالية.
"احصل على دعم الخلفيات الحالية من llama.cpp"
قم بإعداد ملف النموذج في Pak: تقوم تلقائيًا بنسخ ملفات النموذج في Pak إلى النظام الملفاتية
Original: https://wiki.disenone.site/ar
This post is protected by CC BY-NC-SA 4.0 agreement, should be reproduced with attribution.
Visitors. Total Visits. Page Visits.
هذه المشاركة تمت ترجمتها باستخدام ChatGPT، يرجى تقديم تعليقاتيرجى تحديد أي عنصر ناقص.