Section Blueprint - Cllama (llama.cpp)
Modèle hors ligne
Cllama est basé sur llama.cpp et prend en charge l'utilisation hors ligne des modèles d'inférence en intelligence artificielle.
Étant donné qu'il s'agit d'une opération hors ligne, nous devons d'abord préparer les fichiers de modèle, tels que le téléchargement du modèle hors ligne depuis le site HuggingFace : Qwen1.5-1.8B-Chat-Q8_0.gguf
Placez le modèle dans un dossier spécifique, par exemple dans le répertoire Content/LLAMA du projet de jeu.
Une fois que nous avons le fichier du modèle hors ligne, nous pouvons utiliser Cllama pour effectuer des discussions AI.
Discussion par texte
Utiliser Cllama pour des discussions textuelles
Créez un nœud "Envoyer une Demande de Chat Cllama" en faisant un clic droit dans le diagramme.
Créez un nœud Options et définissez Stream=true, ModelPath="E:\UE\projects\FP_Test1\Content\LLAMA\qwen1.5-1_8b-chat-q8_0.gguf".
Créez des messages, ajoutez respectivement un message système et un message utilisateur.
Créez un délégué pour recevoir les informations de sortie du modèle et les afficher à l'écran
Le texte en français est le suivant :
Le texte à traduire en français est le suivant :
Créer un texte à partir de l'image llava
Cllama a également expérimentalement supporté la bibliothèque llava, offrant ainsi la capacité de Vision.
Tout d'abord, préparez le fichier du modèle hors ligne multimodal, comme Moondream (moondream2-text-model-f16.gguf, moondream2-mmproj-f16.gguf）或者 Qwen2-VL（Qwen2-VL-7B-Instruct-Q8_0.gguf, mmproj-Qwen2-VL-7B-Instruct-f16.ggufVeuillez traduire ce texte en français :
）ou d'autres modèles multimodaux pris en charge par llama.cpp.
Créez un noeud Options, puis définissez les paramètres "Chemin du modèle" et "Chemin du modèle MMProject" avec les fichiers de modèle multimodal correspondants.
Crée un nœud pour lire le fichier d'image flower.png et configure les messages.
Crée en fin de compte un nœud qui recevra les informations renvoyées, puis les affichera à l'écran. Voici à quoi ressemblerait le schéma complet.
Exécutez le schéma pour afficher le texte renvoyé.
Le fichier llama.cpp utilise le GPU.
Ajouter des options de demande de chat Cllama en ajoutant le paramètre "Num Gpu Layer", qui permet de définir la charge GPU de llama.cpp, permettant de contrôler le nombre de couches à calculer sur le GPU. Voir l'image pour plus de détails.
Traiter les fichiers de modèle dans le fichier .Pak après l'emballage.
Une fois que le Pak est activé, tous les fichiers de ressources du projet seront placés dans le fichier .Pak, y compris le fichier gguf du modèle hors ligne.
Étant donné que llama.cpp ne peut pas lire directement les fichiers .Pak, il est nécessaire de copier les fichiers de modèle hors ligne du fichier .Pak dans le système de fichiers.
AIChatPlus propose une fonctionnalité permettant de copier automatiquement les fichiers de modèle du fichier .Pak et de les placer dans le dossier Saved :
Ou bien vous pouvez traiter les fichiers de modèle vous-même dans le fichier .Pak. L'essentiel est de copier les fichiers, car llama.cpp ne peut pas lire correctement le fichier .Pak.
Nœud de fonction
Cllama offre des nœuds de fonctionnalités permettant de récupérer l'état actuel de l'environnement.
"Cllama Is Valid"：Vérifiez si Cllama est correctement initialisé dans llama.cpp.
Vérifie si le fichier llama.cpp prend en charge le backend GPU dans l'environnement actuel.
"Obtenir les backends pris en charge par llama.cpp actuel"
"Prépare le fichier du modèle Cllama dans Pak": Automatically copies model files from Pak to the file system.
Original: https://wiki.disenone.site/fr
This post is protected by CC BY-NC-SA 4.0 agreement, should be reproduced with attribution.
Visitors. Total Visits. Page Visits.
Ce message a été traduit en utilisant ChatGPT, veuillez feedbackSignalez tout oubli.