設計図パート - Cllama (llama.cpp)
オフラインモデル
Cllamaは、llama.cppに基づいて実装され、オフラインでAI推論モデルをサポートしています。
オフラインなので、まずモデルファイルを準備する必要があります。たとえば、HuggingFaceウェブサイトからオフラインモデルをダウンロードする必要があります: Qwen1.5-1.8B-Chat-Q8_0.gguf
特定のフォルダーにモデルを置いてください。例えば、ゲームプロジェクトのディレクトリ Content/LLAMA の下に配置します。
オフラインモデルファイルがあれば、Cllamaを使ってAIチャットを行うことができます。
テキストチャット
Cllamaを使用してテキストチャットを行う
青写真でノードを右クリックして「Send Cllama Chat Request」を作成してください。
Options ノードを作成して、Stream=true, ModelPath="E:\UE\projects\FP_Test1\Content\LLAMA\qwen1.5-1_8b-chat-q8_0.gguf" を設定してください。
Messagesを作成し、System MessageとUser Messageをそれぞれ1つ追加します。
Delegateを作成し、モデルからの出力情報を受け取り、画面に表示する。
完全な設計図はこう見えるよ。設計図を実行すれば、ゲーム画面で大規模なモデルの印刷結果が表示されるよ。
画像を生成するテキスト llava
Cllamaはllavaライブラリを実験的にサポートし、Visionの機能を提供しました。
ます。こちらが翻訳です：
まず、Multimodalオフラインモデルファイルを準備します。例えば、Moondream（moondream2-text-model-f16.gguf, moondream2-mmproj-f16.ggufQwen2-VL（Qwen2-VL-7B-Instruct-Q8_0.gguf, mmproj-Qwen2-VL-7B-Instruct-f16.gguf）または他の llama.cpp がサポートするMultimodalモデル。
Options ノードを作成し、"Model Path" と "MMProject Model Path" のパラメータをそれぞれ対応する Multimodal モデルファイルに設定してください。
画像ファイル flower.png を読み込んでノードを作成し、Messages を設定してください。
最後、ノードを作成し、返された情報を受け取り、画面に出力します。完全な設計図は次のようになります。
フロー図を実行すると、返されるテキストが表示されます。
llama.cppを使ってGPUを活用します。
"Cllama Chat Request Options" has added the parameter "Num Gpu Layer", which allows setting the GPU payload of llama.cpp, enabling control over the number of layers that need to be computed on the GPU. See the figure for reference.
モデルファイルを.Pakにパッケージ化した後の処理
Pak パッケージングを開始すると、プロジェクトのすべてのリソースファイルが .Pak ファイルに保存されます。もちろん、オフラインモデルである gguf ファイルも含まれています。
LLama.cpp は .Pak ファイルを直接読むことができないので、オフラインモデルファイルを .Pak ファイルからファイルシステムにコピーする必要があります。
AIChatPlusは、.Pak内のモデルファイルを自動的にコピーしてSavedフォルダに配置する機能関数を提供しています。
または、.Pak内のモデルファイルを自分で操作することもできますが、重要なのはファイルをコピーして出力する必要があるということです。なぜなら、llama.cppは.Pakを正しく読み取れないからです。
機能ノード
Cllamaは、現在の状況を取得するのに便利ないくつかの機能ノードを提供しています。
"Cllama Is Valid"：Cllama llama.cpp の初期化が正常かどうかを判断します。
"Cllama Is Support Gpu"：判断 llama.cpp 在当前环境下是否支持 GPU backend
"「Cllama Get Support Backends」: Get all the backends supported by the current llama.cpp"
"Cllama Prepare ModelFile In Pak": Pak内のモデルファイルを自動的にファイルシステムにコピーします。
Original: https://wiki.disenone.site/ja
This post is protected by CC BY-NC-SA 4.0 agreement, should be reproduced with attribution.
Visitors. Total Visits. Page Visits.
この投稿はChatGPTを使用して翻訳されました。フィードバック指摘してくれたら見逃しはないよ。