UE 插件 AIChatPlus 說明文件

公共倉庫

UE.AIChatPlus.Public

插件獲取

插件簡介

本插件支持 UE5.2 以上版本。

UE.AIChatPlus 是一個 UnrealEngine 插件，該插件實現了與各種 GPT AI 聊天服務進行通信，目前支持的服務有 OpenAI (ChatGPT, DALL-E)、Azure OpenAI (ChatGPT, DALL-E)、Claude、Google Gemini、Ollama、llama.cpp 本地離線。未來還會繼續支持更多服務提供商。它的實現基於非同步 REST 請求，性能高效，方便 UE 開發人員接入這些 AI 聊天服務。

同時 UE.AIChatPlus 還包含了一個編輯器工具，可以直接在編輯器中使用這些 AI 聊天服務，生成文本和圖像，分析圖像等。

使用說明

編輯器聊天工具

菜單欄 Tools -> AIChatPlus -> AIChat 可打開插件提供的編輯器聊天工具

工具支持文本生成、文本聊天、圖像生成，圖像分析。

工具的界面大致為：

主要功能

離線大模型：整合了 llama.cpp 庫，支持本地離線執行大模型

文本聊天：點擊左下角的 New Chat 按鈕，創建新的文本聊天會話。

圖像生成：點擊左下角的 New Image Chat 按鈕，創建新的圖像生成會話。

圖像分析：New Chat 的部分聊天服務支持發送圖像，例如 Claude, Google Gemini。點擊輸入框上方的 🖼️ 或 🎨 按鈕即可加載需要發送的圖像。

支持藍圖 (Blueprint)：支持藍圖創建 API 請求，完成文本聊天，圖像生成等功能。

設定當前聊天角色：聊天框上方的下拉框可以設定當前發送文本的角色，可以通過模擬不同的角色來調整 AI 聊天。

清空會話：聊天框上方的 ❌ 按鈕可以清空當前會話的歷史消息。

對話模板：內建數百種對話設定模板，便於處理常見問題。

全局設置：點擊左下角的 Setting 按鈕，可以打開全局設置窗口。可以設置默認文本聊天，圖像生成的 API 服務，並設置每種 API 服務的具體參數。設置會自動保存在項目的路徑 $(ProjectFolder)/Saved/AIChatPlusEditor 下。

會話設定：點擊聊天框上方的設定按鈕，可以打開當前會話的設定窗口。支持修改會話名稱，修改會話使用的 API 服務，支持獨立設定每個會話使用 API 的具體參數。會話設定會自動保存在 $(ProjectFolder)/Saved/AIChatPlusEditor/Sessions

對話內容修改：當滑鼠懸停在對話內容上時，會出現一個設定按鈕，可以重新生成內容、修改內容、複製內容、刪除內容，以及在下方重新生成內容（針對使用者訊息的角色）。

圖像瀏覽：對於圖像生成，點擊圖像會打開圖像查看窗口 (ImageViewer)，支持圖片另存為 PNG/UE Texture，Texture 可以直接在內容瀏覽器 (Content Browser) 查看，方便圖片在編輯器內使用。另外還支持刪除圖片、重新生成圖片、繼續生成更多圖片等功能。對於 Windows 下的編輯器，還支持複製圖片，可以直接把圖片複製到剪貼板，方便使用。會話生成的圖片也會自動保存在每個會話文件夾下面，通常路徑是 $(ProjectFolder)/Saved/AIChatPlusEditor/Sessions/${GUID}/images。

藍圖：

全局設定：

對話框設定：

修改聊天內容：

圖像查看器：

使用離線大模型

對話模板

核心程式碼介紹

目前插件分成以下幾個模組：

AIChatPlusCommon: 運行時模塊（Runtime），負責處理各種 AI API 接口發送請求和解析回覆內容。

AIChatPlusEditor: 編輯器模組（Editor），負責實現編輯器 AI 聊天工具。

AIChatPlusCllama: 運行時模組（Runtime），負責封裝 llama.cpp 的介面和參數，實現離線執行大型模型

Thirdparty/LLAMACpp: 運行時第三方模組 (Runtime)，整合了 llama.cpp 的動態庫和頭文件。

具體負責發送請求的 UClass 是 FAIChatPlus_xxxChatRequest，每種 API 服務都有獨立的 Request UClass。請求的回覆通過 UAIChatPlus_ChatHandlerBase / UAIChatPlus_ImageHandlerBase 兩種 UClass 來獲取，只需要註冊相應的回調委託。

在發送請求之前，需要先設定好 API 的參數和要發送的訊息，這部分是透過 FAIChatPlus_xxxChatRequestBody 來設定的。而具體的回覆內容則會被解析至 FAIChatPlus_xxxChatResponseBody 中，當接收到回調時，可以透過特定介面來取得 ResponseBody。

您可以在UE商城获取更多源码细节：AIChatPlus

Cllama(llama.cpp)

編輯器工具使用離線模型 Cllama(llama.cpp)

請參考以下方式在 AIChatPlus 編輯器工具中使用離線模型 llama.cpp。

首先，從 HuggingFace 網站下載離線模型：Qwen1.5-1.8B-Chat-Q8_0.gguf

將模型放置在特定的資料夾中，例如將其放置在遊戲專案目錄 Content/LLAMA 下。

E:/UE/projects/FP_Test1/Content/LLAMA
> ls
qwen1.5-1_8b-chat-q8_0.gguf*

打開 AIChatPlus 編輯器工具：工具 -> AIChatPlus -> AIChat，新建聊天會話，並打開會話設置頁面。

將 API 設置為 Cllama，開啟自定義 API 設置，加入模型搜索路徑並選擇模型。

開始聊天！！

編輯器工具使用離線模型 Cllama(llama.cpp) 處理圖片

從 HuggingFace 網站下載離線模型 MobileVLM_V2-1.7B-GGUF，同樣放到目錄 Content/LLAMA 下：ggml-model-q4_k.gguf和 mmproj-model-f16.gguf。

設置會話的模型:

傳送圖片開始聊天

代碼使用離線模型 Cllama(llama.cpp)

以下說明如何在程式碼中使用離線模型 llama.cpp

首先，同樣需要將模型文件下載至Content/LLAMA中。

修改程式碼新增一條命令，並在命令內給離線模型發送消息

#include "Common/AIChatPlus_Log.h"
#include "Common_Cllama/AIChatPlus_CllamaChatRequest.h"

void AddTestCommand()
{
    IConsoleManager::Get().RegisterConsoleCommand(
        TEXT("AIChatPlus.TestChat"),
        TEXT("Test Chat."),
        FConsoleCommandDelegate::CreateLambda([]()
        {
            if (!FModuleManager::GetModulePtr<FAIChatPlusCommon>(TEXT("AIChatPlusCommon"))) return;

            TWeakObjectPtr<UAIChatPlus_ChatHandlerBase> HandlerObject = UAIChatPlus_ChatHandlerBase::New();
            // Cllama
            FAIChatPlus_CllamaChatRequestOptions Options;
            Options.ModelPath.FilePath = FPaths::ProjectContentDir() / "LLAMA" / "qwen1.5-1_8b-chat-q8_0.gguf";
            Options.NumPredict = 400;
            Options.bStream = true;
            // Options.StopSequences.Emplace(TEXT("json"));
            auto RequestPtr = UAIChatPlus_CllamaChatRequest::CreateWithOptionsAndMessages(
                Options,
                {
                    {"You are a chat bot", EAIChatPlus_ChatRole::System},
                    {"who are you", EAIChatPlus_ChatRole::User}
                });

            HandlerObject->BindChatRequest(RequestPtr);
            const FName ApiName = TEnumTraits<EAIChatPlus_ChatApiProvider>::ToName(RequestPtr->GetApiProvider());

            HandlerObject->OnMessage.AddLambda([ApiName](const FString& Message)
            {
                UE_LOG(AIChatPlus_Internal, Display, TEXT("TestChat[%s] Message: [%s]"), *ApiName.ToString(), *Message);
            });
            HandlerObject->OnStarted.AddLambda([ApiName]()
            {
                UE_LOG(AIChatPlus_Internal, Display, TEXT("TestChat[%s] RequestStarted"), *ApiName.ToString());
            });
            HandlerObject->OnFailed.AddLambda([ApiName](const FAIChatPlus_ResponseErrorBase& InError)
            {
                UE_LOG(AIChatPlus_Internal, Error, TEXT("TestChat[%s] RequestFailed: %s "), *ApiName.ToString(), *InError.GetDescription());
            });
            HandlerObject->OnUpdated.AddLambda([ApiName](const FAIChatPlus_ResponseBodyBase& ResponseBody)
            {
                UE_LOG(AIChatPlus_Internal, Display, TEXT("TestChat[%s] RequestUpdated"), *ApiName.ToString());
            });
            HandlerObject->OnFinished.AddLambda([ApiName](const FAIChatPlus_ResponseBodyBase& ResponseBody)
            {
                UE_LOG(AIChatPlus_Internal, Display, TEXT("TestChat[%s] RequestFinished"), *ApiName.ToString());
            });

            RequestPtr->SendRequest();
        }),
        ECVF_Default
    );
}