RWKV Runner 是 RWKV 模型的管理和啟動工具，由 RWKV 開源社區成員 josStorer 開發，它本身也是一個開源軟件，且體積僅 10MB 左右（不含依賴項）。
開箱即用的 AI 功能：易于使用的聊天、寫作、作曲交互等 AI 功能，支持聊天預設，支持 MIDI 硬件輸入及音軌編輯等功能。文章源自四五設計網-http://www.133122.cn/45327.html
用戶友好的 UI 設計：易于理解和操作的參數配置，豐富的操作引導提示；支持多語言；支持主題切換；支持自動更新文章源自四五設計網-http://www.133122.cn/45327.html
豐富的內置功能：內置 WebUI 選項，可一鍵啟動 Web 服務，共享硬件資源，內置模型轉換工具、下載管理和遠程模型檢視、一鍵 LoRA 微調 (僅限 Windows)文章源自四五設計網-http://www.133122.cn/45327.html
強大的兼容性：預設多級顯存配置，幾乎在各種電腦上工作良好。（通過配置頁面將 Strategy 切換到 CPU / WebGPU，可以在 AMD、Intel 等顯卡上運行）。文章源自四五設計網-http://www.133122.cn/45327.html
前后端分離架構：用戶可以在服務器部署 backend-python，然后將此程序僅用作客戶端，也允許單獨部署前端服務，或后端推理服務，或具有 WebUI 的后端推理服務。文章源自四五設計網-http://www.133122.cn/45327.html
下載與安裝
準備啟動環境
首次打開 RWKV Runner 軟件時，點擊“運行”按鈕，軟件會提示你缺失 Python 等依賴項。
跟隨軟件的引導點擊 “安裝”，RWKV Runner 會為你自動下載并安裝所需的文件。
下載完成并啟動 RWKV Runner 后，放置 RWKV Runner 的文件夾應該會具有以下標準的離線環境目錄：
其中 models 文件夾用于存放 RWKV 模型，RWKV Runner 默認從此文件夾讀取本地 RWKV 模型。
啟動環境只需在首次啟動 RWKV Runner 時配置一次。
對于 Mac 和 Linux 用戶，請手動安裝 Python3.10 (通常最新的系統已經內置了)。此外，你可以在設置中指定使用的 Python 解釋器。
模型配置與運行
完成啟動環境的配置后，我們可以開始下一步：配置、下載并運行 RWKV 模型。
為了照顧新手用戶，RWKV Runner 內置了一系列預設模型配置，以降低使用難度。
每個模型配置名稱的規則，依次代表著：設備-所需顯存/內存-模型規模-模型語言。
例如 GPU-8G-3B-CN，表示該配置用于 Nvidia 顯卡，需要 8G 顯存，模型規模為 30 億參數，使用的是中文模型。
模型的規模越大，理論上的任務效果會更好，但對設備的內存、顯存等性能要求也會更高。
如果你使用 NVIDIA（英偉達）的顯卡，可以選擇“GPU” 前綴的預設模型配置。
如果你使用的是 AMD 或 Intel 的顯卡，請選擇 “CPU” 或“AnyGPU” 前綴的預設模型配置。
選擇一項預設的模型配置后，點擊右下角的 運行 按鈕，即可運行對應的模型。
如果你尚未擁有該預設配置所需的 RWKV 模型，請點擊彈窗的“下載”按鈕，系統將自動為你下載對應的模型文件。
（如果模型下載失敗或無響應，請勾選使用HUGgingface鏡像源）
等待模型下載完成，再度點擊 運行 按鈕，即可啟動模型，并運行各類 AI 功能。
評論