- 2024-4-14 22:32 发布
- 浏览 1390 次
- 下载 1 次
软件简介
RWKV Runner 是 RWKV 模型的管理和启动工具,由 RWKV 开源社区成员 josStorer 开发,它本身也是一个开源软件,且体积仅 10MB 左右(不含依赖项)。
开箱即用的 AI 功能:易于使用的聊天、写作、作曲交互等 AI 功能,支持聊天预设,支持 MIDI 硬件输入及音轨编辑等功能。
用户友好的 UI 设计:易于理解和操作的参数配置,丰富的操作引导提示;支持多语言;支持主题切换;支持自动更新
丰富的内置功能:内置 WebUI 选项,可一键启动 Web 服务,共享硬件资源,内置模型转换工具、下载管理和远程模型检视、一键 LoRA 微调 (仅限 Windows)
强大的兼容性:预设多级显存配置,几乎在各种电脑上工作良好。(通过配置页面将 Strategy 切换到 CPU / WebGPU,可以在 AMD、Intel 等显卡上运行)。
前后端分离架构:用户可以在服务器部署 backend-python,然后将此程序仅用作客户端,也允许单独部署前端服务,或后端推理服务,或具有 WebUI 的后端推理服务。
RWKV Runner源码:https://github.com/josStorer/RWKV-Runner
聊天功能
软件提供了开箱即用的聊天功能,你可以与 AI畅聊、提出问题并获取建议。
写作功能
写作功能可根据你提供的文本内容作进一步的续写、翻译等任务。
作曲功能
作曲功能可提供基于 MIDI 格式的乐谱创作、续写等功能,同时为生成的乐谱提供播放功能。
下载与安装
Windows下载 :https://github.com/josStorer/RWK ... ner_windows_x64.exe
MacOS 下载:https://github.com/josStorer/RWK ... macos_universal.zip
Linux 下载:https://github.com/josStorer/RWK ... KV-Runner_linux_x64
若 Github 下载链接无法打开或下载速度太慢,可以在 Baidu 网盘中下载对应的安装包。
网盘地址: https://pan.baidu.com/s/1kyYCI-XgQQwEZctVyQaFlg?pwd=iwqs 提取码: iwqs
注意:无论下载哪个版本,请将程序放在一个空目录(空文件夹)内再执行,因为软件所有依赖文件均会放在此目录。
准备启动环境
首次打开 RWKV Runner 软件时,点击“运行”按钮,软件会提示你缺失 Python 等依赖项。
跟随软件的引导点击 “安装”,RWKV Runner 会为你自动下载并安装所需的文件。
下载完成并启动 RWKV Runner 后,放置 RWKV Runner 的文件夹应该会具有以下标准的离线环境目录:
其中 models 文件夹用于存放 RWKV 模型,RWKV Runner 默认从此文件夹读取本地 RWKV 模型。
启动环境只需在首次启动 RWKV Runner 时配置一次。
对于 Mac 和 Linux 用户,请手动安装 Python3.10 (通常最新的系统已经内置了)。此外,你可以在设置中指定使用的 Python 解释器。
模型配置与运行
完成启动环境的配置后,我们可以开始下一步:配置、下载并运行 RWKV 模型。
为了照顾新手用户,RWKV Runner 内置了一系列预设模型配置,以降低使用难度。
每个模型配置名称的规则,依次代表着:设备-所需显存/内存-模型规模-模型语言。
例如 GPU-8G-3B-CN,表示该配置用于 Nvidia 显卡,需要 8G 显存,模型规模为 30 亿参数,使用的是中文模型。
模型的规模越大,理论上的任务效果会更好,但对设备的内存、显存等性能要求也会更高。
如果你使用 NVIDIA(英伟达)的显卡,可以选择“GPU” 前缀的预设模型配置。
如果你使用的是 AMD 或 Intel 的显卡,请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置。
选择一项预设的模型配置后,点击右下角的 运行 按钮,即可运行对应的模型。
如果你尚未拥有该预设配置所需的 RWKV 模型,请点击弹窗的“下载”按钮,系统将自动为你下载对应的模型文件。
(如果模型下载失败或无响应,请勾选使用Huggingface镜像源)
等待模型下载完成,再度点击 运行 按钮,即可启动模型,并运行各类 AI 功能。
如果不会安装配置,请看视频教程(作者:国服第一海豹):
https://www.bilibili.com/video/B ... 1ac4833ff855ef38301
RWKV-Runner常见问题疑难解答(作者:国服第一海豹):
https://www.bilibili.com/read/cv23921171/?spm_id_from=333.999.0.0
开箱即用的 AI 功能:易于使用的聊天、写作、作曲交互等 AI 功能,支持聊天预设,支持 MIDI 硬件输入及音轨编辑等功能。
用户友好的 UI 设计:易于理解和操作的参数配置,丰富的操作引导提示;支持多语言;支持主题切换;支持自动更新
丰富的内置功能:内置 WebUI 选项,可一键启动 Web 服务,共享硬件资源,内置模型转换工具、下载管理和远程模型检视、一键 LoRA 微调 (仅限 Windows)
强大的兼容性:预设多级显存配置,几乎在各种电脑上工作良好。(通过配置页面将 Strategy 切换到 CPU / WebGPU,可以在 AMD、Intel 等显卡上运行)。
前后端分离架构:用户可以在服务器部署 backend-python,然后将此程序仅用作客户端,也允许单独部署前端服务,或后端推理服务,或具有 WebUI 的后端推理服务。
RWKV Runner源码:https://github.com/josStorer/RWKV-Runner
聊天功能
软件提供了开箱即用的聊天功能,你可以与 AI畅聊、提出问题并获取建议。
写作功能
写作功能可根据你提供的文本内容作进一步的续写、翻译等任务。
作曲功能
作曲功能可提供基于 MIDI 格式的乐谱创作、续写等功能,同时为生成的乐谱提供播放功能。
下载与安装
Windows下载 :https://github.com/josStorer/RWK ... ner_windows_x64.exe
MacOS 下载:https://github.com/josStorer/RWK ... macos_universal.zip
Linux 下载:https://github.com/josStorer/RWK ... KV-Runner_linux_x64
若 Github 下载链接无法打开或下载速度太慢,可以在 Baidu 网盘中下载对应的安装包。
网盘地址: https://pan.baidu.com/s/1kyYCI-XgQQwEZctVyQaFlg?pwd=iwqs 提取码: iwqs
注意:无论下载哪个版本,请将程序放在一个空目录(空文件夹)内再执行,因为软件所有依赖文件均会放在此目录。
准备启动环境
首次打开 RWKV Runner 软件时,点击“运行”按钮,软件会提示你缺失 Python 等依赖项。
跟随软件的引导点击 “安装”,RWKV Runner 会为你自动下载并安装所需的文件。
下载完成并启动 RWKV Runner 后,放置 RWKV Runner 的文件夹应该会具有以下标准的离线环境目录:
其中 models 文件夹用于存放 RWKV 模型,RWKV Runner 默认从此文件夹读取本地 RWKV 模型。
启动环境只需在首次启动 RWKV Runner 时配置一次。
对于 Mac 和 Linux 用户,请手动安装 Python3.10 (通常最新的系统已经内置了)。此外,你可以在设置中指定使用的 Python 解释器。
模型配置与运行
完成启动环境的配置后,我们可以开始下一步:配置、下载并运行 RWKV 模型。
为了照顾新手用户,RWKV Runner 内置了一系列预设模型配置,以降低使用难度。
每个模型配置名称的规则,依次代表着:设备-所需显存/内存-模型规模-模型语言。
例如 GPU-8G-3B-CN,表示该配置用于 Nvidia 显卡,需要 8G 显存,模型规模为 30 亿参数,使用的是中文模型。
模型的规模越大,理论上的任务效果会更好,但对设备的内存、显存等性能要求也会更高。
如果你使用 NVIDIA(英伟达)的显卡,可以选择“GPU” 前缀的预设模型配置。
如果你使用的是 AMD 或 Intel 的显卡,请选择 “CPU” 或“AnyGPU” 前缀的预设模型配置。
选择一项预设的模型配置后,点击右下角的 运行 按钮,即可运行对应的模型。
如果你尚未拥有该预设配置所需的 RWKV 模型,请点击弹窗的“下载”按钮,系统将自动为你下载对应的模型文件。
(如果模型下载失败或无响应,请勾选使用Huggingface镜像源)
等待模型下载完成,再度点击 运行 按钮,即可启动模型,并运行各类 AI 功能。
如果不会安装配置,请看视频教程(作者:国服第一海豹):
https://www.bilibili.com/video/B ... 1ac4833ff855ef38301
RWKV-Runner常见问题疑难解答(作者:国服第一海豹):
https://www.bilibili.com/read/cv23921171/?spm_id_from=333.999.0.0
商务经典下载排行
名称
趋势
下载量
-
扫码即可测试: 别小看这个小小的电子礼薄,这将是以后从传统方式向前迈...[详情]
商务经典最新收录
名称
趋势
浏览量
-
扫码即可测试: 别小看这个小小的电子礼薄,这将是以后从传统方式向前迈...[详情]