三洋空调服务中心400-138-6178专注于三洋洗衣机、三洋电视、三洋冰箱售后、三洋空调维修清洗及安装服务

400-138-6178

5分钟一键部署您的本地私人聊天型ChatGPT助理

新闻中心时间:2023-04-15 22:04:07发布者:技术部来源:三洋点击:type='text/javascript' language="javascript">
5分钟一键部署您的本地私人聊天型ChatGPT助理 一句话测试总结:优点:可以选择各种类型的 AI 角色进行各种各样的对话。练习英语聊天的绝好帮手。缺点:只能英语聊天!需要一定的英文基础,6b 模型 4bit 量化,不够智能,内容容易聊偏

安装方式:

Pygmalion AI + oobabooga +Tavern AI

平台信息: AMD2600, 1070Ti 8G,48G 内存(这次没有用到)

这次模型是跑在 8G GPU 内存上的,因为我没有高级显卡所以 Tavern AI 输出速度比较慢,但是直接用 start-webui 脚本的对话速度很快,完全可以拿来练习英语。

安装方式:进入 github 下载 windows 一键安装包https://github.com/oobabooga/text-generation-webui

install 批处理文件会自动帮你安装 conda 环境

download-model 批处理文件会帮你从抱抱脸下载相应的模型,这里我们选择 L 然后输入 mayaeary/pygmalion-6b-4bit-128g 进行下载。 最终文件夹一共 21GB 大。

最后 github 下载 Tavern AI 安装包(这个会加载人物资料和性格,对话会很慢),想单纯体验无限制本地角色扮演型对话的用自带的 start-webui 脚本就够了。

追求更多种类的对话角色何以安装 Tavern AI 在里面选择别人做好的 AI。

基本什么都能聊,英文好的话可以聊一天,是一款不错的解闷,聊天型对话模型,更多的使用姿势有待开发。