利用群晖docker部署实现AI对话、绘图功能
市面上有许多知名的人工智能大型模型,例如kimi、百度AI、智谱、千问等。本文主要介绍了如何部署Web服务以承接这些AI模型的API接口,并探讨了如何通过可视化工具来有效利用这些接口。
接下来按照实操步骤一一讲解。
- 假设该Docker主机IP为 192.168.10.100
部署智谱清言
-- 推荐用这个
该项目目前仅用于自用。
- https://gitee.com/llm-red-team/glm-free-api
智谱清言的key获取方式:
- 登录智谱清言的官网,注册登录账号之后随便发起一段对话。随后按F12打开浏览器的开发人员功能。
- 应用程序---》存储---》Cookie---》chatglm_refresh_token---》对应的值
docker-compose.yml
version: '3'
services:
glm-free-api:
container_name: glm-free-api
image: vinlic/glm-free-api:latest
restart: always
ports:
- "8000:8000"
environment:
- TZ=Asia/Shanghai
部署完成会,打开http://192.168.10.100:8000会提示:
glm-free-api已启动!
请通过LobeChat / NextChat / Dify等客户端或OpenAI SDK接入!
部署one-api
为了将所有大模型集中到一起,通过部署justong/one-api来实现API接口的统一。
- 默认的用户名为root密码123456,首次登录会提醒你修改密码。
Docker_CLI
# 使用 SQLite 的部署命令:
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
# 使用 MySQL 的部署命令,在上面的基础上添加 `-e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"`,请自行修改数据库连接参数,不清楚如何修改请参见下面环境变量一节。
# 例如:
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
Docker-Compose
docker-compose.yml
version: '3'
services:
one-api:
image: justsong/one-api:latest
container_name: one-api
restart: always
command: --log-dir /app/logs
ports:
- "3000:3000"
volumes:
- ./data:/data
- ./logs:/app/logs
environment:
- SQL_DSN=用户名:密码@tcp(ip:端口3306)/数据库名称 # 修改此行,或注释掉以使用 SQLite 作为数据库
- REDIS_CONN_STRING=redis://:密码@ip:端口6379
- SESSION_SECRET=q4CpPqF1WIrUtZuvUOS61TUj # 随机
- TZ=Asia/Shanghai
配置one-api
新增令牌
创建新的令牌,输入名称、模型范围、IP限制、过期时间、额度,然后提交即可
- 由于是自用,我只输入名称、永不过期以及无限额度
- 令牌以sk-开头,在令牌列表操作中可复制。
新增渠道
渠道---》添加新渠道
- 类型:OpenAI
- 名称:chatglm
- 模型:chatglm_*、glm-*、gpt-3.5-*、dall-e-2、dall-e-3
- dall-e-2、dall-e-3 AI绘图
- 密钥:chatglm_refresh_token
- 参考第一步智谱清言的key获取方式
- 代理:http://192.168.10.100:8000
部署WEB服务
采用yidadaa/chatgpt-next-web,详细部署详见群晖NAS部署docker应用之ChatGPT 应用
version: "3"
services:
chatgpt-next-web:
image: yidadaa/chatgpt-next-web
container_name: chatgpt-next-web
environment:
- OPENAI_API_KEY=sk-XXXXXXXXX # 第二步的令牌
- BASE_URL=http://192.168.100.100:3000 # OneAPI
- CODE=页面访问密码
restart: always
ports:
- "8080:3000"
项目启动后,输入http://192.168.10.100:8080,在聊天对话框中输入“你是谁”,正常会回复“我是一个名为智谱清言的人工智能助手.....”大概这个意思。
若不正常,让你配置啥的,你就打开NextChat的设置--》自定义接口
- 接口地址:http://192.168.100.100:3000
- API Key:sk-XXXXXXXXX
理论上,这么操作基本ok~如果不ok,下面留言或度之~
AI的准确性在很大程度上取决于问题的清晰度。因此,在考虑“八二原则”之前,请先确保你的提问尽可能明确和具体。
THE END
0
二维码
打赏
海报
利用群晖docker部署实现AI对话、绘图功能
市面上有许多知名的人工智能大型模型,例如kimi、百度AI、智谱、千问等。本文主要介绍了如何部署Web服务以承接这些AI模型的API接口,并探讨了如何通过可视化工……
SDFSDFSFD