利用群晖docker部署实现AI对话、绘图功能

市面上有许多知名的人工智能大型模型,例如kimi、百度AI、智谱、千问等。本文主要介绍了如何部署Web服务以承接这些AI模型的API接口,并探讨了如何通过可视化工具来有效利用这些接口。

接下来按照实操步骤一一讲解。

  • 假设该Docker主机IP为 192.168.10.100

部署智谱清言

-- 推荐用这个

该项目目前仅用于自用。

  • https://gitee.com/llm-red-team/glm-free-api

智谱清言的key获取方式:

  • 登录智谱清言的官网,注册登录账号之后随便发起一段对话。随后按F12打开浏览器的开发人员功能。
  • 应用程序---》存储---》Cookie---》chatglm_refresh_token---》对应的值

docker-compose.yml

version: '3'

services:
  glm-free-api:
    container_name: glm-free-api
    image: vinlic/glm-free-api:latest
    restart: always
    ports:
      - "8000:8000"
    environment:
      - TZ=Asia/Shanghai

部署完成会,打开http://192.168.10.100:8000会提示:

glm-free-api已启动!
请通过LobeChat / NextChat / Dify等客户端或OpenAI SDK接入!

部署one-api

为了将所有大模型集中到一起,通过部署justong/one-api来实现API接口的统一。

  • 默认的用户名为root密码123456,首次登录会提醒你修改密码。

Docker_CLI

# 使用 SQLite 的部署命令:
docker run --name one-api -d --restart always -p 3000:3000 -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api
# 使用 MySQL 的部署命令,在上面的基础上添加 `-e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi"`,请自行修改数据库连接参数,不清楚如何修改请参见下面环境变量一节。
# 例如:
docker run --name one-api -d --restart always -p 3000:3000 -e SQL_DSN="root:123456@tcp(localhost:3306)/oneapi" -e TZ=Asia/Shanghai -v /home/ubuntu/data/one-api:/data justsong/one-api

Docker-Compose

docker-compose.yml

version: '3'

services:
  one-api:
    image: justsong/one-api:latest
    container_name: one-api
    restart: always
    command: --log-dir /app/logs
    ports:
      - "3000:3000"
    volumes:
      - ./data:/data
      - ./logs:/app/logs
    environment:
      - SQL_DSN=用户名:密码@tcp(ip:端口3306)/数据库名称  # 修改此行,或注释掉以使用 SQLite 作为数据库
      - REDIS_CONN_STRING=redis://:密码@ip:端口6379
      - SESSION_SECRET=q4CpPqF1WIrUtZuvUOS61TUj # 随机
      - TZ=Asia/Shanghai

配置one-api

新增令牌

创建新的令牌,输入名称、模型范围、IP限制、过期时间、额度,然后提交即可

  • 由于是自用,我只输入名称、永不过期以及无限额度
  • 令牌以sk-开头,在令牌列表操作中可复制。

新增渠道

渠道---》添加新渠道

  • 类型:OpenAI
  • 名称:chatglm
  • 模型:chatglm_*、glm-*、gpt-3.5-*、dall-e-2、dall-e-3
    • dall-e-2、dall-e-3 AI绘图
  • 密钥:chatglm_refresh_token
    • 参考第一步智谱清言的key获取方式
  • 代理:http://192.168.10.100:8000

部署WEB服务

采用yidadaa/chatgpt-next-web,详细部署详见群晖NAS部署docker应用之ChatGPT 应用

version: "3"

services:
  chatgpt-next-web:
    image: yidadaa/chatgpt-next-web
    container_name: chatgpt-next-web
    environment:
      - OPENAI_API_KEY=sk-XXXXXXXXX   # 第二步的令牌
      - BASE_URL=http://192.168.100.100:3000  # OneAPI
      - CODE=页面访问密码
    restart: always
    ports:
      - "8080:3000"

项目启动后,输入http://192.168.10.100:8080,在聊天对话框中输入“你是谁”,正常会回复“我是一个名为智谱清言的人工智能助手.....”大概这个意思。

若不正常,让你配置啥的,你就打开NextChat的设置--》自定义接口

  • 接口地址:http://192.168.100.100:3000
  • API Key:sk-XXXXXXXXX

理论上,这么操作基本ok~如果不ok,下面留言或度之~

AI的准确性在很大程度上取决于问题的清晰度。因此,在考虑“八二原则”之前,请先确保你的提问尽可能明确和具体。

THE END
分享
二维码
打赏
海报
利用群晖docker部署实现AI对话、绘图功能
市面上有许多知名的人工智能大型模型,例如kimi、百度AI、智谱、千问等。本文主要介绍了如何部署Web服务以承接这些AI模型的API接口,并探讨了如何通过可视化工……
<<上一篇
下一篇>>