1.增加直接解析文件内容，发给模型分析的能力。

2.修复luma视频渲染问题。
3.去掉默认的谷歌分析id。
4.优化说明。

docker/with-backend/docker-compose.yml

@@ -182,6 +182,22 @@ services:
       - /data/annyun/redis/redis.conf:/usr/local/etc/redis/redis.conf
     networks:
       - spring_cloud_default
+  # llm
+  annyun-llm:
+    container_name: annyun-llm
+    image: registry.cn-hangzhou.aliyuncs.com/ann-chat/annyun-llm:latest
+    restart: always
+    ports:
+      - 8000:8000
+    environment:
+      # 如果需要识别图片转成文字描述，目前支持qwen-vl-max，openai的模型请自测
+      API_KEY: your_api_key_here
+      BASE_URL: https://api.annyun.cn/v1
+      MODEL: qwen-vl-max
+      PROMPT: 提取图片中全部的文本，不需要任何推理和总结，只需要原文
+      FILE_DELETE_DELAY: 300
+    networks:
+      - spring_cloud_default
 
 networks:
   spring_cloud_default:

docs/常见问题.md

@@ -0,0 +1,37 @@
+1.通过ngnix转发，页面停留在【需要密码】的页面进不去，
+
+![img.png](../img.png)
+
+需要在ngnix的server或者location下增加配置，如果是宝塔，记得关闭ng缓存：
+```shell
+proxy_set_header X-Real-IP $remote_addr;
+proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
+proxy_set_header X-Forwarded-Proto http;
+proxy_set_header Upgrade $http_upgrade;
+proxy_set_header Connection 'upgrade';
+proxy_set_header Host $host;
+```
+
+2.配置了minio，出现图片无法预览。这个是因为网站是https，所以访问minio也要https，建议用ngnix转发域名方式，[可以参考](https://blog.csdn.net/weixin_40461281/article/details/124260888)
+
+3.如果配置了aliyun oss，出现图片无法预览、或文件上传不了、或语音长度为0的问题，建议检查access_key权限（不是bucket权限），[可以参考添加权限](https://zhuanlan.zhihu.com/p/445967642)
+
+4.配置了aliyun oss，出现图片无法预览，点击链接变成下载，那就是需要绑定自己的域名，然后启动参数增加 OSS_DOMAIN="绑定的域名"，[绑定方法参考](https://help.aliyun.com/zh/oss/user-guide/map-custom-domain-names-5)
+
+5.腾讯云oss跨域问题，[可以参考](https://cloud.tencent.com/document/product/436/13318)
+
+6.如果出现画图的聊天记录导出图片时，无法下载，则要排查下，图片地址是否是https，如果不是，则需要开启https，具体开启方式要看对应的oss，或画图接口那边，地址域名要有ssl证书。
+![img_1.png](img_1.png)
+
+7.如果是用**宝塔**或者**1panel**部署的，会默认使用旧的镜像，很有可能会出现更新版本后，看镜像已经是新版了，但域名访问进去看到的还是旧的版本，这是宝塔或者1panel的问题，这时候需要换个映射端口。
+
+
+
+#### 有后台版本常见问题：
+1.用户套餐相关问题：
+- 用户购买的套餐，是在购买那一刻的套餐镜像，套餐包含哪些内容就只有哪些内容，后续修改了套餐资源或者套餐信息，不会自动同步给已经购买该套餐的用户，可以在会员套餐那边点编辑，勾选重置套餐内容。
+- 如果在用户购买套餐后，在ai管理里进行删除或修改模型、平台，可能会对已购买套餐的用户产生影响，可以在会员套餐那边点编辑，勾选重置套餐内容，帮用户同步最新的套餐信息。
+- 已用token累加很快，那是因为聊天携带了历史记录，会重复计算。
+
+2.阿里云短信发送提示“该账号找不到对应签名”。
+- 短信签名必须是英文字母，不能是汉字。

docs/无后台版本详细功能说明.md

@@ -0,0 +1,55 @@
+### 特性（无后台版本）：
+- **一**. 完整的[ChatGPT-Next-Web](https://github.com/ChatGPTNextWeb/ChatGPT-Next-Web)功能，并保持同步更新。最近同步时间：2024.12.25
+- **二**. **文件上传和存储**，接入OSS，也支持自定义文件上传接口，配置详见参数说明，**强烈建议配置该功能，可以让下面很多功能更好用**，以下任选一种即可：
+    - 1.**S3存储**，兼容阿里云oss，腾讯cos，minio，aws，cloudflare R2等等，几乎所有都支持，**强烈建议配置这个**，具体看S3相关参数。
+    - 2.**阿里云OSS**，国外那些服务有可能访问不了国内的OSS，建议国内和国际版都测试下。
+    - 3.**腾讯云COS**，同上，也是OSS。
+    - 4.**MINIO**，私有化部署的OSS，免费的，只是会占用自己的带宽。
+    - 5.**自定义文件上传接口**，返回的文件地址需要公网可访问，启动时参数：FILE_UPLOAD_URL=，也支持需要鉴权的上传接口，配合参数：FILE_UPLOAD_KEY=
+- **三**. **画图和视频支持**，图片需要有地方存，强烈建议配合OSS或自定义文件上传接口，详见第2点：
+    - 1.**Midjourney**，**midjourney-proxy-plus**，**支持ai换脸、局部重绘、自定义变焦**, **独立的绘图面板**。该功能基于[ChatGPT-Midjourney](https://github.com/Licoy/ChatGPT-Midjourney)，使用antd进行了完全的重构，界面更加合理，参数更加全面。
+    - 2.**Stable-Diffussion**，**支持lora模型**，**文生图、图生图、后期处理、图片信息**，近乎完整的参数设置，以及图片完成后的功能按钮。
+    - 3.**Dall-E-3**，兼容dall-e-2，需要配置文件上传和存储功能，因为openai返回的链接有效期很短，过期就无法访问。
+    - 4.增加了**绘画记录**页面，方便查看所有绘图记录。
+    - 5.**增加suno支持**，需要是chat格式的接口，会自动提取播放连接渲染成播放控件。
+    - 6.**增加luma支持**，走luma的接口格式，详见[ai.aiiai.top](https://ai.aiiai.top)
+- **四**. **多模态支持**，强烈建议配置第二点说的文件上传功能：
+    - 1.**gpt-4-vision-preview**，**gpt-4o**，发送出去默认是发送原图base64，如果没配置文件存储功能，则会压缩到100k以内再保存到浏览器本地存储。
+    - 2.**Dall-E-3**，兼容dall-e-2，需要配置文件上传和存储功能，因为openai返回的链接有效期很短，过期就无法访问。
+    - 3.**Whisper和TTS系列模型**，需要配置文件上传和存储功能。
+    - 4.**gemini-pro-vision**，可以上传图片，同gpt4v。
+    - 5.**claude-3**，可以上传图片。
+    - 6.**支持提取返回内容里的mp3，mp4链接渲染成播放控件**，可以直接播放, 比如**suno**。
+- **五**. **逆向模型支持**
+    - 1.**支持gpt-4-all**，官方接口不支持该模型，需要购买支持该模型的中转接口服务。支持上传所有类型文件，需要配合第二点的文件上传功能。
+    - 2.**集成GPT商店**，**支持gpt-4-gizmo开头的模型**，部分模型也需要购买支持这些模型的中转接口服务，支持上传所有类型文件。支持隐藏gpt商店，参数HIDE_GPTS=1。
+- **六**. **知识库**
+    - 1.**接入[fastgpt](https://github.com/labring/FastGPT)知识库**，KNOWLEDGE_BASE_URL=设定fastgpt根地址，配合自定义模型参数CUSTOM_MODELS=，格式：+知识库名称==知识库对应apikey，例如：CUSTOM_MODELS=+知识库1==fastgpt-xxxxxx，apikey不会传到用户端，只会在服务端，可以放心。
+- **七**. **其它功能**：
+    - 1.**翻译**，自动识别输入的内容是中文还是英文（如果大部分是中文，则翻译成英文，反之亦然）。
+    - 2.**设置里增加自定义mj代理密钥**，**Midjourney兼容oneapi的mj代理**，MIDJOURNEY_PROXY_URL填oneapi的接口地址，MIDJOURNEY_PROXY_API_SECRET填oneapi的apikey。
+    - 3.**支持直接使用BASE_URL和OPENAI_API_KEY的值当作mj的接口地址和密钥**，需要设置参数REPLACE_MJURL_WITH_BASEURL=1
+    - 4.**设置里可以自定义stable-diffusion接口地址**。
+    - 5.**设置里增加展示聊天记录占用存储情况**，浏览器localstorage只有5m，存储快满时，建议导出数据备份，然后删除浏览器存的对话。
+    - 6.**自定义网站标题、副标题、icon**，参数APP_TITLE=、APP_SUB_TITLE=、APP_ICON=，需要购买授权才生效。
+    - 7.**支持通过链接跳转进入应用时，自动填入自定义模型**，新增链接参数customModels，多个模型用英文逗号","分开，新增replaceCurrentModel，传true或false，当为true时，替换取第一个模型替换掉当前聊天模型。例如：从其它应跳转到当前应用，链接为：http://localhost:3000/#/chat?settings={"key":"xxx","url":"xxx","customModels":"xxx,xxx","replaceCurrentModel":true}
+    - 8.**支持直接在输入框粘贴文件的方式上传文件**。
+    - 9.**朗读文字**功能，设置里可以设置语言和声源。
+    - 10.**语音输入**功能，通过录音，发送给openai进行语音转文字，填到输入框里。该功能需要https访问，才能调起浏览器语音权限。启动参数 HIDE_VOICE_INPUT=1，则会隐藏语音输入
+    - 11.**支持所有模型上传文件**，非vision或者claude模型，则只会把文件链接拼在内容里发出去，至于能否解析，要看对应模型能力。
+    - 12.**增加实时展示用户输入内容的token数量**
+    - 13.**增加聊天框按平台展示模型头像和名称**
+    - 14.**会话主题展示模型名称**
+    - 15.**增加用户自定义名称和头像**
+    - 16.**支持插件按钮自定义**，格式：PLUGIN_BUTTON_CUSTOM='{"text": "自定义", "icon": "https://", "url": "https://"}'
+
+
+### 特性（社区版，无后台）
+- 免费使用，直接通过docker拉取镜像启动即可使用，需要把命令里的版本号改成社区版本号，不需要授权码。
+- 在无后台版本基础上，限制了一些功能，包括：
+    - 1.上传文件只支持minio存储。
+    - 2.限制了支持上传文件的模型，vision或者claude模型可以上传图片，Whisper上传语音文件，mj和dall-e-3画图会上传到minio。
+    - 2.画图不支持stable-diffusion。
+    - 3.不支持逆向模型，如gpt-4-all等，不支持gpts那些模型。
+    - 4.不支持知识库。
+    - 5.不支持修改网站标题、副标题、icon。

docs/有后台版本详细功能说明.md

@@ -0,0 +1,55 @@
+### 特性（有后台版本）：
+- **一**. **包含无后台版本的完整功能**
+- **二**. **账号注册与登录**，任选一种即可，支持禁用注册和微信登录：
+    - 1.**支持手机号注册登录**。
+    - 2.**支持邮箱注册登录**，支持设置邮箱后缀白名单，在annyun-admin的环境变量里增加参数 MAIL_WHITE_LIST。
+    - 3.**支持微信公众号扫码关注授权登录**。
+- **三**. **AI管理**：
+    - 1.**AI平台管理**，
+        - 1.1 支持添加不同平台，设置不同的接口地址。
+    - 2.**模型管理**，
+        - 2.1 支持添加不同平台模型，注意：gpt-4-gizmo-*，别删别改！！！这是gpts应用系列模型，判断套餐内容的时候是用通配符匹配的，也就是所有gpts模型都是判断这个。
+        - 2.2 支持设置默认新建会话的默认模型和总结标题的模型。
+        - 2.3 支持设置输入输出倍率，默认1，用户输入和模型输出的token和字符数量会乘以这个倍率，作为最终的一个token和字符数量。
+    - 3.**ApiKey管理**，
+        - 3.1 可以为key单独设置接口地址，如果设置了，则会以这边设置的为准，没设置则以平台管理那边设置的为准。
+        - 3.2 可以添加适用的模型，没设置就是该平台下的通用key，如果设置了，用户请求时，会优先使用适用模型的key。
+- **四**. **套餐管理**，先设置套餐资源，再设置套餐信息，用户端看到的是套餐信息，一个套餐信息可以包含多个套餐资源，每个套餐资源可以设置不同的模型、不同的计费方式：
+    - 1.**套餐资源**：
+        - 1.1 套餐内包含的基础资源，可以添加可用模型，设置计费模式、数量限制等。
+        - 1.2 数量限制如果设成-1则表示无限制。注意：套餐资源的数量限制，如果设成次数，则只统计用户发送的次数，如果是token或字数，则是双向统计。
+        - 1.3 修改套餐资源保存时，会提示是否同步给已经存在的用户套餐资源，只会同步新增的资源，用户已经使用的量和有效期不会变，已过期或耗尽的套餐不会更新。比如套餐资源里增加了一个模型，如果确认同步给用户，则用户套餐资源里也会多出这个模型，但使用了多少token或次数保持不变。
+    - 2.**套餐信息**：
+        - 2.1 可以添加多个套餐资源，设置计费周期、价格、数量倍数，以及限速设置，可以设置多少小时内，只能请求多少次。
+        - 2.2 用户购买该套餐后，拥有的数量是：套餐资源的数量限制 * 数量倍数，比如 套餐资源里设置token数量限制是1000，套餐信息这个设置token倍数是10，则用户得到 1000 * 10 = 10000 token。
+        - 2.3 如果套餐的计费模式是：用完即止，则用户购买的该套餐，默认有效期是1年。
+        - 2.4 可以设置是否作为用户注册就赠送的套餐。如果把一个套餐设成注册赠送，则所有新注册的用户，会自动获得这个套餐，并在登录后自动生效。
+        - 2.5 修改套餐信息保存时，会提示是否同步给已经存在的用户套餐，会同步套餐的所有资源给用户，但用户已经使用的量和有效期不会变，已过期或耗尽的套餐不会更新。
+    - 3.**套餐兑换码**：
+        - 3.1 可以为套餐生成兑换码，当没使用微信支付时，可以让用户通过其它方式把钱付给你，你把兑换码给用户，用户在聊天套餐列表那边进行兑换。
+- **五**. **订单管理**：
+    - 1.**订单信息**：包含扫码支付和兑换码生成的订单。
+- **六**. **会员管理**：
+    - 1.**会员信息**：
+        - 1.1 支持手动新增会员，并添加套餐，添加的套餐，会在会员登录后自动生效。
+        - 1.2 支持批量生成会员账号密码和会员套餐，会自动导出excel，生成的会员套餐，会在会员首次登录后自动生效。
+        - 1.3 支持批量给用户授权套餐，授权的套餐会在下一次登录生效。
+    - 2.**会员套餐**：
+        - 2.1 用户的套餐信息，支持编辑用户套餐，可以修改套餐，生效失效时间，以及重置套餐内容。
+        - 2.2 用户购买同一个套餐，有效期是累加的，比如套餐A，有效期一个月，用户已经购买了一个套餐A，过期时间是5月30号，则他在5月30号前再次购买套餐A，则他新套餐的有效期是到6月30号。
+        - 2.3 用户购买套餐，是购买了那一刻的套餐镜像，后续对套餐信息或者套餐资源做任何修改，都不会同步给已经购买该套餐的用户，除非通过编辑用户套餐进行重置套餐内容。
+        - 2.4 增加定时任务每天定时扫描用户套餐状态，过期的套餐会标注过期。
+- **七**. **会话管理**，会把用户聊天的会话主题和消息保存到后台，用户登录时会拉取最新的聊天记录，也就是用户可以任意浏览器登录，消息都可以同步：
+    - 1.**会话主题**：用户聊天的主题。
+    - 2.**会话消息**：用户聊天每个主题下的消息记录，支持导出消息记录。
+- **八**. **支付**：
+    - 1.**微信支付**：需要申请微信商户，开通微信支付。因为需要关联appId，所以还需要申请小程序或者公众号。
+    - 2.**易支付**：支持大部分易支付平台，或自建平台。
+- **九**. **对接fastgpt知识库**：
+    - 1.先在平台管理里建一个平台，平台名称随意，接口地址那边填fastgpt的根地址。
+    - 2.然后在模型管理里建模型，模型名称对应fastgpt里建的知识库应用名称。
+    - 3.接着在apikey新增fastgpt对应的知识库的apikey，并选择适用模型为第2步建的模型。
+    - 4.最后新增套餐资源，并选择前面建的模型，新增套餐信息，选择建好的套餐资源，这样有这套餐的用户就可以与知识库对话了。
+
+### SpringCloud微服务版
+本后端项目基于SpringCloud开发，天生就是微服务，但是微服务需要消耗更多的服务器资源，部署和配置也更加复杂，如有需要，可以联系咨询。

docs/需要准备什么.md

@@ -0,0 +1,22 @@
+### 需要准备什么
+- 1.若干个二级域名，本应用需要一个，另外代理discord，openai，aliyun-oss等，都需要域名
+- 2.部署[openai代理](https://github.com/vual/vercel-proxy-openai)，fork到自己仓库，然后使用vercel进行部署，绑定自己的域名。如果能直通chatgpt，则不需要配置。
+- 3.部署discord代理，项目地址[discord-proxy](https://github.com/vual/discord-proxy)，fork到自己仓库，然后使用vercel进行部署，绑定自己的域名。如果能直通discord，则不需要。
+- 4.部署[midjourney-proxy](https://github.com/novicezk/midjourney-proxy)，详细请到对应项目查看。、
+- 5.**如果你不想配置上面的那些代理，可以考虑买中转接口的key，推荐中转[ai.aiiai.top](https://ai.aiiai.top)**。
+- 6.获取阿里云oss的endpoint，key等，[详细参考](https://zhuanlan.zhihu.com/p/445967642) ，bucket可以不用设为公共读，但上传的图片会自动设成公共读。2019.9.23后创建的bucket，需要绑定自己的域名，才能预览，[绑定方法参考](https://help.aliyun.com/zh/oss/user-guide/map-custom-domain-names-5) 。[跨域问题](https://help.aliyun.com/zh/oss/the-no-access-control-allow-origin-error-message-is-still-reported-when-you-call-oss-after-setting-cross-domain-rules)
+- 7.部署minio私有化oss，bucket必须要设成public，启动命令如下，或参考[docker启动参考官方文档](https://www.minio.org.cn/docs/minio/container/operations/install-deploy-manage/deploy-minio-single-node-single-drive.html)。
+  ```shell
+  mkdir -p /home/minio/data
+
+  docker run \
+  -p 9000:9000 \
+  -p 9001:9001 \
+  --name minio \
+  -v /home/minio/data:/data \
+  -e "MINIO_ROOT_USER=admin" \
+  -e "MINIO_ROOT_PASSWORD=12345678" \
+  quay.io/minio/minio server /data --console-address ":9001"
+  ```
+- 8.使用stable-diffusion功能需要启动[stable-diffusion-webui](https://github.com/AUTOMATIC1111/stable-diffusion-webui)，详细启动方式请到对应项目查看：https://github.com/AUTOMATIC1111/stable-diffusion-webui/wiki/API
+- 9.腾讯云oss跨域问题，[可以参考](https://cloud.tencent.com/document/product/436/13318)