feat: reset milvus (#3013)

labring · Oct 29, 2024 · 1e02544 · 1e02544
1 parent 9877128
commit 1e02544
Show file tree

Hide file tree

Showing 7 changed files with 194 additions and 93 deletions.
diff --git a/docSite/content/zh-cn/docs/development/upgrading/4812.md b/docSite/content/zh-cn/docs/development/upgrading/4812.md
@@ -14,13 +14,13 @@ weight: 812
 ### 2. 修改镜像
 
 - 更新 FastGPT 镜像 tag: v4.8.12-beta
-- 更新 FastGPT 商业版镜像 tag: v4.8.12-beta
+- 更新 FastGPT 管理端镜像 tag: v4.8.12-beta （fastgpt-pro镜像）
 - Sandbox 镜像，可以不更新
 
 
 ### 3. 商业版执行初始化
 
-从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 商业版域名**。
+从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 管理端域名**。
 
 ```bash
 curl --location --request POST 'https://{{host}}/api/admin/init/4812' \
@@ -30,6 +30,18 @@ curl --location --request POST 'https://{{host}}/api/admin/init/4812' \
 
 会初始化应用和知识库的成员组数据。
 
+### 4. 重构 Milvus 数据
+
+由于 js int64 精度丢失问题，之前私有化使用 milvus 或者 zilliz 的用户，如果存在数据精度丢失的问题，需要重构 Milvus 数据。（可以查看 dataset_datas 表中，indexes 中的 dataId 是否末尾精度丢失）。使用 PG 的用户不需要操作。
+
+从任意终端，发起 1 个 HTTP 请求。其中 {{rootkey}} 替换成环境变量里的 `rootkey`；{{host}} 替换成**FastGPT 主域名**。
+
+```bash
+curl --location --request POST 'https://{{host}}/api/admin/resetMilvus' \
+--header 'rootkey: {{rootkey}}' \
+--header 'Content-Type: application/json'
+```
+
 ## 更新说明
 
 1. 新增 - 全局变量支持数字类型，支持配置默认值和部分输入框参数。
@@ -45,10 +57,11 @@ curl --location --request POST 'https://{{host}}/api/admin/init/4812' \
 11. 新增 - HTTP 节点支持 JSONPath 表达式
 12. 新增 - 应用和知识库支持成员组配置权限
 13. 优化 - 循环节点支持选择外部节点的变量
-14. 修复 - 文件后缀判断，去除 query 影响。
-15. 修复 - AI 响应为空时，会造成 LLM  历史记录合并。
-16. 修复 - 用户交互节点未阻塞流程。
-17. 修复 - 新建 APP，有时候会导致空指针报错。
-18. 修复 - 拥有多个循环节点时，错误运行。
-19. 修复 - 循环节点中修改变量，无法传递。
-20. 修复 - 非 stream 模式，嵌套子应用/插件执行时无法获取子应用响应。
+14. 优化 - Docx 文件读取中， HTML to Markdown 优化，提高速度和大幅度降低内存消耗。
+15. 修复 - 文件后缀判断，去除 query 影响。
+16. 修复 - AI 响应为空时，会造成 LLM  历史记录合并。
+17. 修复 - 用户交互节点未阻塞流程。
+18. 修复 - 新建 APP，有时候会导致空指针报错。
+19. 修复 - 拥有多个循环节点时，错误运行。
+20. 修复 - 循环节点中修改变量，无法传递。
+21. 修复 - 非 stream 模式，嵌套子应用/插件执行时无法获取子应用响应。
diff --git a/packages/service/core/dataset/training/schema.ts b/packages/service/core/dataset/training/schema.ts
@@ -63,7 +63,7 @@ const TrainingDataSchema = new Schema({
   },
   q: {
     type: String,
-    required: true
+    default: ''
   },
   a: {
     type: String,