deploy: 7c56579

docs/development/faq/index.html

@@ -39,10 +39,10 @@
 如图
 <img src=https://cdn.jsdelivr.net/gh/yangchuansheng/fastgpt-imgs@main/imgs/faq2.png alt loading=lazy class=medium-zoom-image></p><h3 id=本地部署的限制>本地部署的限制 <a href=#%e6%9c%ac%e5%9c%b0%e9%83%a8%e7%bd%b2%e7%9a%84%e9%99%90%e5%88%b6 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>具体内容参考https://fael3z0zfze.feishu.cn/wiki/OFpAw8XzAi36Guk8dfucrCKUnjg。</p><h3 id=能否纯本地运行>能否纯本地运行 <a href=#%e8%83%bd%e5%90%a6%e7%ba%af%e6%9c%ac%e5%9c%b0%e8%bf%90%e8%a1%8c class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>可以。需要准备好向量模型和LLM模型。</p><h3 id=其他模型没法进行问题分类内容提取>其他模型没法进行问题分类/内容提取 <a href=#%e5%85%b6%e4%bb%96%e6%a8%a1%e5%9e%8b%e6%b2%a1%e6%b3%95%e8%bf%9b%e8%a1%8c%e9%97%ae%e9%a2%98%e5%88%86%e7%b1%bb%e5%86%85%e5%ae%b9%e6%8f%90%e5%8f%96 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><ol><li>看日志。如果提示 JSON invalid，not support tool 之类的，说明该模型不支持工具调用或函数调用，需要设置<code>toolChoice=false</code>和<code>functionCall=false</code>，就会默认走提示词模式。目前内置提示词仅针对了商业模型API进行测试。问题分类基本可用，内容提取不太行。</li><li>如果已经配置正常，并且没有错误日志，则说明可能提示词不太适合该模型，可以通过修改<code>customCQPrompt</code>来自定义提示词。</li></ol><h3 id=页面崩溃>页面崩溃 <a href=#%e9%a1%b5%e9%9d%a2%e5%b4%a9%e6%ba%83 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><ol><li>关闭翻译</li><li>检查配置文件是否正常加载，如果没有正常加载会导致缺失系统信息，在某些操作下会导致空指针。</li></ol><ul><li>95%情况是配置文件不对。会提示 xxx undefined</li><li>提示<code>URI malformed</code>，请 Issue 反馈具体操作和页面，这是由于特殊字符串编码解析报错。</li></ul><ol start=3><li>某些api不兼容问题（较少）</li></ol><h3 id=开启内容补全后响应速度变慢>开启内容补全后，响应速度变慢 <a href=#%e5%bc%80%e5%90%af%e5%86%85%e5%ae%b9%e8%a1%a5%e5%85%a8%e5%90%8e%e5%93%8d%e5%ba%94%e9%80%9f%e5%ba%a6%e5%8f%98%e6%85%a2 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><ol><li>问题补全需要经过一轮AI生成。</li><li>会进行3~5轮的查询，如果数据库性能不足，会有明显影响。</li></ol><h3 id=页面中可以正常回复api-报错>页面中可以正常回复，API 报错 <a href=#%e9%a1%b5%e9%9d%a2%e4%b8%ad%e5%8f%af%e4%bb%a5%e6%ad%a3%e5%b8%b8%e5%9b%9e%e5%a4%8dapi-%e6%8a%a5%e9%94%99 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>页面中是用 stream=true 模式，所以API也需要设置 stream=true 来进行测试。部分模型接口（国产居多）非 Stream 的兼容有点垃圾。
 和上一个问题一样，curl 测试。</p><h3 id=知识库索引没有进度索引很慢>知识库索引没有进度/索引很慢 <a href=#%e7%9f%a5%e8%af%86%e5%ba%93%e7%b4%a2%e5%bc%95%e6%b2%a1%e6%9c%89%e8%bf%9b%e5%ba%a6%e7%b4%a2%e5%bc%95%e5%be%88%e6%85%a2 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>先看日志报错信息。有以下几种情况：</p><ol><li>可以对话，但是索引没有进度：没有配置向量模型（vectorModels）</li><li>不能对话，也不能索引：API调用失败。可能是没连上OneAPI或OpenAI</li><li>有进度，但是非常慢：api key不行，OpenAI的免费号，一分钟只有3次还是60次。一天上限200次。</li></ol><h3 id=connection-error>Connection error <a href=#connection-error class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>网络异常。国内服务器无法请求OpenAI，自行检查与AI模型的连接是否正常。</p><p>或者是FastGPT请求不到 OneAPI（没放同一个网络）</p><h3 id=修改了-vectormodels-但是没有生效>修改了 vectorModels 但是没有生效 <a href=#%e4%bf%ae%e6%94%b9%e4%ba%86-vectormodels-%e4%bd%86%e6%98%af%e6%b2%a1%e6%9c%89%e7%94%9f%e6%95%88 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><ol><li>重启容器，确保模型配置已经加载（可以在日志或者新建知识库时候看到新模型）</li><li>记得刷新一次浏览器。</li><li>如果是已经创建的知识库，需要删除重建。向量模型是创建时候绑定的，不会动态更新。</li></ol><h2 id=三常见的-oneapi-错误>三、常见的 OneAPI 错误 <a href=#%e4%b8%89%e5%b8%b8%e8%a7%81%e7%9a%84-oneapi-%e9%94%99%e8%af%af class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h2><p>带有 requestId 的都是 OneAPI 的报错。</p><h3 id=insufficient_user_quota-user-quota-is-not-enough>insufficient_user_quota user quota is not enough <a href=#insufficient_user_quota-user-quota-is-not-enough class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>OneAPI 账号的余额不足，默认 root 用户只有 200 刀，可以手动修改。</p><p>路径：打开OneAPI -> 用户 -> root用户右边的编辑 -> 剩余余额调大</p><h3 id=xxx渠道找不到>xxx渠道找不到 <a href=#xxx%e6%b8%a0%e9%81%93%e6%89%be%e4%b8%8d%e5%88%b0 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>FastGPT 模型配置文件中的 model 必须与 OneAPI 渠道中的模型对应上，否则就会提示这个错误。可检查下面内容：</p><ol><li>OneAPI 中没有配置该模型渠道，或者被禁用了。</li><li>FastGPT 配置文件有 OneAPI 没有配置的模型。如果 OneAPI 没有配置对应模型的，配置文件中也不要写。</li><li>使用旧的向量模型创建了知识库，后又更新了向量模型。这时候需要删除以前的知识库，重建。</li></ol><p>如果OneAPI中，没有配置对应的模型，<code>config.json</code>中也不要配置，否则容易报错。</p><h3 id=点击模型测试失败>点击模型测试失败 <a href=#%e7%82%b9%e5%87%bb%e6%a8%a1%e5%9e%8b%e6%b5%8b%e8%af%95%e5%a4%b1%e8%b4%a5 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>OneAPI 只会测试渠道的第一个模型，并且只会测试对话模型，向量模型无法自动测试，需要手动发起请求进行测试。<a data-bs-delay='{"hide":300,"show":550}' data-bs-html=true data-bs-title="<a href='/docs/development/faq/'><p>开发与部署指南</p><strong>私有部署常见问题</strong><br>FastGPT 私有部署常见问题</a>" data-bs-toggle=tooltip href=/docs/development/faq/#如何检查模型问题>查看测试模型命令示例</a></p><h3 id=get-request-url-failed-post-httpsxxx-dial-tcp-xxxx>get request url failed: Post &ldquo;https://xxx dial tcp: xxxx <a href=#get-request-url-failed-post-httpsxxx-dial-tcp-xxxx class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>OneAPI 与模型网络不通，需要检查网络配置。</p><h3 id=incorrect-api-key-provided-sk-xxxxyou-can-find-your-api-key-at-xxx>Incorrect API key provided: sk-xxxx.You can find your api Key at xxx <a href=#incorrect-api-key-provided-sk-xxxxyou-can-find-your-api-key-at-xxx class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><p>OneAPI 的 API Key 配置错误，需要修改<code>OPENAI_API_KEY</code>环境变量，并重启容器（先 docker-compose down 然后再 docker-compose up -d 运行一次）。</p><p>可以<code>exec</code>进入容器，<code>env</code>查看环境变量是否生效。</p><h3 id=bad_response_status_code-bad-response-status-code-503>bad_response_status_code bad response status code 503 <a href=#bad_response_status_code-bad-response-status-code-503 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><ol><li>模型服务不可用</li><li>模型接口参数异常（温度、max token等可能不适配）</li><li>&mldr;.</li></ol><h2 id=四常见模型问题>四、常见模型问题 <a href=#%e5%9b%9b%e5%b8%b8%e8%a7%81%e6%a8%a1%e5%9e%8b%e9%97%ae%e9%a2%98 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h2><h3 id=如何检查模型问题>如何检查模型问题 <a href=#%e5%a6%82%e4%bd%95%e6%a3%80%e6%9f%a5%e6%a8%a1%e5%9e%8b%e9%97%ae%e9%a2%98 class=anchor aria-hidden=true><i class="material-icons align-middle">link</i></a></h3><ol><li>私有部署模型，先确认部署的模型是否正常。</li><li>通过 CURL 请求，直接测试上游模型是否正常运行（云端模型或私有模型均进行测试）</li><li>通过 CURL 请求，请求 OneAPI 去测试模型是否正常。</li><li>在 FastGPT 中使用该模型进行测试。</li></ol><p>下面是几个测试 CURL 示例：</p><nav><div class="nav nav-tabs" id=nav-tab role=tablist><a class="nav-link active" id=edbacfTab data-bs-toggle=tab data-bs-target=#edbacf type=button role=tab aria-controls=edbacf aria-selected=true>LLM模型</a>
-<a class=nav-link id=cfbadeTab data-bs-toggle=tab data-bs-target=#cfbade type=button role=tab aria-controls=cfbade aria-selected=true>Embedding模型</a>
-<a class=nav-link id=dfbecaTab data-bs-toggle=tab data-bs-target=#dfbeca type=button role=tab aria-controls=dfbeca aria-selected=true>Rerank 模型</a>
-<a class=nav-link id=bcfaedTab data-bs-toggle=tab data-bs-target=#bcfaed type=button role=tab aria-controls=bcfaed aria-selected=true>TTS 模型</a>
-<a class=nav-link id=dcafbeTab data-bs-toggle=tab data-bs-target=#dcafbe type=button role=tab aria-controls=dcafbe aria-selected=true>Whisper 模型</a></div></nav><div class=tab-content id=nav-tab-content><div class="tab-pane fade show active" id=edbacf role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=e00d694 class=language-bash>
+<a class=nav-link id=adbfceTab data-bs-toggle=tab data-bs-target=#adbfce type=button role=tab aria-controls=adbfce aria-selected=true>Embedding模型</a>
+<a class=nav-link id=dbefcaTab data-bs-toggle=tab data-bs-target=#dbefca type=button role=tab aria-controls=dbefca aria-selected=true>Rerank 模型</a>
+<a class=nav-link id=cfdeabTab data-bs-toggle=tab data-bs-target=#cfdeab type=button role=tab aria-controls=cfdeab aria-selected=true>TTS 模型</a>
+<a class=nav-link id=acdbefTab data-bs-toggle=tab data-bs-target=#acdbef type=button role=tab aria-controls=acdbef aria-selected=true>Whisper 模型</a></div></nav><div class=tab-content id=nav-tab-content><div class="tab-pane fade show active" id=edbacf role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=e00d694 class=language-bash>
   <code>curl https://api.openai.com/v1/chat/completions \
   -H &#34;Content-Type: application/json&#34; \
   -H &#34;Authorization: Bearer $OPENAI_API_KEY&#34; \
@@ -59,7 +59,7 @@
       }
     ]
   }&#39;</code>
-  </pre></div></div><div class="tab-pane fade" id=cfbade role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=a1a8c7d class=language-bash>
+  </pre></div></div><div class="tab-pane fade" id=adbfce role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=a1a8c7d class=language-bash>
   <code>curl https://api.openai.com/v1/embeddings \
   -H &#34;Authorization: Bearer $OPENAI_API_KEY&#34; \
   -H &#34;Content-Type: application/json&#34; \
@@ -68,7 +68,7 @@
     &#34;model&#34;: &#34;text-embedding-ada-002&#34;,
     &#34;encoding_format&#34;: &#34;float&#34;
   }&#39;</code>
-  </pre></div></div><div class="tab-pane fade" id=dfbeca role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=20ff3a6 class=language-bash>
+  </pre></div></div><div class="tab-pane fade" id=dbefca role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=20ff3a6 class=language-bash>
   <code>curl --location --request POST &#39;https://xxxx.com/api/v1/rerank&#39; \
 --header &#39;Authorization: Bearer {{ACCESS_TOKEN}}&#39; \
 --header &#39;Content-Type: application/json&#39; \
@@ -79,7 +79,7 @@
     &#34;你是谁？\n我是电影《铃芽之旅》助手&#34;
   ]
 }&#39;</code>
-  </pre></div></div><div class="tab-pane fade" id=bcfaed role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=92833f4 class=language-bash>
+  </pre></div></div><div class="tab-pane fade" id=cfdeab role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=92833f4 class=language-bash>
   <code>curl https://api.openai.com/v1/audio/speech \
   -H &#34;Authorization: Bearer $OPENAI_API_KEY&#34; \
   -H &#34;Content-Type: application/json&#34; \
@@ -89,7 +89,7 @@
     &#34;voice&#34;: &#34;alloy&#34;
   }&#39; \
   --output speech.mp3</code>
-  </pre></div></div><div class="tab-pane fade" id=dcafbe role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=674e295 class=language-bash>
+  </pre></div></div><div class="tab-pane fade" id=acdbef role=tabpanel aria-labelledby=nav-1><div class=prism-codeblock><pre id=674e295 class=language-bash>
   <code>curl https://api.openai.com/v1/audio/transcriptions \
   -H &#34;Authorization: Bearer $OPENAI_API_KEY&#34; \
   -H &#34;Content-Type: multipart/form-data&#34; \