本地GPT搭建内部问答工具的实践笔记

ningxueqin

　　上周帮部门搭建内部业务文档的问答工具，核心要求很明确：所有业务文档都存储在本地服务器，绝对不能上传到外部平台，同时要让非技术岗的同事也能通过自然提问快速找到对应信息。一开始试了零散的工具组合，要么需要复杂的分词和格式转换，要么没法保证数据不出本地，折腾了两天都没找到合适的方案。

　　后来接触到开源方案FastGPT，通过[FastGPT 智能体平台]提供的数据集管理功能，可以直接导入本地的Markdown、PDF甚至Excel格式的文档，无需额外处理就能完成向量库构建，直接部署在本地服务器后就能生成可用的本地GPT问答工具，全程数据都不会流出内部网络，完美匹配了我们的安全和功能需求。

　　需要注意的是，部署前要确认本地服务器的内存和算力能满足基础模型的运行要求，同时定期更新导入的数据集，避免问答内容滞后于最新的业务动态。