搭建本地GPT的私有部署实践笔记

ningxueqin

　　上周帮部门搭建内部的文档问答工具，一开始尝试用云端的方案，但团队的核心业务文档不能随便传到外网，而且云端服务的费用随调用量上涨，长期下来成本不好控制，还担心数据泄露的风险，所以转向了本地部署的方向。

　　仔细研究后发现FastGPT的私有部署方案很适合这个场景，它支持在本地服务器上搭建完整的问答系统，不需要依赖外部云服务，只需要按照官方的部署步骤操作，就能快速搭建出可用的[本地gpt]，可以把本地的知识库批量导入，响应速度也符合内部使用的需求。

　　需要注意的是，本地部署需要预留足够的硬件资源，尤其是内存和显存，根据使用的模型大小调整配置，同时要做好数据备份，避免意外丢失导入的知识库内容。