求助大家一个关于回答速度的问题

[weartist]

我是一名刚刚接触ai的小白，目前刚刚自己跑了下llama.cpp和privateGPT
我的使用场景是公司有许多文档，希望通过ai读取这些文档能够做一个针对这些内容的问答机器人。
llama.cpp运行之后回答的很快，但我不确定llama.cpp如何能够学习文档
privateGPT支持读取本地文件夹下的文档，但是回答速度慢了一些，要接近一分钟

我的疑惑是，如果想要做到回答速度快，privateGPT这种方案是不是不太可能，从查询的结果来看它似乎是将读取的文档生成为一个向量数据库，不确定是不是每次提问都需要去数据库结合推理查询。想要对话在2秒之内回答的话，基于现有模型和资料二次训练是否是最佳方案呢？