人人可用的数据查询大模型,只需要CPU即可使用。
🚀运行本代码需要部署elasticsearch,运行前请先在/chat_ui/main_finance.py中填入es路径
- RAG部分:用elasticsearch做搜索为推理模型提供相关知识。
- LRM部分:用deepseek-r1的7b量化模型实现CPU级推理问答。
- 本地知识:可以添加个人pdf文档为推理模型提供本地知识。
1.安装ollama:https://github.com/ollama/ollama
2.安装完成后拉取deepseek-r1模型:
ollama run deepseek-r1
3.安装python中的ollama:
pip install ollama
4.启动ui界面:
cd chat_ui
python main_finance.py
5.如有需要可以部署本地elasticsearch,也可以问作者远程es链接
并且在main_finance.py内填入合适的es路径
es = Elasticsearch(
hosts=["your own path"]
)
同时在deal_local_document.py内填入合适的es路径
1.向personal_pdf文件夹放入个人pdf。
2.先做本地文档处理:
python deal_local_document.py
3.再在ui界面,点击"添加本地文档",即可进行本地文档查询。
The product is licensed under The Apache License 2.0, which allows for free commercial use. Please include the link to FigureChat and the licensing terms in your product description.
The project code is still quite raw. If anyone makes improvements to the code, we welcome contributions back to this project.