Private LLM QA Bot

• 离线流程:

  • 用户通过前端上传知识文件到S3

  • S3文件达到触发Lambda

  • Lambda启动Glue任务

  • Glue切分文档,调用向量化接口

  • 将向量化结果写入OpenSearch

• 在线流程:

  • 用户在前端发出请求

  • Lambda根据用户输入进行多路召回(语义向量召回、倒排索引召回等)

  • 将召回结果整合到Prompt,提供给大型语言模型(LLM)

  • LLM结果反馈给用户

• OpenSearch主要检索知识文档，提供向量检索和倒排检索的能力。
• SageMaker主要用于部署和host大语言模型和向量模型。
• Lambda主要是用于实现核心的业务逻辑，串联整个流程。
• Glue用于进行离线的知识构建。

部署文档：https://upgt6k0dbo.feishu.cn/docx/GiLZd1glmo0l06xNRDmcr4P1nBf

Workshop：https://catalog.us-east-1.prod.workshops.aws/workshops/158a2497-7cbe-4ba4-8bee-2307cb01c08a/zh-CN

源代码：https://github.com/aws-samples/private-llm-qa-bot/tree/main