课程设计
- 第一部分建立 RAG 的整体图景:RAG 是什么、为什么需要它,以及它如何把 LLM 与外部知识库连接起来。
- 第二部分补齐信息检索和搜索基础,理解关键词搜索、语义搜索、混合检索、分块和查询解析等技术。
- 第三部分进入向量数据库、LLM 文本生成、评估与生产化,讨论上下文窗口、延迟、成本、监控和系统迭代。
适合人群
- 正在构建 RAG、企业知识库问答、客服机器人、代码助手或搜索增强应用的工程师。
- 已经了解生成式 AI 基础,希望把 RAG 从 Demo 推进到可调试、可评估、可上线系统的人。
- 具备中级 Python 编程能力,希望系统学习检索、提示词、向量数据库和生产部署之间关系的人。
建议背景
需要中级 Python 编程能力;了解生成式 AI 基础知识会更容易跟上课程节奏。
学习目标
理解检索与生成如何协同,能设计可靠、灵活的 RAG 系统。
掌握关键词搜索、语义搜索、混合检索、文本分块和查询解析等常见检索技术。
理解向量数据库在 RAG 中的作用,并能判断不同检索策略的适用场景。
能编写更好利用检索上下文的提示词,并评估 RAG 系统的回答质量。
能围绕延迟、成本、上下文窗口、监控和调试做出更稳的生产工程决策。
课程目录
Chapter 1
7 课时第一章:RAG 综述
从 RAG 的基本概念、应用场景、系统架构、LLM 机制和检索器职责建立整体图景。
01第一节:本章介绍梳理第一章会覆盖的 RAG 基础、系统架构、组件分工和应用场景。视频 / 图文10 分钟02第二节:RAG 介绍用酒店问题示例解释检索增强生成的基本思想:先检索信息,再让 LLM 基于上下文生成回答。视频 / 图文18 分钟03第三节:RAG 应用介绍介绍代码生成、企业聊天机器人、医疗法律、网络搜索和个人助手等典型 RAG 场景。视频 / 图文16 分钟04第四节:RAG 架构设计简述拆解 RAG 系统从用户提示到检索器、知识库、增强提示词和 LLM 输出的核心链路。视频 / 图文18 分钟05第五节:大模型介绍解释 LLM 如何基于 token 概率自回归生成文本,以及为什么这会带来幻觉和上下文窗口限制。视频 / 图文26 分钟06第六节:信息检索介绍从图书馆类比出发说明检索器如何组织、索引、排序和过滤知识库文档。视频 / 图文20 分钟07第七节:本章总结总结 RAG 的核心目标:用检索到的信息锚定 LLM 回复,并引出后续章节的深入内容。视频 / 图文10 分钟
Chapter 2
10 课时第二章:信息检索和搜索基础
拆解检索器的核心技术,理解元数据过滤、关键词搜索、语义搜索、混合搜索和检索质量评估。
01第一节:本章介绍说明检索器为什么看似简单却很难做好,并给出第二章的学习路线。视频 / 图文10 分钟02第二节:检索的架构介绍从整体架构看检索器如何结合关键词搜索、语义搜索和元数据过滤完成召回与排序。视频 / 图文16 分钟03第三节:元数据过滤解释如何用文档标签执行严格过滤,以及它为什么更适合做边界约束而不是主搜索。视频 / 图文16 分钟04第四节:关键词搜索 TF-IDF从词袋、稀疏向量和倒排索引出发,理解 TF-IDF 如何为文档相关性打分。视频 / 图文26 分钟05第五节:关键词搜索 BM25介绍 BM25 如何在 TF-IDF 基础上处理词频饱和、文档长度归一化和可调参数。视频 / 图文20 分钟06第六节:语义搜索介绍解释嵌入模型如何把文本映射成向量,并通过向量距离衡量语义相似度。视频 / 图文26 分钟07第七节:语义搜索:嵌入模型介绍通过正例对、反例对和对比训练理解嵌入模型为什么能让相似文本靠近。视频 / 图文20 分钟08第八节:混合搜索学习如何把关键词搜索、语义搜索和元数据过滤组合起来,并用 RRF 合并排名。视频 / 图文22 分钟09第九节:检索效果验证介绍 Precision、Recall、MAP、MRR 等指标,帮助量化检索器是否找到了正确文档。视频 / 图文26 分钟10第十节:第二章总结回顾信息检索基础,并串联关键词搜索、语义搜索、元数据过滤、混合搜索和检索评估。视频 / 图文10 分钟
Chapter 3
8 课时第三章:基于向量数据库的信息检索
将信息检索基础落到生产级向量检索,学习 ANN、分块、查询解析、ColBERT 和重排序等关键技术。
01第一节:本章介绍说明为什么大规模语义搜索通常需要向量数据库,并给出本章的学习路线。视频 / 图文10 分钟02第二节:近似最近邻算法(ANN)从暴力 KNN 的扩展性问题出发,理解 ANN、邻近图和 HNSW 如何加速向量搜索。视频 / 图文28 分钟03第三节:分块解释为什么要把长文档拆成较小片段,并比较固定大小分块、重叠和递归字符分割。视频 / 图文22 分钟04第四节:分块技巧学习语义分块、基于 LLM 的分块和上下文感知分块,并理解它们的成本收益。视频 / 图文22 分钟05第五节:查询解析学习如何将用户自然语言提示词改写成更适合检索的查询,并认识 NER 与 HyDE。视频 / 图文22 分钟06第六节:交叉编码器和 ColBERT比较双编码器、交叉编码器和 ColBERT,理解质量、速度和向量存储之间的取舍。视频 / 图文28 分钟07第七节:重排序学习如何先用向量数据库召回候选结果,再用更强模型重排以提升最终相关性。视频 / 图文18 分钟08第八节:本章总结回顾 ANN、向量数据库、分块、查询解析和重排序,并引出后续 LLM 生成章节。视频 / 图文10 分钟
Chapter 4
0 课时第四章:大模型和文本生成
后续更新。学习 LLM 如何利用检索上下文生成回答,并围绕提示词、上下文窗口和生成质量做工程优化。
Chapter 5
0 课时第五章:生产上的 RAG 系统
后续更新。学习如何评估、监控、调试和部署 RAG 系统,并在延迟、成本和可靠性之间做权衡。