RAG系统从零搭建：鸿芯智谷课堂上的真实一幕

下午两点，深圳宝安西部硅谷产业园鸿芯智谷实训基地的教室里，空调吹着恒温26度的风。三十台显示器整齐排列，每张桌子上散落着笔记本、水杯、和一两部手机——屏幕朝下扣着，这个班的规矩是上课不许刷手机。

讲台上，讲师树根老师打开了一份PDF——一份家电维修手册，287页。

“假设你是某家电品牌的售后客服，用户打电话过来问’冰箱显示E3故障码怎么办’。这份手册里有答案，但你要一页一页翻。现在我们有更好的办法——让AI替你翻、替你读、替你回答。”

他停顿了一下，在黑板上写下三个字母：RAG。

“Retrieval-Augmented Generation，检索增强生成。不调模型微调，不给模型背答案，而是给模型配一个能实时查资料的外挂知识库。今天下午的任务——从零搭建一个能回答任何关于这份维修手册问题的RAG系统。”

拆解RAG：三个组件，一节课讲透

树根老师在鸿芯智谷以"理论功底深厚但讲法极度接地气"出名。他讲RAG不从论文开始，从一个比喻开始：

“你参加一场开卷考试。考卷发下来，题目是’冰箱E3故障怎么修’。你不会——但你手里有一本维修手册。你翻到第142页，找到’E3代表蒸发器传感器故障’，你把这段抄到答题卡上，交卷。这就是RAG。”

“三个步骤：第一步，把维修手册切成小块，存进数据库——这叫文档分块和向量化。第二步，拿到用户问题后，去数据库里找最相关的几段文字——这叫向量检索。第三步，把找到的文字和用户问题一起塞给大模型，让它生成最终答案——这叫上下文增强生成。”

比喻讲完，他开始拆技术细节。Embedding模型选哪个？为什么用text-embedding-ada-002而不是用开源的BGE？向量数据库选Chroma还是FAISS？文档分块多大合适——500字符还是1000字符？检索返回Top-K设多少——3条还是5条？

每个选择背后都有原因，每次解释都带着工程上的考量。教室里笔尖沙沙响，偶尔有人举手问"为什么不用Milvus"，树根老师会花五分钟解释不同向量数据库的适用场景差异——然后补一句"但你现在先用Chroma，够用且不折腾。"

动手：第一次卡壳来得很快

理论讲了四十分钟，剩下的三个小时全部留给实操。

学员的屏幕上是VS Code，旁边开着终端窗口。第一步很简单：pip install langchain chromadb openai——装依赖。第二步开始有点难度：写一个文档加载器，读取PDF文件，用PyPDF或Unstructured解析文本。

然后就有人举手了。

“老师，我的PDF读出来全是乱码。”

树根老师走过去，看了一眼终端输出：“这个PDF是扫描版，不是文字版。你用PyPDF只能读文字层，读不了图片。切到Unstructured，它内置了OCR。”

三分钟后，问题解决。但这不是今天最后一次"举手"。

二十分钟后，另一个问题出现了。文档切分完了，Embedding也生成了，存进了Chroma向量库，检索也能返回结果——但返回的三条结果跟用户问的问题毫无关系。

"把你检索的query打出来看看。"树根老师站在学员身后。

屏幕上显示着：“冰箱显示E3故障码怎么办”

“query没问题。把你存进去的文档片段随机抽几条看看。”

学员照做。Chroma里存的片段是这样的：“第3章 制冷系统维护 3.1 冷凝器清洗 定期清洗冷凝器可提高制冷效率…”

"发现问题了吗？"树根老师问。

学员想了想：“维、维修手册是扫描版，OCR识别的文字可能有错别字？”

"方向对，但不是主要原因。"树根老师把文档切分代码调出来，指着chunk_size=2000那一行，“你的chunk太大了，一个chunk里混了三个不同的小节。检索的时候语义被稀释了，相关性算不准。把chunk_size改回500，overlap设成50，重新跑。”

代码改了四行，重新跑一遍——检索结果立刻对上了。三条返回结果全部指向蒸发器传感器相关的段落。

第二个坑：大模型开始"编造"

检索问题解决了，学员把检索到的文档和用户问题拼接起来，调用OpenAI的大模型API生成最终答案。返回的答案看起来很不错——结构清晰、语气专业、还附带操作建议。

但有人仔细读了一遍后发现不对劲："‘建议更换蒸发器传感器，型号为XXXX’——这个型号在原文档里根本没有，是大模型自己编的。"

教室里一阵低笑。这不是第一次有人被大模型的"幻觉"坑了。

"这就是为什么RAG不能只靠检索质量，"树根老师趁机引入了一个新概念，“你需要在prompt里约束模型的行为。加一句——‘如果文档中没有明确提到的信息，请回答无法确认，不要编造任何型号、参数或价格。’”

学员在prompt末尾加上这行约束，重新生成——这次模型老老实实回答：“根据维修手册，E3故障码表示蒸发器传感器异常，建议联系售后进行检修。手册中未提供具体的传感器型号信息。”

部署：从本地到Web

下午四点半，大部分学员的RAG系统已经能在本地命令行里正常工作了。但树根老师说：“还没完。你做的系统不能只在你自己电脑上跑。用Streamlit或者Gradio搭一个Web界面，让你的同桌能用浏览器访问。”

最后半小时的教室氛围非常像真实的开发团队：有人在前端调UI，有人在优化检索速度，有人在写异常处理逻辑，还有人在帮同桌debug。辅导老师穿梭在座位之间，一会帮这个看端口冲突，一会帮那个改CORS配置。

五点四十分，第一个完整的RAG知识库问答系统部署成功。学员在自己的笔记本上打开浏览器，输入"冰柜不制冷可能是什么原因"，系统在一秒内返回了三条维修建议，每条都标注了引用来源——手册第几页、第几段。

这堂课值多少钱？

一个下午，三小时实操，从零搭建一个能跑的生产级RAG系统。如果你自己对着网上的教程摸索，可能花三天还不一定跑通——因为教程里的环境和你不一样，遇到的报错没有人当场帮你调。

鸿芯智谷的这堂RAG课，是整个AI大模型全栈课程中的一个模块。整套课程学费24800元，四位老师（授课讲师、辅导老师、班主任、就业老师）服务一个不超过30人的精品小班。入学前还有免费预科班帮你打基础。

但坦率地说，单堂课的价值不能这么算。真正值钱的东西不是学会调Chroma或LangChain的API——这些文档上都有。值钱的是一个下午里出现的每一次"卡壳"和每一次"突破"：文档乱码时的排查思路、检索不准时的参数调整逻辑、模型幻觉时的prompt工程技巧。

这些经验不会写在任何官方文档里。它们只能在真实的课堂里，从一个有经验的讲师嘴里，传给一个正在挠头的学员。