05 - 评估与优化

定位: RAG 系统的"度量衡"——如何客观评价 RAG 质量、系统化调优 面试高频度: ⭐⭐⭐⭐

一、板块在体系中的位置

上游：01 ~ 04 板块（需要评估的基础架构已建好）
  │
  ▼
【05-评估与优化】 ← 你现在在这里
  │  ┌──────────────────────────────┐
  │  │ 评估框架 → 度量指标 → 瓶颈分析  │
  │  │  → 定向优化 → 再评估（闭环）   │
  │  └──────────────────────────────┘
  │
  ▼
下游：06-工程化实践（评估通过后进入生产）

二、知识全景图

┌────────────────────────────────────────────────────────────┐
│                  RAG 评估与优化框架                           │
│                                                             │
│  ┌────────────────────────────────────────────────┐        │
│  │               RAG 评估的四个维度                │        │
│  │                                                │        │
│  │  ┌──────────┐  ┌──────────┐  ┌──────────┐     │        │
│  │  │ 忠实度    │  │ 答案相关  │  │ 上下文相关 │     │        │
│  │  │ Faith-   │  │ Answer   │  │ Context  │     │        │
│  │  │ fulness  │  │ Relevancy│  │ Relevancy│     │        │
│  │  └──────────┘  └──────────┘  └──────────┘     │        │
│  │                                                │        │
│  │  ┌──────────┐  ┌──────────┐  ┌──────────┐     │        │
│  │  │ 上下文召回 │  │ 上下文精度 │  │ 幻觉比率  │     │        │
│  │  │ Context  │  │ Context  │  │ Halluci- │     │        │
│  │  │ Recall   │  │ Precision│  │ nation   │     │        │
│  │  └──────────┘  └──────────┘  └──────────┘     │        │
│  └────────────────────────────────────────────────┘        │
│                      │                                      │
│                      ▼                                      │
│  ┌────────────────────────────────────────────────┐        │
│  │         优化闭环：评估 → 分析 → 调优 → 再评估    │        │
│  │  检索优化 → 分块调优 → Embedding替换 → Prompt优化 │        │
│  └────────────────────────────────────────────────┘        │
│                                                             │
│  工具：RAGAS / TruLens / DeepEval / 人工评估集              │
└────────────────────────────────────────────────────────────┘

三、子专题导航

#	主题	面试频率	核心内容
**RAGAS评估框架**	RAGAS评估框架	⭐⭐⭐⭐	RAGAS 设计原理、使用方式、指标解读
**评估指标详解**	评估指标详解	⭐⭐⭐⭐⭐	各指标定义、计算方式、优化方向
**RAG系统调优策略**	系统调优策略	⭐⭐⭐⭐	瓶颈分析、定向优化、实验管理

四、核心考点速记

1. RAG 评估的核心矛盾

传统 NLG 指标（BLEU/ROUGE）不适合 RAG：
  回答可以多种表述但语义相同 → 参考翻译指标不合适
  RAG 需要评估"检索质量"+"生成质量"两个维度
  → 产生了专门的 RAG 评估框架（RAGAS/DeepEval/TruLens）

2. 最核心的三个指标

忠实度 (Faithfulness)：回答是否基于检索文档？
  问题："模型有没有编造事实？"
答案相关性 (Answer Relevancy)：回答是否回答了问题？
  问题："模型有没有答非所问？"
上下文相关性 (Context Relevancy)：检索的文档与查询相关吗？
  问题："检索系统有没有找到有用的文档？"

3. 系统化调优路线图

第一步：基线建立 → RAGAS 跑出各维度分数
第二步：分析最短板 → 低分维度作为优化目标
第三步：定向实验 → 每次只改一个变量
第四步：再评估 → 与前基线对比
常见优化点（按效果排序）：
  ① Reranker 引入（效果最显著）
  ② Chunk 策略优化
  ③ 查询转换（HyDE/Multi-Query）
  ④ Embedding 模型替换
  ⑤ Prompt 模板优化

📚 相关文件

• **RAG文库设计文档**
• **检索系统索引**
• ← 返回 **RAG文库设计文档**