真实面经高频题（2025–2026）¶
本章导读：这一章不是“教科书目录”，而是把公开面经、题库和开源笔记里的高频问法去重后，按主题整理成可直接练习的题单。每题给“考察点 + 回答要点 + 常见追问”，并标注近两年的考察趋势。
重要说明：题目来自公开面经/题库的归纳，不代表任何公司的完整题库；答案均为原创整理。样本有限，“出现频次”只能说明方向，不是精确统计。
核心要点¶
- 2025–2026 的算法岗面试明显从“背定义”转向“推公式 + 算显存 + 讲项目数字”。
- 架构部分的高频核心是：RoPE、RMSNorm、Pre/Post-Norm、GQA/MLA、SwiGLU、MoE；要求能推导、能算参数量。
- 训练部分的高频核心是：LoRA/QLoRA、显存估算、ZeRO、SFT 数据与 loss mask、灾难性遗忘。
- 对齐部分的高频核心是：PPO/DPO/GRPO 的公式与区别、KL 与 β、reward hacking、RLVR。
- 推理部分的高频核心是：KV Cache 计算、PagedAttention、FlashAttention、continuous batching、量化、投机解码。
- 应用部分的高频核心是：RAG 全链路与评测、Agent 循环与工具调用、MCP、记忆、上下文工程、权限与 HITL。
- 项目部分是决定成败的主线：每个技术点后面几乎都会接一句“你们具体怎么做的、效果怎么量化”。
- 2026 新增重灾区：上下文工程、Skill/Harness、HITL 与 ACL、Token 治理与可观测性、Agentic RAG。
1. 题库来源与方法¶
| 来源 | 内容 | 用途 |
|---|---|---|
| 牛客：同花顺 50 道大模型高频题 | 50 道基础/微调/推理/RLHF 题 | 基础题单骨架 |
| 牛客：2025–26 阿里系算法面经整理 | 组件考察频次、追问逻辑 | 判断重点与深度 |
| 牛客：大模型算法工程师面试题汇总 | 基础、微调、LangChain、PEFT、推理、评测、RL | 应用题补充 |
| datawhale hello-agents 面试总结 | LLM/VLM/Agent 真题 | Agent 与 RLHF 追问 |
| wdndev/llm_interview_note | 系统化 LLM 面试笔记 | 主题覆盖校验 |
| 面灵 AI：265 道大模型/Agent 真题（2026） | 2026 新考点、公司标签 | 前沿趋势 |
| 吴师兄：大模型项目面试题 | RAG/Agent/推理项目深挖 | 项目题 |
| LLM180 | 后训练、推理、Agent 追问链 | 追问设计 |
| 小林coding：530+ 题 | 九大方向题库 | 广度校验 |
| 牛客：淘天/快手 Agent 面经 | RAG/Agent 实战追问 | 应用题风格 |
整理方法：
- 抓取公开题单与面经中的问法，合并同义问题（如“KV Cache 原理”“KV Cache 怎么算”合并）。
- 按“架构 / 训练 / 对齐 / 推理 / RAG / Agent / 评测 / 项目”归类。
- 对高频题补充公式、数字、失败模式，而不是只给定义。
- 标注近两年新增的考点，避免用过时资料准备新面试。
2. 2025–2026 考察趋势¶
以下频次来自公开面经整理（样本有限，仅作方向参考）：
| 知识点 | 公开面经中的热度 | 面试官真正想听 |
|---|---|---|
| RoPE | 极高（阿里系整理中 42 次） | 复数/旋转推导、相对位置证明、PI/NTK/YaRN |
| RMSNorm | 高（35 次） | 与 LayerNorm 的差异、为什么能省、Pre-Norm 稳定性 |
| Pre/Post-Norm | 高（28 次） | 梯度路径、warmup、深层训练 |
| SwiGLU | 高（24 次） | 三个矩阵、\(d_{ff}=8d/3\) 的参数量账 |
| LoRA/QLoRA | 极高（LoRA 55 次、QLoRA 29 次） | 低秩假设、rank/alpha、显存、合并、不收敛排查 |
| DPO | 高（38 次） | 闭式推导、β、off-policy、与 PPO 对比 |
| PPO/RLHF | 高（22 次） | 四模型、KL、GAE、reward hacking |
| ZeRO/显存 | 高（27/21 次） | 分片对象、通信量、70B 怎么配 |
| KV Cache | 极高（48 次） | 公式、GQA/MLA、PagedAttention、长上下文 |
| PagedAttention | 高（33 次） | 分页、碎片、共享、prefix cache |
| 量化 | 中高（AWQ 17、GPTQ 12） | 权重/激活、精度损失、何时不量化 |
| 投机解码 | 中（16 次） | 接受率、加速比、草稿模型 |
| 上下文工程 | 2026 激增 | 压缩位置、工具结果、污染判定、token 预算 |
| Harness/Skill | 2026 新增 | 与 MCP 边界、百个 Skill 管理、验证 |
| HITL/ACL | 2026 新增 | 暂停恢复、先过滤后过滤、越权监控 |
结论：只背“是什么”已经不够。每个高频点都要准备三层：公式/机制 → 工程代价 → 项目中的数字。
3. 基础与架构（40 题）¶
| # | 问题 | 回答要点与追问 |
|---|---|---|
| 1 | GPT 和 BERT 的区别 | 目标（CLM vs MLM）、注意力方向、擅长任务、代表模型；追问：为什么 BERT 不适合生成 |
| 2 | GPT 系列如何演进 | GPT-1/2/3 的规模与范式、in-context learning、RLHF、多模态；追问：每一代的关键变量 |
| 3 | 为什么大模型多是 Decoder-Only | 数据效率、任务统一、KV Cache 工程简单、规模效应；追问：什么场景仍用 Encoder-Decoder |
| 4 | 生成式语言模型的工作机理 | 链式分解、next-token、softmax、自回归解码；追问：训练与推理差异 |
| 5 | 因果 LM 与掩码 LM 的区别 | 单向/双向、目标、并行方式、代表模型；追问：prefix LM 是什么 |
| 6 | prefix LM 与 causal LM | prefix 部分双向、生成部分单向；代表 GLM/UniLM；追问：实现上 mask 怎么设 |
| 7 | Transformer 基本原理 | 自注意力、多头、FFN、残差、归一化、位置编码；追问：画图并标维度 |
| 8 | 为什么需要多头注意力 | 不同子空间/关系、ensemble、表达力；追问：头数越多越好吗 |
| 9 | 为什么需要位置编码 | 自注意力置换等变；绝对/相对/RoPE；追问：不加会怎样 |
| 10 | 同一个词可以有不同的注意力权重吗 | 可以，取决于上下文、层、头；追问：注意力权重能否当解释 |
| 11 | 注意力复杂度 | \(O(n^2d)\) 时间、\(O(n^2)\) 朴素显存；追问：长上下文优化手段 |
| 12 | 为什么除以 \(\sqrt{d_k}\) | 点积方差 \(d_k\)、softmax 饱和、梯度消失；追问：为什么不是除以 \(d_k\) |
| 13 | MHA/MQA/GQA 区别 | KV 头数、KV Cache、质量与显存折中；追问：Llama 为什么用 GQA |
| 14 | MLA 是什么 | 低秩压缩 KV 潜向量、解耦 RoPE、DeepSeek；追问：与 GQA 的压缩率对比 |
| 15 | Pre-LN 与 Post-LN | 残差路径、梯度稳定性、warmup、final norm；追问：为什么大模型用 Pre-LN |
| 16 | 为什么用 LayerNorm 不用 BatchNorm | 变长序列、batch 依赖、推理一致性；追问：LN 在哪个维度归一化 |
| 17 | RMSNorm 公式与特点 | 去掉均值与偏移、均方根、计算省；追问：为什么效果不掉 |
| 18 | DeepNorm 是什么 | 调整残差缩放、超深模型稳定；追问：与 Pre-LN 的区别 |
| 19 | SwiGLU 与 \(d_{ff}=8d/3\) | 三个矩阵、门控、参数量对齐推导；追问：为什么不是 \(4d\) |
| 20 | GELU/Swish/GLU 公式 | 近似公式、平滑性、门控；追问：哪个模型用哪个 |
| 21 | 推导 RoPE | 二维旋转、\(R(m)^\top R(n)=R(n-m)\)、内积只依赖相对位置；追问：复数形式 |
| 22 | RoPE 相比绝对位置编码的优势 | 相对性、无额外参数、远程衰减、与 KV Cache 兼容；追问：缺点 |
| 23 | RoPE 长度外推 | PI、NTK-aware、YaRN、LongRoPE；追问：为什么不能无限外推 |
| 24 | ALiBi 原理 | 线性距离惩罚、每头斜率、外推；追问：与 RoPE 对比 |
| 25 | MoE 原理 | 门控 top-k、专家 FFN、总参数 vs 激活参数；追问：为什么省算力不省显存 |
| 26 | MoE 负载均衡 | 辅助损失、容量因子、无辅助损失偏置、共享专家；追问：token dropping |
| 27 | MoE 工程难点 | all-to-all、专家并行、grouped GEMM、路由不稳定；追问：推理怎么部署 |
| 28 | 175B 参数怎么算 | 层数 × \(12d^2\) + embedding；给假设与数量级；追问：GQA/SwiGLU 怎么修正 |
| 29 | weight tying 是什么 | 输入 embedding 与输出投影共享；追问：什么时候不共享 |
| 30 | 涌现能力 | 定义争议、指标突变、可能由评测方式导致；追问：你信吗 |
| 31 | Scaling Law | 幂律、\(C\approx6ND\)、Chinchilla 20 token/param；追问：为什么现代模型过训练 |
| 32 | 复读机问题 | 原因（贪心/训练数据/暴露偏差）、缓解（采样、惩罚、数据）；追问：惩罚过强的问题 |
| 33 | 幻觉成因与缓解 | 知识缺失、检索噪声、解码随机、指令冲突；RAG/拒答/校验；追问：怎么量化幻觉率 |
| 34 | LLM 偏见来源 | 数据、标注、目标、解码；追问：怎么评估 |
| 35 | 知识更新为什么难 | 参数化记忆、灾难性遗忘、训练成本；追问：RAG vs 编辑 vs 继续预训练 |
| 36 | 如何让模型处理长文本 | 位置外推、FlashAttention/Ring Attention、KV 压缩、长文本训练、检索；追问：128K 真能用吗 |
| 37 | 大模型有推理能力吗 | 定义分歧、CoT/test-time compute、系统 1/2；追问：怎么证明不是记忆 |
| 38 | 主流开源模型体系 | Llama/Qwen/Mistral/DeepSeek/Gemma/GLM；追问：各自架构创新 |
| 39 | Llama 系列演进 | GQA、SwiGLU、RoPE、词表、训练 token、Llama 3/4；追问：为什么词表变大 |
| 40 | Qwen/DeepSeek 的创新 | Qwen 的中文/多尺寸/多模态、DeepSeek 的 MLA/MoE/FP8/GRPO；追问：论文细节 |
重点题补充¶
Q：RoPE 的相对位置性质怎么证？ - 二维旋转：\(R(m\theta)=\begin{pmatrix}\cos m\theta&-\sin m\theta\\\sin m\theta&\cos m\theta\end{pmatrix}\)。 - 正交性：\(R(m)^\top=R(-m)\)，可加性：\(R(m)^\top R(n)=R(n-m)\)。 - 因此 \((R(m)q)^\top(R(n)k)=q^\top R(n-m)k\)，只依赖 \(n-m\)。 - 多维时对每对维度独立旋转，内积是所有对的和，仍然只依赖相对位置。
Q：SwiGLU 的参数量账怎么算？ - 标准 FFN：\(W_1\in\mathbb{R}^{d\times4d}\)、\(W_2\in\mathbb{R}^{4d\times d}\)，参数量 \(8d^2\)。 - SwiGLU：\(W_1,W_3\in\mathbb{R}^{d\times d_{ff}}\)、\(W_2\in\mathbb{R}^{d_{ff}\times d}\)，参数量 \(3d\cdot d_{ff}\)。 - 令 \(3d\cdot d_{ff}=8d^2\)，得 \(d_{ff}=8d/3\)。 - 实际实现会对齐到 128 的倍数，所以是近似值。
4. 训练、微调与对齐（47 题）¶
| # | 问题 | 回答要点与追问 |
|---|---|---|
| 1 | 预训练有哪几个关键步骤 | 数据采集/清洗/去重/配比 → tokenizer → 分布式训练 → 评测 → 后训练；追问：每步的失败模式 |
| 2 | 预训练数据重复有什么影响 | 少量重复可能有益，大量重复导致记忆/泛化下降；追问：去重阈值怎么定 |
| 3 | BPE 与 WordPiece 区别 | 合并策略（频率 vs 似然）、分词粒度、代表模型；追问：Unigram/SentencePiece |
| 4 | 词表扩增有必要吗 | 领域术语/多语言压缩率 vs embedding 重训/对齐成本；追问：新 token 初始化 |
| 5 | 全参微调需要多少显存 | 参数+梯度+优化器+激活；7B FP16 Adam 约 80–100GB 量级；追问：70B 怎么估 |
| 6 | SFT 数据格式 | system/user/assistant、chat template、EOS、loss mask；追问：多轮怎么算 loss |
| 7 | SFT 到底在学什么 | 指令格式、任务模式、输出风格；知识注入有限；追问：与预训练分工 |
| 8 | 为什么 SFT 后模型变傻 | 数据窄、质量差、训练过头、loss mask 错、灾难性遗忘；追问：怎么排查 |
| 9 | 预训练与 SFT 的区别 | 目标、数据、算力、参数量、遗忘风险；追问：继续预训练放哪 |
| 10 | 灾难性遗忘怎么缓解 | 数据回放、LoRA、小学习率、早停、模型合并；追问：怎么量化 |
| 11 | 领域知识该用预训练还是微调 | 知识量/更新频率/可检索性；RAG vs 继续预训练 vs SFT；追问：成本对比 |
| 12 | 多轮对话怎么微调 | 整段拼接、按轮 mask、只对 assistant 算 loss；追问：指代与上下文截断 |
| 13 | LoRA 原理 | 低秩分解 \(\Delta W=BA\)、缩放 \(\alpha/r\)、冻结原权重；追问：为什么有效 |
| 14 | LoRA 参数量怎么算 | \(r(d+k)\) 每层；给 7B、r=8、q/v 的例子；追问：target modules 怎么选 |
| 15 | LoRA 的 rank/alpha 怎么选 | 任务复杂度、数据量、消融；alpha 常取 r 或 2r；追问：rank 越大越好吗 |
| 16 | QLoRA 是什么 | NF4、双重量化、paged optimizer、冻结基座；追问：精度损失 |
| 17 | AdaLoRA/DoRA | 动态秩分配/方向+幅度分解；追问：与 LoRA 的收益差 |
| 18 | LoRA 能合并吗 | 可以，\(W'=W+\frac{\alpha}{r}BA\)；追问：合并后精度、部署多 LoRA |
| 19 | 如何在已有 LoRA 上继续训练 | 加载权重、重置优化器、调小学习率；追问：会不会覆盖原能力 |
| 20 | PEFT 方法对比 | Adapter/Prefix/P-Tuning/LoRA/IA3 的插入位置、参数量、推理开销；追问：为什么 LoRA 主流 |
| 21 | RLHF 三阶段 | SFT → RM（BT loss）→ PPO+KL；追问：每阶段输入输出 |
| 22 | 为什么 RM 用 pairwise 不用绝对分 | 人类相对判断更一致、避免标尺漂移；追问：缺点（不可比、成本） |
| 23 | RM 的 loss | \(-\log\sigma(r(y_w)-r(y_l))\)；追问：BT 模型假设 |
| 24 | PPO 流程 | rollout → reward+KL → GAE → clip 更新 → value 更新；追问：4 个模型 |
| 25 | PPO 的 clip 公式 | \(\min(rA,\text{clip}(r,1-\epsilon,1+\epsilon)A)\)；追问：为什么取 min |
| 26 | KL 惩罚的作用 | 防策略漂移、防 reward hacking；β 过大/过小；追问：per-token KL |
| 27 | GAE 是什么 | 多步 TD 误差加权、\(\gamma\lambda\)；追问：λ 的偏差方差权衡 |
| 28 | reward hacking | 表现、监控、缓解；追问：你项目里的例子 |
| 29 | DPO 推导 | 最优策略 \(\pi^*\propto\pi_{\text{ref}}e^{r/\beta}\)、反解 reward、BT 消去 Z；追问：β 作用 |
| 30 | DPO 完整 loss | \(-\log\sigma(\beta\log\frac{\pi(y_w)}{\pi_{\text{ref}}(y_w)}-\beta\log\frac{\pi(y_l)}{\pi_{\text{ref}}(y_l)})\)；追问：第 0 步 loss |
| 31 | DPO 是 on/off-policy | off-policy，离线偏好数据；追问：分布偏移与在线改进 |
| 32 | DPO vs PPO | 模型数、采样、稳定性、效果上限；追问：什么时候仍用 PPO |
| 33 | GRPO 原理 | 组内采样、均值/标准差归一化优势、无 critic；追问：组大小 G |
| 34 | GRPO vs PPO | 省 value 模型、适合可验证奖励、组内基线；追问：全对/全错怎么办 |
| 35 | DAPO/GSPO | 去 KL、非对称 clip、token-level loss、动态采样；追问：解决什么问题 |
| 36 | RLAIF | AI 反馈替代人工、成本/偏差；追问：与 RLHF 的区别 |
| 37 | PRM vs ORM | 过程奖励/结果奖励、标注成本、信用分配；追问：怎么自动标 PRM |
| 38 | RLVR | 可验证奖励、数学/代码、防刷分；追问：reward 怎么设计 |
| 39 | 8×A100 7B GRPO 怎么加速 | LoRA/ZeRO/offload、vLLM rollout、动态采样、长度控制；追问：吞吐瓶颈 |
| 40 | ZeRO 1/2/3 | 切优化器/梯度/参数、通信量、适用场景；追问：与 FSDP 关系 |
| 41 | TP/PP/EP | 切分维度、通信模式、 bubble、all-to-all；追问：70B 怎么组合 |
| 42 | 激活重计算 | 省显存、增加计算；追问：选择哪些层 |
| 43 | 混合精度 | FP16/BF16/FP8、loss scaling、master weights；追问：为什么 BF16 更稳 |
| 44 | MFU 是什么 | 实际 FLOPs/峰值 FLOPs；追问：常见值、怎么提升 |
| 45 | loss spike 怎么排查 | 数据/数值/优化/分布式四层；追问：恢复策略 |
| 46 | 3D 并行怎么配 | 节点内 TP、节点间 PP/DP、显存与带宽约束；追问：通信瓶颈 |
| 47 | 训练 OOM 怎么排查 | 激活/参数/临时 buffer、序列长度、batch、并行配置；追问：先降什么 |
重点题补充¶
Q：全参微调 7B 需要多少显存？ - 参数：7B × 2 bytes（BF16）= 14GB。 - 梯度：14GB。 - Adam 状态：FP32 m/v + master weight ≈ 7B × 12 bytes = 84GB（若混合精度维护 FP32 副本）。 - 合计约 112GB，尚未算激活；实际用 ZeRO/FSDP 分片或 LoRA。 - 面试时先说明假设（精度、优化器、是否 offload），再给数量级。
Q：DPO 的 β 太大/太小会怎样？ - β 控制对 reference 的约束强度：β 大 → 更保守、接近 SFT，学不动；β 小 → 更激进、易过拟合偏好数据、输出退化。 - 常见范围 0.1–0.5，需在验证集上看 win rate、长度、KL。 - β 与学习率、数据质量耦合，不能孤立调。
5. 推理与部署（30 题）¶
| # | 问题 | 回答要点与追问 |
|---|---|---|
| 1 | 推理的两个阶段 | prefill（并行、compute-bound）、decode（逐 token、memory-bound）；追问：优化手段不同 |
| 2 | KV Cache 原理 | 缓存历史 K/V，避免重算；追问：为什么只缓存 K/V 不缓存 Q |
| 3 | KV Cache 显存公式 | \(2L n_{kv}d_h S B\) bytes；给 7B/70B 例子；追问：GQA/MLA 的影响 |
| 4 | 为什么推理显存一直占着 | 预分配/缓存分配器、KV 池、避免碎片；追问：怎么回收 |
| 5 | PagedAttention | 分页管理 KV、块表、按需分配、共享；追问：解决什么碎片 |
| 6 | FlashAttention | tiling、online softmax、不物化 \(n^2\)、IO 优化；追问：是否近似 |
| 7 | continuous batching | token 级调度、请求动态进出；追问：与静态 batch 的吞吐差 |
| 8 | chunked prefill | 长 prompt 分块、与 decode 交错；追问：对 TTFT/TPOT 的影响 |
| 9 | PD 分离 | prefill/decode 资源池分离、KV 传输；追问：适合什么负载 |
| 10 | 投机解码 | 草稿模型/多 token 预测、接受率、加速比；追问：什么时候不划算 |
| 11 | Medusa/EAGLE | 多头/特征级草稿、树验证；追问：与标准投机区别 |
| 12 | prefix caching | 复用相同前缀的 KV；追问：命中率、淘汰策略 |
| 13 | 量化基础 | 对称/非对称、per-tensor/channel/group、PTQ/QAT；追问：权重 vs 激活 |
| 14 | GPTQ | 逐层 Hessian 近似、误差补偿；追问：校准集 |
| 15 | AWQ | 激活感知、显著通道缩放；追问：为什么保护少数通道 |
| 16 | SmoothQuant | 把激活离群值迁移到权重、W8A8；追问：适用场景 |
| 17 | FP8 | E4M3/E5M2、动态缩放；追问：训练 vs 推理 |
| 18 | INT8 vs FP16 | 带宽减半、速度提升、精度损失；追问：为什么 decode 更受益 |
| 19 | 量化怎么评估 | PPL、任务指标、长尾、格式遵循；追问：小模型更敏感 |
| 20 | 蒸馏 | logits/序列/on-policy、温度、teacher 选择；追问：与量化叠加 |
| 21 | 剪枝 | 非结构化/结构化、Wanda/SparseGPT、2:4 稀疏；追问：恢复训练 |
| 22 | vLLM/SGLang/TRT-LLM | 定位、优势、适用场景；追问：为什么选它 |
| 23 | TTFT/TPOT/ITL | 定义、影响因素、优化；追问：P99 怎么压 |
| 24 | 吞吐 vs 延迟 | batch/并发、排队、Goodput；追问：怎么定容量 |
| 25 | 长上下文推理 | KV 显存、注意力实现、分块/稀疏、PD；追问：128K 的成本 |
| 26 | 多 LoRA 服务 | 动态加载、批内路由、显存换入换出；追问：延迟 |
| 27 | 结构化输出 | JSON schema/grammar/约束解码；追问：怎么保证合法 |
| 28 | 流式输出 | SSE、增量解码、背压；追问：首 token 优化 |
| 29 | 容量规划 | 模型显存+KV×并发、GPU 数、冗余；追问：给完整算例 |
| 30 | 推理框架选型 | 模型支持、吞吐、延迟、生态、成本；追问：POC 怎么做 |
重点题补充¶
Q：7B 模型 32K 上下文的 KV Cache 多大？ - 假设 32 层、8 个 KV 头、\(d_h=128\)、FP16。 - 每 token：\(2\times32\times8\times128\times2=131072\) bytes ≈ 128KB。 - 32K：\(128\text{KB}\times32768\approx4\)GB。 - 70B（80 层、8 KV 头）：每 token 约 320KB，32K 约 10GB。 - 实际加上权重（7B FP16 14GB）、激活、框架开销；单卡 24GB 跑 32K 7B 很紧。
Q：投机解码的加速比怎么估？ - 设草稿长度 \(\gamma\)、接受率 \(\alpha\)，期望接受 token 数约为 \(\frac{1-\alpha^{\gamma+1}}{1-\alpha}\)。 - 加速比受草稿成本、验证成本、接受率影响；接受率低或草稿模型太慢时不划算。 - 适合：大模型 decode 受带宽限制、草稿模型远小于目标模型、输出可预测（代码/摘要）。
6. RAG（25 题）¶
| # | 问题 | 回答要点与追问 |
|---|---|---|
| 1 | RAG 是什么，解决什么问题 | 检索外部知识、时效性、私有数据、可溯源；追问：与长上下文区别 |
| 2 | RAG 完整流程 | 解析→切分→embedding→索引→召回→重排→组装→生成→引用；追问：每步失败模式 |
| 3 | RAG vs 微调 | 知识更新/成本/行为定制/幻觉；追问：怎么组合 |
| 4 | 什么时候不该用 RAG | 数据量小、长上下文足够、任务只需风格、检索延迟不可接受 |
| 5 | 切分策略 | 固定/递归/语义/结构/父子；chunk size/overlap；追问：表格代码怎么切 |
| 6 | 为什么父子索引 | 小块检索、大块生成；代价存储与噪声；追问：父块多大 |
| 7 | embedding 怎么选 | 语言/维度/长度/MTEB/私有评测；追问：要不要微调 |
| 8 | 为什么混合检索 | 语义 vs 精确匹配、RRF；追问：权重怎么定 |
| 9 | RRF 公式 | \(\sum 1/(k+\text{rank})\)；追问：k 的作用 |
| 10 | rerank 是什么 | cross-encoder 精排、延迟、top-k 截断；追问：返回几个 |
| 11 | query 改写 | Multi-Query/HyDE/step-back/指代消解；追问：收益与风险 |
| 12 | 多跳问题 | 迭代检索、GraphRAG、agentic RAG；追问：成本 |
| 13 | 向量库选型 | FAISS/Milvus/pgvector/Qdrant；HNSW/IVF；追问：数据量/QPS |
| 14 | 权限过滤 | 先过滤 vs 后过滤、ACL、租户隔离；追问：泄漏风险 |
| 15 | 上下文组装 | top-k、顺序、去重、压缩、token 预算；追问：Lost in the Middle |
| 16 | 引用怎么做 | 来源标注、句子级对齐、引用错误处理；追问：怎么评估 |
| 17 | 拒答策略 | 检索置信度、覆盖度、二次确认；追问：误拒率 |
| 18 | RAG 评测集 | query/答案/gold doc、难度分层、污染控制；追问：多少条 |
| 19 | 检索指标 | Recall@k、MRR、nDCG、Context Precision；追问：公式 |
| 20 | 生成指标 | Faithfulness、Answer Relevancy、Correctness；追问：LLM-judge 偏差 |
| 21 | 怎么归因 badcase | 未召回/排序低/截断/忽略证据/幻觉/歧义；追问：分层评测 |
| 22 | 提升最大的是哪块 | 先检索后生成、先数据后模型；追问：消融 |
| 23 | GraphRAG | 实体关系抽取、子图检索、多跳；追问：增量更新 |
| 24 | Agentic RAG | 自主决定检索时机/多轮补检；追问：延迟与成本控制 |
| 25 | 成本怎么算 | embedding/检索/rerank/生成 token；追问：每请求成本 |
7. Agent 与上下文工程（30 题）¶
| # | 问题 | 回答要点与追问 |
|---|---|---|
| 1 | Agent 的核心组件 | LLM + Planning + Memory + Tools + Action；追问：与 workflow 区别 |
| 2 | 什么时候不该用 Agent | 流程确定、容错低、延迟敏感、审计要求高 |
| 3 | ReAct 原理 | Thought→Action→Observation 循环；追问：怎么终止 |
| 4 | ReAct vs CoT | 外部验证 vs 纯思考；追问：错误传播 |
| 5 | Plan-and-Execute | 先规划再执行、可人工审核；追问：计划失败怎么重规划 |
| 6 | Reflection | 自我评估、迭代修正；追问：什么时候有效 |
| 7 | ToT/GoT | 树/图搜索、评估剪枝；追问：成本 |
| 8 | Function Calling 流程 | schema → 模型输出 → 解析 → 执行 → 回填；追问：参数校验 |
| 9 | Function Calling 怎么训练 | SFT 工具调用数据、格式约束；追问：开源模型怎么做 |
| 10 | MCP 是什么 | 标准化工具/上下文协议、server/client；追问：与 FC 区别 |
| 11 | MCP vs Skills | 协议接入 vs 能力封装/编排；追问：边界 |
| 12 | A2A | Agent 间通信/协作协议；追问：与 MCP 区别 |
| 13 | 工具设计原则 | 单一职责、描述清晰、参数少、幂等、错误可读；追问：坏 schema 的后果 |
| 14 | 工具调用安全 | 权限最小化、沙箱、白名单、人工审批；追问：不可逆操作 |
| 15 | 记忆分类 | 短期/长期/工作记忆；追问：写什么、怎么检索 |
| 16 | 记忆怎么评估 | 召回相关性、污染率、过期、延迟；追问：指标 |
| 17 | 上下文工程 | 预算分配、压缩、卸载、隔离、污染控制；追问：压缩放哪一步 |
| 18 | 上下文压缩 | 摘要、滑窗、工具结果截断、结构化状态；追问：丢信息的风险 |
| 19 | 上下文污染 | 错误记忆/工具结果/注入内容传播；追问：怎么判定与隔离 |
| 20 | 多智能体 | 角色分工、通信、辩论、责任扩散；追问：什么时候值得 |
| 21 | 死循环怎么防 | 最大步数、超时、重复动作检测、预算；追问：恢复 |
| 22 | 状态持久化 | checkpoint、事件日志、幂等恢复；追问：崩了怎么续跑 |
| 23 | HITL 怎么做 | 暂停/审批/恢复、权限边界；追问：状态怎么存 |
| 24 | 权限 ACL | 先过滤 vs 后过滤、租户隔离、越权监控；追问：RAG 场景 |
| 25 | Agent 评测 | 成功率、步数、成本、轨迹、安全；追问：环境怎么搭 |
| 26 | 失败归因 | 模型/工具/编排/数据/权限；追问：trace 看什么 |
| 27 | 成本控制 | 模型路由、缓存、并行、预算、早停；追问：token 治理 |
| 28 | 可观测性 | trace、span、token、工具耗时、错误率；追问：用什么工具 |
| 29 | Agentic RAG | 检索时机、多轮补检、验证；追问：何时坚持固定 RAG |
| 30 | 生产事故 | 越权、重复执行、上下文爆、工具超时；追问：怎么兜底 |
重点题补充¶
Q：MCP 和 Function Calling 的区别？ - Function Calling：模型输出“调用哪个函数、什么参数”的结构化意图，执行与权限在应用侧。 - MCP：标准化协议，统一工具/资源的发现、描述、调用，让 server 可被多个 client 复用。 - 类比：FC 是函数调用约定，MCP 是接口标准；MCP 不替代权限、沙箱、审计。 - 面试追问：为什么需要 MCP？答：工具生态碎片化、重复接入、跨应用复用。
Q：上下文工程的压缩放在哪一步？ - 入口：系统提示/工具定义裁剪（静态）。 - 检索后：chunk 去重、摘要、按 token 预算截断。 - 工具返回后：结构化提取、只保留关键字段、错误信息压缩。 - 对话中：滑窗 + 摘要 + 关键事实固定。 - 原则：先保留“决策所需的最小充分信息”，再压缩；压缩后要做可回答性校验。
8. 评测、数据与项目（20 题）¶
| # | 问题 | 回答要点与追问 |
|---|---|---|
| 1 | 大模型怎么评测 | 能力维度、基准、人工、A/B；追问：各自局限 |
| 2 | 常见 benchmark | MMLU/GSM8K/HumanEval/MT-Bench/长上下文/安全；追问： saturation |
| 3 | 数据污染怎么检测 | n-gram、时间切分、变体探测、生成式；追问：发现后怎么办 |
| 4 | PPL 的局限 | 分词器/领域/不反映下游；追问：什么时候用 |
| 5 | LLM-as-judge 偏差 | 位置/长度/自我偏好；追问：怎么校准 |
| 6 | 人工评估怎么做 | 标注协议、人数、一致性、分歧处理；追问：成本 |
| 7 | RAG 评测 | 检索/生成分层、gold set、RAGAS；追问：指标公式 |
| 8 | Agent 评测 | 成功率/步数/成本/安全、模拟环境；追问：轨迹评估 |
| 9 | 离线涨点线上不涨 | 分布差异、指标错位、污染、延迟/成本；追问：归因 |
| 10 | A/B 怎么设计 | 样本量、显著性、护栏指标、灰度；追问：辛普森悖论 |
| 11 | 幻觉率怎么定义 | 无依据陈述/事实错误/引用错误；追问：标注一致性 |
| 12 | 评测集怎么构建 | 真实日志、分层采样、专家标注、难例；追问：版本管理 |
| 13 | 数据标注成本怎么降 | 主动学习、合成、弱监督、模型预标；追问：质量控制 |
| 14 | 合成数据的风险 | 自噬、模式坍塌、错误放大；追问：怎么过滤 |
| 15 | 模型选型怎么做 | 能力/成本/延迟/合规/生态；追问：加权评分 |
| 16 | 成本怎么算 | token/GPU/TCO/利用率；追问：完整算例 |
| 17 | 上线流程 | POC→离线→灰度→全量→监控；追问：退出标准 |
| 18 | 合规风险 | 数据/隐私/版权/生成内容标识/备案；追问：怎么落地 |
| 19 | 怎么讲项目指标 | 定义/基线/测试集/显著性/消融；追问：分母 |
| 20 | 没有项目怎么办 | 复现 RAG/Agent、记录踩坑与数据；追问：你做了什么 |
9. 手撕代码清单¶
2025–2026 的大模型岗手撕分为两类：
模型/Agent 特色题
- 实现多头注意力（含 mask、缩放、多头拆分）。
- 实现带 RoPE 的注意力。
- 实现 RMSNorm / LayerNorm。
- 实现 SwiGLU FFN。
- 实现 LoRA 层（初始化、前向、merge）。
- 实现 KV Cache 的单步 decode。
- 实现 top-k / top-p / temperature 采样。
- 实现 MoE 路由（top-k、负载统计）。
- 实现一个最小 ReAct Agent（工具注册、循环、终止、异常）。
- 实现上下文压缩/滑动窗口摘要。
- 实现 RRF 融合。
- 实现简单的 BM25 检索。
通用算法题（高频）
- 反转链表、链表相加、排序链表
- 二叉树层序遍历、路径总和 III
- 接雨水、无重复字符最长子串、最大正方形
- Top-K（堆 vs quickselect）、字符串解码
- 两正序数组中位数、最长递增子序列
- 只出现一次的数字（异或）
手撕评分不只看 AC：先讲思路与复杂度，再写边界，最后跑样例。模型题要能解释每个张量的维度。
10. 2026 新增考点¶
| 考点 | 典型问法 | 回答框架 |
|---|---|---|
| 上下文工程 | 压缩放在哪一步？工具结果怎么压？怎么判污染？ | 预算 → 分层 → 压缩 → 校验 → 隔离 |
| Skill/Harness | 上百个 Skill 怎么管？与 MCP 边界？怎么验证？ | 注册/发现/权限/版本/评测 |
| HITL | 不可逆操作怎么审批？中断怎么恢复？ | 状态机 + 审批节点 + 幂等 + 审计 |
| ACL | 先过滤还是后过滤？越权怎么监控？ | 租户/角色/文档级权限 + 日志 |
| Token 治理 | 成本超预算先优化哪层？ | 输入压缩 → 缓存 → 模型路由 → 输出限制 |
| Agentic RAG | 与一次检索的区别？何时不该升级？ | 收益在多跳/歧义/验证；成本在轮次 |
| 可观测性 | trace 看什么？失败怎么归因？ | 模型/工具/编排/数据四层 |
| 评测口径 | 幻觉率/召回率怎么算？ | 定义 + 分母 + 标注一致性 |
11. 使用建议¶
- 先按岗位筛题：算法岗重点 3/4/5 章，应用岗重点 5/6/7 章，产品岗重点 6/8 章。
- 每题 90 秒：先结论，再机制，再工程代价，最后项目数字。
- 建立错题本：答不出的题标记“会讲/会推/会写”三档，三天后复述。
- 不要背答案：面试官一追问细节就会暴露；要能画图、推公式、举失败案例。
- 结合项目：每道技术题都准备一句“我在项目里怎么用的/见过什么坑”。
本章题目来自公开面经与题库，链接见第 1 节；答案与分类为原创整理，不保证覆盖所有公司的实际题库。面试前请结合目标岗位 JD 调整优先级。