第 05 章场景选型与落地方案¶

本章导读：大模型项目的成败，往往在选场景的那一刻已经决定了一半。本章给出一套可复用的判断框架，把“看起来能做”翻译成“值得做、做得到、算得过来”。

读者应能独立完成场景打分、模型选型、成本测算、落地排期与合规检查。

文中所有成本、延迟与准确率均为量级估算，假设随算例给出，实际以最新报价与官方规定为准。

核心要点：

场景适配度由容错率、数据可得性、任务边界、反馈闭环、投资回报率（Return on Investment, ROI）共同决定，任何一项不及格都可能让项目失败。
先用规则、检索或小模型解决 80% 的高频简单请求，再把大模型留给长尾，这是成本与体验兼得的基本策略。
模型选型不是选“最强”，而是选“在合规、延迟、成本约束下效果足够好”的那一个，必要时采用混合路由。
成本必须拆到单次请求与单席位毛利，不能只看词元（token）单价；自部署的经济性高度依赖利用率。
落地流程的关键不是上线，而是建立可回滚的灰度机制与持续评估集。
人机协同的核心是置信度校准与清晰的转人工边界，而不是追求 100% 自动化。
合规要从数据分级开始，逐项检查个人信息、跨境、生成内容标识、备案与模型许可。

5.1 场景适配度判断¶

5.1.1 五个核心维度¶

维度	核心问题	高分特征	低分特征	验证方法
容错率	答错一次的代价是什么	有专业人员复核、错误可撤销、不涉及人身或资金安全	直接对外承诺、涉及医疗诊断或资金交易、错误不可逆	梳理错误场景与最坏后果，做失效模式分析
数据可得性	是否有合法、干净、可更新的数据	文档结构化、有权限体系、有版本、有标注	数据散落在个人电脑、扫描件难识别、无授权	抽样 200 份文档做可解析率与覆盖率测试
任务边界	输入输出能否被清晰定义	任务可枚举、输出格式固定、范围可拒答	开放式创作、需求不断扩张、用户期望无限	写出任务说明书与拒答清单，做边界评审
反馈闭环	能否拿到真实好坏信号	有采纳率、点赞、工单结果、人工复核	无行为数据、无法知道答案对错	设计埋点与标注流程，估算每周可回收样本量
ROI	收益能否覆盖全生命周期成本	高频、耗时、人力贵、错误成本可控	低频、一次性、收益难量化	用“节省工时 × 人力成本 + 增量收入”测算

容错率不是二值的，可以用风险敞口来量化：

\[R = P_{err} \times L_{err} \times E\]

其中 \(R\) 为单次请求的期望风险损失，\(P_{err}\) 为错误概率，\(L_{err}\) 为单次错误损失，\(E\) 为暴露次数。若 \(R\) 超过人工处理成本，就应引入强制人工复核，而不是继续调模型。

5.1.2 适配度打分表¶

采用 1 至 5 分制，1 分表示明显不满足，5 分表示显著优于替代方案。加权得分归一化到 100 分。

编号	评估项	权重	评分要点
1	容错与风险	20	错误可发现、可撤销、有人兜底得高分
2	数据可得性	15	数据合法、电子化、有权限与版本得高分
3	任务边界	10	任务可枚举、输出可校验得高分
4	反馈闭环	10	有真实采纳或结果信号得高分
5	ROI	20	高频、高人力成本、收益可量化得高分
6	合规可行性	10	不涉敏感个人信息、可完成备案得高分
7	时延与体验	5	秒级可接受、非强实时得高分
8	集成复杂度	5	系统接口清晰、无需改造核心链路得高分
9	可评估性	5	能构造稳定测试集与自动指标得高分

\[S = \sum_{i=1}^{9} w_i \times \frac{s_i}{5} \times 100\]

其中 \(S\) 为总分，\(w_i\) 为第 \(i\) 项权重（表中以百分数展示，计算时除以 100），\(s_i\) 为该项 1 至 5 分。决策规则：80 分以上建议立项；65 至 80 分先做 4 至 6 周概念验证（Proof of Concept, POC）；65 分以下不立项，或改用规则、传统机器学习。

示例：企业文档问答在容错 4 分、数据 5 分、边界 4 分、反馈 4 分、ROI 4 分、合规 5 分、时延 5 分、集成 3 分、可评估 4 分时，加权得分约为 85 分，适合立项。开放式营销文案在容错 2 分、数据 3 分、边界 2 分、反馈 2 分、ROI 3 分、合规 3 分、时延 5 分、集成 5 分、可评估 2 分时，得分约为 55 分，应缩小到“按品牌规范生成初稿”的子场景。

5.1.3 场景筛选决策树¶

场景提出
├─ 错误是否会造成人身、资金或重大合规损失？
│  ├─ 是 → 是否必须自动执行？
│  │     ├─ 是 → 不做，或降级为“建议 + 人工确认”
│  │     └─ 否 → 可做，但强制人工复核
│  └─ 否 → 继续
├─ 是否有合法可用的数据与知识源？
│  ├─ 否 → 先补数据治理，不进入模型开发
│  └─ 是 → 继续
├─ 任务能否用一句话说清输入与输出？
│  ├─ 否 → 拆成多个子任务，或先做检索而非生成
│  └─ 是 → 继续
├─ 能否在 4 周内拿到 100 条以上真实反馈？
│  ├─ 否 → 设计埋点与人工评估，缩小 POC 范围
│  └─ 是 → 继续
└─ 单次节省成本 × 年调用量 > 年化总成本 × 1.5？
   ├─ 否 → 优化方案或放弃
   └─ 是 → 立项

5.1.4 常见反模式¶

把“公司知识库”整体当成一个场景，实际包含问答、摘要、翻译、报表等十余种任务，导致评估口径混乱。
用 demo 的十个问题代表真实分布，忽略长尾、错别字、口语与多文档冲突。
只算 token 费用，不算检索、标注、运维、人工复核与获客成本，导致毛利被高估。
先买图形处理器（Graphics Processing Unit, GPU）再找场景，把利用率不足的固定成本摊到少量请求上。
追求全自动，拒绝设计转人工，最终一次严重错误导致项目被叫停。

5.2 场景分类与关键指标¶

5.2.1 七类典型场景¶

场景	典型任务	输入特征	输出特征	首要指标	常见陷阱
知识问答	制度查询、产品手册、工单辅助	长文档、多源、有权限	短答案 + 引用	答案正确率、引用忠实度	检索不到却强行生成
内容生成	文案、摘要、邮件、报告	指令 + 素材 + 风格	中长文本	采纳率、编辑距离	事实错误、品牌调性漂移
信息抽取	合同要素、发票、简历	半结构化或扫描件	结构化字段	字段级 F1、准确率	长尾版式、字段歧义
代码	补全、生成、评审、修复	代码上下文、仓库	代码片段或补丁	编译通过率、单测通过率	上下文不足、许可证污染
客服	售前咨询、售后处理	多轮对话、订单数据	回复 + 动作	自助解决率、转人工率	承诺越权、情绪升级
Copilot	办公助手、销售助手、研发助手	多工具、多步任务	建议或执行结果	任务完成率、采纳率	工具调用错误、权限越界
多模态	图文审核、票据识别、视频理解	图像、视频、音频	标签、描述、判定	召回率、误杀率	长尾有害内容、对抗样本

5.2.2 四层指标体系¶

层级	回答的问题	示例指标	观测频率
业务层	是否省钱、赚钱、控风险	单票成本、自助解决率、人均产出、风险拦截率	日/周
产品层	用户是否愿意用、是否好用	活跃率、采纳率、留存、满意度、转人工率	日
模型层	回答是否正确、忠实、完整	准确率、忠实度、召回率、格式合规率	每次发版
系统层	是否稳定、快、便宜	可用性、首 token 延迟、P95 延迟、单次成本	分钟级

关键指标定义：

忠实度（Faithfulness）：答案中的每个事实断言都能被给定上下文支持。常用“被支持断言数 / 总断言数”计算。
上下文召回率（Context Recall）：标准答案所需信息出现在检索结果中的比例，用于区分“检索问题”与“生成问题”。
自助解决率（Containment Rate）：未转人工且用户在 24 小时内未重复咨询的会话占比。
采纳率（Acceptance Rate）：系统建议被用户直接接受或少量修改后接受的比例。
代码通过率（pass@1）：生成一个补丁后，隐藏单元测试全部通过的比例。
首个 token 延迟（Time to First Token, TTFT）：从请求发出到收到第一个输出 token 的时间，决定“是否感觉卡”。
每 token 输出时间（Time Per Output Token, TPOT）：稳态解码速度的倒数，决定“阅读是否跟得上”。
P95 延迟：95% 的请求延迟不超过该值，用于衡量尾部体验；P95 比平均值更能暴露排队与长尾问题。

任务成功率可以写成多指标的加权：

\[Q = \alpha \cdot Acc + \beta \cdot Faith + \gamma \cdot Format - \delta \cdot Harm\]

其中 \(Acc\) 为任务准确率，\(Faith\) 为忠实度，\(Format\) 为格式合规率，\(Harm\) 为有害或越权输出率，\(\alpha,\beta,\gamma,\delta\) 由业务风险决定，且 \(\alpha+\beta+\gamma=1\)。对客服场景，\(\delta\) 应显著放大；对创意场景，\(Faith\) 权重可降低。

5.3 模型选型矩阵¶

5.3.1 闭源 API 与开源自部署¶

维度	闭源 API	开源自部署
初始投入	低，按量付费	高，GPU、机房、网络一次性投入
边际成本	随调用量线性增长	利用率高时边际成本低，利用率低时反而更贵
效果上限	通常最强，更新快	依赖所选模型与微调能力，版本可控
数据合规	数据出企业边界，需审查协议与地域	数据留在自有环境，适合强合规
延迟稳定性	受供应商限流与网络影响	可独占资源，但需自行保障
运维复杂度	低	高，需推理引擎、调度、监控、容灾
定制能力	有限，通常只能提示词与微调接口	可改模型、量化、蒸馏、裁剪
供应商锁定	较强	较弱，但存在模型与框架锁定

经验规则：日请求量低于约 50 万次、且合规允许时，优先 API；日请求量超过约 200 万次、或数据不允许出域时，再评估自部署。两条线之间做 4 周 POC 实测，不要只靠单价推算。

5.3.2 能力对照表¶

候选	参数规模	上下文	多模态	工具调用	中文能力	价格量级	合规可控性
闭源旗舰 A	未公开，万亿级混合专家（Mixture of Experts, MoE）	128K 至 1M	图/文/音	强	强	输入 4 至 20 元/百万 token	中，需协议与地域评估
闭源轻量 B	未公开，百亿级	32K 至 128K	部分支持	中	良	输入 0.5 至 3 元/百万 token	中
开源 70B 级 C	70B 稠密或 MoE	32K 至 128K	需外挂视觉编码器	中，可微调	良	自部署约 15 至 30 元/百万输出 token	高
开源 7B 级 D	7B 至 14B	8K 至 32K	弱	弱至中	中	自部署约 2 至 6 元/百万输出 token	高

价格与能力均为量级估算，需以当期官方报价和自测结果替换。参数规模不是唯一变量，MoE 激活参数、量化方式、推理框架与批处理策略都会显著改变成本。

5.3.3 加权评分示例¶

权重按“企业文档问答、强合规”设定：效果 30、成本 20、延迟 15、合规 20、工程与运维 10、生态 5。

候选	效果	成本	延迟	合规	工程运维	生态	加权总分
闭源旗舰 A	5.0	2.0	4.0	3.0	5.0	5.0	3.85
闭源轻量 B	3.5	5.0	5.0	3.0	5.0	4.0	4.10
开源 70B 自部署 C	4.0	4.0	3.0	5.0	2.0	3.0	3.80
开源 7B 微调 D	2.5	5.0	5.0	5.0	3.0	3.0	3.95

计算方式为 \(\sum w_i \times s_i / 5\)。例如闭源旗舰为 \(0.30\times5 + 0.20\times2 + 0.15\times4 + 0.20\times3 + 0.10\times5 + 0.05\times5 = 3.85\)。

结论不是“轻量闭源永远最好”，而是要做敏感性分析。若合规权重从 20 提到 30、效果从 30 降到 25、工程运维从 10 降到 5，则开源自部署 C 的得分升至约 4.00，闭源旗舰降至约 3.65。权重代表业务约束，不是固定常数。

5.3.4 混合路由策略¶

请求进入
├─ 命中缓存或 FAQ → 直接返回，成本接近 0
├─ 意图为简单分类/抽取 → 小模型或规则
├─ 需要多文档推理 → 70B 级模型 + 检索
├─ 涉及图片/表格 → 多模态模型 + 光学字符识别（Optical Character Recognition, OCR）兜底
└─ 高风险或低置信度 → 人工复核

路由器的评估目标是“在满足质量下限的前提下最小化期望成本”：

\[\min_{\pi} \; E[C(\pi(x))] \quad \text{s.t.} \quad E[Q(\pi(x))] \geq Q_{min}\]

其中 \(\pi(x)\) 为对请求 \(x\) 的路由策略，\(C\) 为成本，\(Q\) 为质量分。工程上可先按意图规则路由，再用小模型做难度分类，最后用线上 A/B 测试校准阈值。

5.4 成本测算¶

5.4.1 Token 成本公式¶

\[C_{req} = \frac{T_{in}}{10^6}p_{in} + \frac{T_{out}}{10^6}p_{out} + \frac{T_{cache}}{10^6}p_{cache} + C_{ret} + C_{fix}\]

其中 \(C_{req}\) 为单次请求成本（元），\(T_{in}\) 为输入 token 数，\(T_{out}\) 为输出 token 数，\(T_{cache}\) 为命中缓存的输入 token 数，\(p_{in},p_{out},p_{cache}\) 为对应的每百万 token 单价，\(C_{ret}\) 为检索与重排成本，\(C_{fix}\) 为分摊的固定成本。月成本为：

\[C_{month} = D \times C_{req} + C_{platform}\]

其中 \(D\) 为月请求量，\(C_{platform}\) 为向量库、日志、监控、标注等平台费用。

5.4.2 单次请求算例¶

假设企业文档问答每次输入 8,000 token（其中检索片段 6,000），输出 600 token；闭源轻量模型输入 2 元/百万 token、输出 8 元/百万 token；检索与重排 0.001 元；平台分摊 0.001 元。

项目	计算	金额（元）
输入	\(8000/10^6 \times 2\)	0.0160
输出	\(600/10^6 \times 8\)	0.0048
检索重排	直接给定	0.0010
平台分摊	直接给定	0.0010
合计	求和	0.0228

按每天 10,000 次请求计算，日成本约 228 元，月成本约 6,840 元。若 50% 的输入命中上下文缓存且缓存价为 0.4 元/百万 token，则输入成本降为 \(4000\times2/10^6 + 4000\times0.4/10^6 = 0.0096\) 元，单次总成本约 0.0164 元，降幅约 28%。

5.4.3 GPU 自部署总拥有成本（Total Cost of Ownership, TCO）¶

\[TCO_{year} = \frac{P_{hw}}{Y} + P_{IT} \times 24 \times 365 \times PUE \times p_e + C_{ops} + C_{rack} + C_{net}\]

其中 \(P_{hw}\) 为整机采购价，\(Y\) 为折旧年限，\(P_{IT}\) 为整机功率（千瓦），\(PUE\) 为电能利用效率（Power Usage Effectiveness, PUE），\(p_e\) 为电价（元/千瓦时），\(C_{ops}\) 为运维人力，\(C_{rack}\) 为机架与制冷分摊，\(C_{net}\) 为带宽与专线。

有效吞吐与单位 token 成本：

\[R_{eff} = R_{peak} \times U, \qquad c_M = \frac{TCO_{year}}{R_{eff} \times 3.1536\times10^7 / 10^6}\]

其中 \(R_{eff}\) 为有效输出 token 速率（token/s），\(R_{peak}\) 为压测峰值，\(U\) 为平均利用率，\(3.1536\times10^7\) 为一年的秒数，\(c_M\) 为每百万输出 token 的成本。若预填充不可忽略，可用等效输出 \(R_{eff}=R_{out}+R_{in}/\rho\) 折算，\(\rho\) 为一个输出 token 与一个输入 token 的算力比（量级 4 至 10）；实际测算应分别统计预填充与解码。

算例假设：8 卡推理整机 120 万元，折旧 3 年，整机功率 6 千瓦，PUE 1.3，电价 0.8 元/千瓦时，运维 18 万元/年，机架与网络 6 万元/年，峰值输出 2,000 token/s，平均利用率 40%。

成本项	计算	年成本（万元）
折旧	\(120/3\)	40.0
电费	\(6\times24\times365\times1.3\times0.8/10000\)	5.5
运维	直接给定	18.0
机架与网络	直接给定	6.0
合计	求和	69.5

有效输出为 \(2000\times0.4=800\) token/s，年输出约 \(800\times3.1536\times10^7=2.52\times10^{10}\) token，即 25,200 百万 token。单位成本为 \(695000/25200\approx27.6\) 元/百万输出 token。若利用率升到 70%，单位成本降至约 15.8 元；若降到 15%，则升至约 73.6 元，远高于多数 API。

5.4.4 毛利测算¶

假设企业版按席位收费 50 元/席/月，共 1,000 席，月收入 5 万元。每席每天 5 次请求，月请求 15 万次，按 0.0228 元/次，推理成本约 3,420 元。另有大模型网关与向量库 3,000 元、监控日志 1,000 元、人工支持 8,000 元、标注与评测 5,000 元。

项目	月金额（元）	占收入
收入	50,000	100%
推理成本	3,420	6.8%
平台与基础设施	4,000	8.0%
人工支持	8,000	16.0%
标注与评测	5,000	10.0%
毛利	29,580	59.2%

若改为自部署，8 卡整机年成本 69.5 万元，月约 5.8 万元，已超过上述收入，只有在请求量达到约 250 万次/月时才具备摊薄空间。因此“自部署更便宜”只在特定规模与利用率下成立。

5.4.5 成本优化杠杆¶

杠杆	典型降幅	代价	适用场景
提示词压缩与摘要	10% 至 30%	可能丢信息	长对话、长文档
上下文缓存	20% 至 50%	命中率依赖复用度	固定系统提示、多轮对话
检索 top-k 裁剪	10% 至 25%	召回下降	文档问答
小模型路由	30% 至 60%	路由错误	意图清晰、分层明显
量化与批处理	30% 至 50%	精度与延迟波动	自部署
语义缓存	10% 至 40%	一致性与更新问题	FAQ、高频重复问题

5.5 落地流程¶

阶段	周期	交付物	退出标准
需求澄清	1 至 2 周	场景说明书、用户旅程、指标基线	业务方签字确认范围与验收口径
POC	3 至 6 周	可运行原型、50 至 200 条评测集	核心指标达到基线的 80%，且无阻断性风险
离线评估	1 至 2 周	评估报告、错误分类、模型对比	通过质量门禁，成本在预算内
灰度	2 至 4 周	灰度方案、监控看板、回滚预案	灰度组指标不劣于对照组，无 P1 事故
上线	1 周	上线清单、值班表、应急预案	可用性达标，转人工链路可用
监控	持续	日报、周报、告警规则	异常在 15 分钟内被发现
迭代	双周或月度	新评测集、提示词与模型版本	每轮有可量化提升，无回归

5.5.1 需求澄清清单¶

用户是谁、在什么场景下使用、当前如何完成、平均耗时多少。
错误的定义是什么，哪些错误可接受，哪些必须零容忍。
数据在哪里、谁授权、能否出域、更新频率与版本如何管理。
成功指标是什么，基线是多少，上线后多久验收。
与现有系统的边界：只读还是可写，是否触发工单、退款、发货等动作。
预算上限、希望上线时间、必须通过的合规评审。

5.5.2 POC 设计原则¶

POC 不是做 demo，而是验证三个假设：模型能力是否够、数据是否支撑、单位经济模型是否成立。样本应覆盖高频、长尾、对抗与拒答四类，至少 100 条，并由业务专家双人标注。POC 结束时要给出“继续、缩小范围、放弃”的明确建议。

5.5.3 离线评估¶

评估集应版本化，固定“黄金集”用于回归，另设“挑战集”跟踪新问题。生成任务采用“自动指标 + 人工盲评”组合；抽取任务看字段级精确率与召回率；问答任务分别评估检索召回、答案忠实度与引用正确性。每次换模型、改提示词、改分块策略都要跑全量回归。

5.5.4 灰度与上线¶

灰度按用户维度而非请求维度切分，避免同一用户体验抖动。先内部员工，再 5% 低风险用户，再 20%，最后全量。灰度期间同时保留旧链路，一键回滚。高风险动作（退款、改地址、发邮件）必须二次确认或人工审批。

5.5.5 线上监控¶

指标	建议阈值（量级）	告警动作
可用性	99.9% 以上	立即排查上游与网关
TTFT P95	2 秒以内	检查队列、限流、模型负载
端到端 P95	8 秒以内	降级到小模型或检索摘要
错误率	1% 以下	熔断并切换备用模型
转人工率	相对基线上升 20%	检查意图漂移与知识缺口
单次成本	超预算 20%	启用缓存与路由降级
用户负反馈率	3% 以下	抽样分析并更新评测集

5.6 人机协同¶

5.6.1 置信度与校准¶

模型输出的概率不是天然可信的置信度，需要在校准集上做温度缩放或等渗回归。常用校准误差：

\[ECE = \sum_{b=1}^{B}\frac{|S_b|}{N}\left|acc(S_b)-conf(S_b)\right|\]

其中 \(B\) 为置信度分箱数，\(S_b\) 为落入第 \(b\) 箱的样本，\(N\) 为总样本数，\(acc\) 为实际准确率，\(conf\) 为平均置信度。ECE 越低，阈值越可靠。

置信度区间	处理策略	预期准确率（量级）
0.9 以上	自动回复，附引用	95% 以上
0.7 至 0.9	自动回复 + 请求确认	80% 至 95%
0.4 至 0.7	给出建议，转人工确认	50% 至 80%
0.4 以下	直接转人工或拒答	低于 50%

5.6.2 转人工触发条件¶

用户明确要求人工，或连续两次表达不满。
置信度低于阈值，且问题涉及资金、隐私、人身安全。
检测到越权请求、提示词注入（Prompt Injection）或异常工具调用。
知识库无覆盖，检索最高分低于阈值。
会话轮次超过上限仍未解决，或用户重复同一问题。

转人工必须携带完整上下文、已尝试方案、命中的知识条目与置信度，避免用户重复描述。

5.6.3 审核队列设计¶

审核队列按风险分级：高危即时（5 分钟内）、中危当日、低危批量。每条任务展示原文、模型判断、证据、相似历史案例与一键通过/驳回。审核结果回流为标注数据，每周统计“模型建议被修改率”，用于发现系统性偏差。

5.6.4 反馈标注闭环¶

反馈来源包括显式评分、采纳/复制、编辑距离、转人工原因、工单最终结果。标注流程应规定抽样比例、双人一致性阈值与争议仲裁。每月将失败案例按“检索缺失、理解错误、知识过期、格式问题、越权”分类，分别指派给对应负责人。

5.7 合规与风险¶

5.7.1 数据分级¶

级别	示例	允许的处理方式	模型使用限制
L1 公开	官网、公开报告	可用于训练与评测	无特殊限制
L2 内部	制度、流程、项目文档	可用于检索与微调	需访问控制与水印
L3 敏感	客户合同、财务数据、源代码	仅授权人员可检索	优先私有化，禁止出境
L4 极敏感	身份证号、生物识别、健康记录	最小化收集、脱敏	原则上不进入通用模型

5.7.2 个人信息与跨境¶

处理个人信息应遵循最小必要、目的限定与存储期限原则。上线前完成个人信息保护影响评估（Personal Information Protection Impact Assessment, PIPIA），明确数据流向、委托处理方与删除机制。涉及跨境时，需判断是否触发数据出境安全评估、标准合同或认证路径；无法满足时，采用本地化部署或区域隔离。

5.7.3 生成内容标识与备案¶

面向公众提供生成式人工智能服务，通常需要履行备案或登记义务，并对生成内容添加显式或隐式标识。企业内应用也应在界面注明“AI 生成，请核对”。具体备案层级、材料与标识要求以监管最新规定为准，产品上线前应完成法务与安全评审。

5.7.4 版权与训练数据¶

训练数据应有合法来源与授权记录，保留数据清单与清洗日志。
检索增强生成（Retrieval-Augmented Generation, RAG）引用原文时，注意转载范围与署名要求。
代码助手需扫描许可证，避免生成与受限制代码高度相似的片段。
输出内容可能与他人作品相似，应提供申诉与下架机制。

5.7.5 模型许可证¶

许可证	商业使用	修改与分发	主要义务	风险点
Apache 2.0	允许	允许	保留版权与许可声明，附变更说明	专利 retaliation 条款需理解
MIT	允许	允许	保留版权与许可声明	无明确专利授权
Llama 社区许可	通常允许	允许	遵守可接受使用政策与命名要求	超大用户规模有单独条款
自定义许可	逐条判断	逐条判断	可能限制商用、要求署名或回馈	条款可能随时变更

5.7.6 风险登记表¶

风险	概率	影响	缓解措施	责任人
幻觉导致错误承诺	中	高	强制引用、置信度阈值、人工复核	产品负责人
数据泄露	低	极高	权限过滤、脱敏、私有化、审计	安全负责人
提示词注入	中	高	输入隔离、工具白名单、最小权限	研发负责人
知识过期	高	中	增量索引、过期标记、定期巡检	知识运营
成本超支	中	中	预算告警、缓存、路由降级	平台负责人
供应商停服	低	高	多供应商、可迁移评测、合同条款	采购负责人

5.8 完整案例¶

5.8.1 案例一：企业文档问答¶

需求：2 万名员工，覆盖制度、产品、项目文档约 1 万份；员工平均每天查找资料 20 分钟；要求答案带引用、按权限隔离、中文问答、P95 延迟 8 秒内。

方案：文档解析后按 500 token 分块、50 token 重叠；混合检索（向量 + 关键词）取前 20，重排后取前 6；提示词要求“仅基于给定材料回答，不足则说明”；权限在检索层做元数据过滤，而不是生成后裁剪；答案附文档名、章节与链接。

用户 → 身份与权限 → 查询改写 → 混合检索 → 重排 → 提示词组装
     → 大模型生成 → 引用校验 → 敏感信息过滤 → 返回

指标	目标（量级）	测量方式
答案正确率	85% 以上	200 条黄金集人工盲评
引用忠实度	95% 以上	断言级核查
检索召回率	90% 以上	标准答案段落命中
TTFT P95	2 秒以内	网关埋点
端到端 P95	8 秒以内	网关埋点
转人工率	10% 以下	会话结果

成本：每天 1 万次请求，单次约 0.023 元，月推理成本约 6,900 元；向量库与日志约 3,000 元/月；标注与运营 8,000 元/月。合计约 1.8 万元/月。按节省 2 万名员工每人每天 10 分钟、人力成本 80 元/小时、每月 20 个工作日估算，月节省约 533 万元，投入产出比极高，但该数字应扣除实际使用率与查找时间未完全消除的部分。

风险：扫描件解析错误、权限同步延迟、文档版本冲突、员工过度信任。缓解措施包括 OCR 置信度提示、权限每小时同步、答案展示更新时间、界面提示“请核对原文”。

5.8.2 案例二：智能客服¶

需求：日咨询 10 万会话，覆盖订单查询、退换货、产品咨询；要求自助解决率 60% 以上、转人工率低于 25%、敏感操作必须人工确认。

方案：意图识别 → 知识问答 → 业务工具调用（订单、物流、退款）→ 多轮状态机 → 转人工。工具调用采用白名单与参数校验，退款等动作设置金额上限与二次确认。对话状态独立存储，模型只负责语言理解与回复生成。

指标	目标（量级）	说明
自助解决率	60% 以上	24 小时内未重复咨询
转人工率	25% 以下	含用户主动要求
一次解决率	75% 以上	工单未重开
平均处理时长	3 分钟以内	含多轮
错误承诺率	0.1% 以下	人工抽检

成本：每会话 5 轮、每轮输入 3,000 token、输出 150 token，单轮约 0.007 元，单会话约 0.035 元；日 10 万会话约 3,500 元，月约 10.5 万元。全人工基线按每会话 6 元、10 万会话/日估算为 60 万元/日；新方案保留 2.5 万次转人工，人力成本 15 万元/日，加模型 0.35 万元/日，日节省约 44.6 万元。上述为量级估算，实际受会话时长、坐席薪资与解决率影响。

风险：越权承诺、情绪升级、工具幂等、隐私泄露。缓解措施包括回复模板约束、金额与权限校验、工具调用审计、敏感信息脱敏、情绪识别转人工。

5.8.3 案例三：代码助手¶

需求：5,000 名研发，IDE 插件提供行级补全、函数生成、单测生成与代码解释；补全 TTFT P95 低于 300 毫秒，生成 P95 低于 5 秒；代码不得上传到不可信区域。

方案：本地轻量模型负责行级补全，云端或私有化 70B 模型负责函数生成与解释；仓库索引只上传脱敏后的符号与摘要，完整代码留在本地；生成结果做许可证扫描与密钥扫描；采用推测解码（Speculative Decoding）降低延迟。

指标	目标（量级）	说明
补全采纳率	20% 以上	接受或少量修改
补全 TTFT P95	300 毫秒以内	行级补全
生成单测通过率	50% 以上	隐藏测试
代码泄漏事件	0	密钥与敏感串扫描
开发者周活跃率	60% 以上	团队维度

成本：1,000 名日活，每人 200 次补全，日 20 万次；每次输入 1,000 token、输出 60 token，单次约 0.003 元，日成本约 600 元，月约 1.8 万元。索引与网关约 3 万元/月，合计约 4.8 万元/月。按每人每月节省 8 小时、人力成本 150 元/小时估算，月价值约 120 万元，但应扣除审查与返工时间。

风险：建议看似合理但不可编译、引用受版权保护的代码、泄露密钥、过度依赖。缓解措施包括编译与静态检查、许可证过滤、密钥扫描、在 IDE 中标注生成来源、保留人工审查。

面试高频问题¶

如何判断一个场景是否适合大模型？

参考回答要点：

先看容错率与错误代价，涉及人身、资金、强合规的场景必须有人工兜底。
再看数据是否合法可得、任务边界是否清晰、能否形成反馈闭环。
用加权打分表量化，80 分以上立项，65 至 80 分做 POC，65 分以下换方案。
最后算 ROI，必须覆盖推理、检索、标注、运维与人工复核的全成本。
场景很多，如何排优先级？

参考回答要点：

用“价值 × 可行性”矩阵，价值看频次、人力成本与风险，可行性看数据、合规与技术成熟度。
优先选高频、标准化、错误可发现、有人兜底的场景做第一仗。
避免同时铺开多个平台型项目，先做一个端到端闭环证明价值。
用 POC 的退出标准控制投入，不达标快速止损。
闭源 API 与开源自部署怎么选？

参考回答要点：

合规是硬约束，数据不能出域时优先私有化。
小规模优先 API，弹性好、无固定成本；大规模且利用率高时再评估自部署。
比较时要算 TCO，包括卡价、折旧、电费、运维、利用率和容灾。
可采用混合架构：核心敏感流量自部署，峰值与长尾走 API。
如何估算一个大模型应用的成本？

参考回答要点：

拆成输入 token、输出 token、缓存命中、检索、平台固定成本与人工成本。
用真实分布而非平均值，区分短请求与长请求，按 P50/P95 分别测算。
自部署用 TCO 除以有效吞吐，重点看利用率与峰值冗余。
给出单次请求、单会话、单席位与月总成本四个口径。
模型效果很好，但延迟不达标，怎么办？

参考回答要点：

先拆解延迟：排队、检索、预填充、解码、网络各占多少。
用流式输出降低感知延迟，用缓存与并行检索降低首 token 时间。
小模型做首响应，大模型做异步增强；或采用推测解码与量化。
若仍不达标，缩小上下文、减少重排、按场景降级。
如何设计人机协同与转人工？

参考回答要点：

置信度必须校准，用校准集验证阈值对应的真实准确率。
高风险、低置信、用户不满、越权请求直接转人工。
转人工时携带上下文、已尝试方案与证据，避免用户重复描述。
审核队列按风险分级，审核结果回流为训练与评测数据。
如何评估一个 RAG 系统？

参考回答要点：

分开评估检索与生成：上下文召回率、检索精度、答案忠实度、答案相关性。
建立黄金集与挑战集，覆盖高频、长尾、冲突信息与拒答。
除自动指标外做人工盲评，关注引用是否正确、是否遗漏关键条件。
线上看采纳率、负反馈、转人工与重复提问，不只看离线分数。
上线后效果下降，如何排查？

参考回答要点：

先看数据分布是否漂移：新文档、新问法、新业务规则。
再看检索：索引是否更新、分块是否变化、权限是否误过滤。
然后看模型与提示词：供应商是否升级、版本是否回滚、缓存是否污染。
最后看系统：限流、超时、降级是否导致回答变短或拒答。
如何控制幻觉？

参考回答要点：

检索增强并强制引用，要求“无依据则拒答”。
对关键断言做引用校验与一致性检查，冲突时提示而非择一。
高风险场景加人工复核，低置信度不自动执行动作。
用评测集持续跟踪忠实度，按错误类型迭代提示词与数据。
大模型项目有哪些容易被忽略的合规风险？

参考回答要点：

训练数据与检索内容的版权、授权与署名。
个人信息收集、脱敏、存储期限与跨境传输。
生成内容标识、面向公众服务的备案或登记。
开源模型许可证的商业使用限制与可接受使用政策。

本文档为面试复习资料，商业与合规信息请以最新官方规定为准。

第 05 章 场景选型与落地方案¶

5.1 场景适配度判断¶

5.1.1 五个核心维度¶

5.1.2 适配度打分表¶

5.1.3 场景筛选决策树¶

5.1.4 常见反模式¶

5.2 场景分类与关键指标¶

5.2.1 七类典型场景¶

5.2.2 四层指标体系¶

5.3 模型选型矩阵¶

5.3.1 闭源 API 与开源自部署¶

5.3.2 能力对照表¶

5.3.3 加权评分示例¶

5.3.4 混合路由策略¶

5.4 成本测算¶

5.4.1 Token 成本公式¶

5.4.2 单次请求算例¶

5.4.3 GPU 自部署总拥有成本（Total Cost of Ownership, TCO）¶

5.4.4 毛利测算¶

5.4.5 成本优化杠杆¶

5.5 落地流程¶

5.5.1 需求澄清清单¶

5.5.2 POC 设计原则¶

5.5.3 离线评估¶

5.5.4 灰度与上线¶

5.5.5 线上监控¶

5.6 人机协同¶

5.6.1 置信度与校准¶

5.6.2 转人工触发条件¶

5.6.3 审核队列设计¶

5.6.4 反馈标注闭环¶

5.7 合规与风险¶

5.7.1 数据分级¶

5.7.2 个人信息与跨境¶

5.7.3 生成内容标识与备案¶

5.7.4 版权与训练数据¶

5.7.5 模型许可证¶

5.7.6 风险登记表¶

5.8 完整案例¶

5.8.1 案例一：企业文档问答¶

5.8.2 案例二：智能客服¶

5.8.3 案例三：代码助手¶

面试高频问题¶

第 05 章场景选型与落地方案¶