AI 应用技术栈 · 五层能力图谱

看懂 大模型 / 知识库 / MCP / Skill / Agent

从会说话的大脑，到带记忆的知识库、能动手的双手、可复用的经验， 再到自主完成任务的智能体——一张图看懂它们如何层层叠加。

🧠

大模型 LLM

概率驱动的通用推理引擎 · 负责理解与生成

TransformerToken注意力
📚

知识库 RAG

外接私有知识 · 让答案有据可依、可更新

向量化召回重排
🔌

MCP 协议

模型与外部系统的统一"USB-C 接口"

ToolsResourcesPrompts
🎯

Skill 技能

把做事方法固化成可复用、可加载的 SOP

渐进加载脚本模板
🤖

Agent 智能体

感知—规划—行动—反思的自主闭环

ReAct规划记忆
大模型工作原理 RAG 检索链路 MCP 调用时序 Skill 加载机制 Agent 决策循环 五层协同全景
01

大模型 LLM：一切能力的推理底座

本质是一个超大规模的概率预测器：根据上文预测下一个 Token。规模、注意力机制与训练方式，共同催生了推理、泛化与涌现能力。

Transformer自注意力Token / Embedding预训练 · SFT · RLHF 上下文窗口温度 / Top-P幻觉推理模型
◈ 图 1 · 一次对话的完整数据流转：文字 → Token → 向量 → 注意力 → 概率 → 输出
输入文本 "帮我写周报" 分词 Tokenizer 帮我 写 周报 → [3049, 882, 5531] Embedding + 位置编码 语义 → 高维向量 Transformer × N 层（如 96 层） 多头自注意力 MHA Q · K · V → 上下文关联建模 前馈网络 FFN 升维 → 非线性 → 降维 Add & Norm 残差 + 归一化 LM Head Logits → Softmax 词表概率分布 自回归循环 ↻
核心机制

自注意力

每个 token 用 Q 查询所有 K，按相似度加权汇总 V，实现"全局关联"。

🔍
详细拆解
  • Q/K/V：同一输入经三个不同权重矩阵投影得到
  • 计算式：Attention = Softmax(QKᵀ/√d)·V
  • 多头：并行多组注意力，捕捉语法、语义、指代等不同关系
  • 因果掩码：解码器遮挡未来 token，保证自回归
规模效应

参数与涌现

参数量、数据量、算力同步放大后，出现少样本学习、链式推理等涌现能力。

📈
详细拆解
  • Scaling Law： loss 随参数/数据/算力呈幂律下降
  • 涌现阈值：思维链、代码、多步推理常在百亿级后跃升
  • 代价：推理成本、显存占用、延迟随规模上升
  • 趋势：MoE 稀疏激活、小模型 + 高质量数据、蒸馏
记忆边界

上下文窗口

一次能"看到"的 token 上限，决定长文档、长对话与多文档处理能力。

🪟
详细拆解
  • 注意力平方复杂度：长度翻倍，计算约四倍 → 需 KV Cache、FlashAttention
  • 迷失中间：长上下文中部信息召回率偏低
  • 工程对策：分块摘要、滑动窗口、外挂知识库（RAG）
固有缺陷

幻觉与滞后

模型只存"压缩过的世界"，缺少实时、私有、长尾知识 → 这正是知识库存在的理由。

🎭
详细拆解
  • 幻觉成因：数据噪声 + 概率采样 + 过度流畅的语言形式
  • 知识截止：训练数据有时间点，之后的事不知道
  • 缓解：检索增强、引用溯源、降低温度、工具校验、二次验证
◈ 图 2 · 训练三阶段：从"读完互联网"到"对齐人类偏好"
1 预训练 Pre-training 万亿 token · 自监督预测下一个词 数据规模 ██████████ 100% 产出：基座模型（会续写，不会听话） 算力占比：约 90%+ 2 监督微调 SFT 指令-回答示范数据 · 学会格式与风格 数据规模 ███ 3%~5% 产出：指令模型（会听话、会对话） 关键：数据质量 ≫ 数据数量 3 偏好对齐 RLHF / DPO 人类偏好排序 → 奖励模型 → 策略优化 数据规模 █ 1% 产出：助手模型（有用 / 诚实 / 无害） 近年延展：推理模型 + 思维链强化学习 ※ 顺序不可颠倒：先有知识（预训练），再会表达（SFT），最后懂分寸（对齐）
0
主流模型参数量级
Billion · 千亿级
0
长上下文窗口
K tokens 已成常态
0
训练数据 token 量级
Trillion · 万亿级
0
典型 Transformer 层数
Layers · 深层堆叠
02

知识库 RAG：给模型装上可更新的外挂大脑

不改动模型权重，而是在生成前把相关知识检索出来塞进 Prompt。解决私有知识、实时信息与幻觉溯源三大问题。

文档解析Chunking 切片Embedding 模型向量数据库 混合检索Rerank 重排引用溯源GraphRAG
◈ 图 3 · RAG 双链路：离线建索引（上） + 在线检索生成（下）
① 离线索引 · 一次性 / 增量 知识入库：把文档切成"可检索的知识碎片" 多源文档 PDF/Word/HTML DB / 表格 / 图片 解析清洗 OCR / 表格还原 去噪 / 元数据 切片 Chunking 重叠窗口 · 保留语义完整 向量化 Embedding 语义 → 1024 维向量 向量数据库 HNSW / IVF 索引 向量 + 原文 + 元数据 同步写入 全文/关键词索引 ② 在线检索 · 每次提问触发 先找材料，再让模型"照材料作答" 用户提问 "差旅报销 标准是多少？" 查询改写 扩展 / 分解 HyDE 假设答案 混合检索 向量召回 (语义) + BM25 (关键词) Rerank 重排 交叉编码器精排 Top-50 → Top-5 Prompt 组装 问题 + 上下文片段 + 引用标记 [1][2] "仅依据材料作答，无据则说不知" 大模型 阅读理解 归纳生成 带引用的答案 → 可信、可溯源、可更新
第一步

切片策略

切得太碎丢失上下文，太长引入噪声。决定召回质量的上限。

🔪
详细拆解
  • 固定窗口：512 token + 10~20% 重叠，简单通用
  • 语义切片：按段落/主题嵌入相似度断点切分
  • 结构化切片：按标题层级，保留父子关系（Small-to-Big）
  • 增强：为每个块加"标题面包屑"与摘要，提升可检索性
第二步

混合检索

纯向量擅长"意思相近"，关键词擅长"精确匹配"，两者融合最稳。

🎣
详细拆解
  • 稠密检索：Embedding 余弦/内积相似，抗同义词与措辞变化
  • 稀疏检索：BM25/TF-IDF，命中专有名词、编号、报错码
  • 融合：RRF 倒数排名融合，或加权求和后重排
  • 元数据过滤：时间、部门、权限先过滤再检索
第三步

Rerank 重排

召回要"多而全"，重排要"准而精"。是效果提升性价比最高的一环。

🎯
详细拆解
  • 原理：Cross-Encoder 把"问题+候选"成对输入，精算相关性分数
  • 代价：慢，只对 Top-50/100 使用
  • 配套：相似度阈值过滤、去重（MMR）、时效性加权
进阶形态

GraphRAG / Agentic RAG

从"找段落"升级为"走关系链"与"多轮主动检索"。

🕸️
详细拆解
  • GraphRAG：抽取实体-关系建图，支持跨文档多跳推理与全局摘要
  • Agentic RAG：模型自主决定"要不要搜、搜什么、换什么关键词"
  • 评估：召回率@K、忠实度、答案相关性、引用准确率
◈ 图 4 · 语义向量空间：意思相近的词在高维空间里"挨得近"
财务语义簇 报销 发票 差旅 人事语义簇 请假 年假 考勤 Q "出差发票怎么报？" 弱相关 → 排后面 检索 = 找与 Q 向量夹角最小的邻居（余弦相似度）
◈ 图 5 · 三条"让模型懂你业务"的路：怎么选
外挂知识，随改随生效 知识更新成本 极低 实施门槛 低 可溯源性 强 改变模型行为风格 弱 适用：企业文档问答 / 政策查询 / 产品手册 / 实时资讯 一句话：知识频繁变、必须可溯源 → 首选 RAG
改权重，把能力"练进模型" 知识更新成本 高 实施门槛 中高 可溯源性 弱 改变模型行为风格 强 适用：固定格式输出 / 行业术语风格 / 分类抽取 / 降本（小模型替代） 一句话：要改"说法与习惯"而非灌知识 → 微调
整本塞进上下文，一次读完 知识更新成本 极低 实施门槛 最低 单次推理成本 高 超大规模知识支撑 弱 适用：单次几十页的合同/论文/财报分析，追求最快落地 一句话：知识体量小且一次性 → 直接长上下文
03

MCP：模型连接世界的统一 USB-C 接口

Model Context Protocol —— 一套开放协议，把"模型要用的数据"和"模型能做的事"标准化暴露出来，一次接入，处处可用。

Host / Client / ServerToolsResourcesPrompts JSON-RPC 2.0stdio / SSE / HTTP能力协商人在回路
◈ 图 6 · MCP 架构：一个 Host 内，Client 与多个 Server 一对一连接
MCP Host（宿主应用） IDE / 桌面助手 / 客户端 🧠 LLM 大模型 决策：要不要用工具、用哪个 🔌 MCP Client × N 与每个 Server 建立 1:1 会话 权限确认 · 人在回路审批 上下文编排 工具结果 → 回灌给模型 JSON-RPC 2.0 MCP Server · 本地文件 stdio 传输 · 读写本地资源 Tools: read_file / write / search MCP Server · 数据库 SSE / Streamable HTTP Resources: schema / 表数据 MCP Server · SaaS 服务 远程 HTTP · OAuth 授权 Tools: 建工单 / 发消息 / 查订单 本地数据源 文件 · 代码仓库 · 本地数据库 企业系统 CRM · ERP · 数据仓库 · 知识库 互联网服务 地图 · 天气 · 支付 · 协作工具 安全边界：Server 只暴露被授权的能力 凭证留在 Server 侧，不进入模型上下文
能力 01

Tools 工具

模型可主动调用的函数，带 JSON Schema 描述入参。

🔧
详细拆解
  • 发现：tools/list 拉取全部工具与参数结构
  • 调用：tools/call 执行，返回结果（文本/图片/结构化）
  • 治理：命名规范、幂等设计、超时与重试、副作用标注
能力 02

Resources 资源

应用侧可控的只读数据，如文件、表结构、API 响应。

📦
详细拆解
  • 用 URI 定位：file:///…、db://table、https://…
  • 支持订阅与变更通知（resources/subscribe）
  • 适合大文档、结构化数据，避免一次性塞满上下文
能力 03

Prompts 提示模板

服务端预置的标准化对话模板，用户可显式触发。

📝
详细拆解
  • 带参数插槽，服务端注入领域最佳实践
  • 与 Tools 区别：Prompts 由人触发，Tools 由模型触发
  • 典型：代码审查模板、故障排查话术
传输层

stdio / SSE / HTTP

本地进程管道 or 远程流式连接，均基于 JSON-RPC 2.0。

🔗
详细拆解
  • stdio：本机子进程，零网络、低延迟，适合本地文件/命令
  • Streamable HTTP：远程首选，支持流式与无状态扩展
  • 能力协商：初始化时交换 supported capabilities
◈ 图 7 · 一次工具调用的完整时序（滚动到此处自动播放）
👤 用户 Host + LLM MCP Client MCP Server 外部系统 1. "查一下北京天气" 2. 组装工具清单 3. tools/list 4. 模型决策 → get_weather(city) 5. tools/call 6. 转发请求（鉴权） 7. 调用真实 API 8. 返回 JSON 结果 9. 结构化结果回传 10. 结果入上下文 模型组织自然语言 11. 最终回答
◈ 图 8 · MCP vs 传统 Function Calling vs 手写集成
维度MCP 协议模型原生 Function Calling手写 API 集成
本质开放标准协议，跨模型跨应用模型厂商私有能力，绑定一家一次性定制开发
复用性一次开发，N 个客户端可用换个模型常需重适配每个应用重写一遍
能力发现运行时动态 list，热插拔启动时静态声明硬编码，改一次发一次版
数据形态Tools + Resources + Prompts仅函数调用无统一形态
部署位置本地 stdio 或远程 HTTP随应用进程随应用进程
适合场景多工具生态、跨团队协作、能力市场单应用少量固定工具极简、一次性需求
04

Skill：把做事方法论固化成可加载模块

一份 SKILL.md + 配套脚本资源，按需注入上下文。不占用常驻记忆，用时才加载——这是它与普通 Prompt 的根本差别。

SKILL.mdYAML frontmatter渐进式披露scripts / references / assets 触发匹配确定性脚本可被 MCP 调用
◈ 图 9 · 标准目录结构：最小可用 vs 完整形态
pdf-skill/ SKILL.md　← 唯一必需文件 元数据 + 正文 scripts/ extract.py · fill_form.py　（可执行，结果确定） references/ REFERENCE.md · FORMS.md　（按需读入上下文） 仅在需要时加载，避免撑爆窗口 assets/ 模板 .pptx / .docx / 图片资源 命名与写作铁律 动名词命名 · 描述写清"何时用" · 正文控制在 500 行内
◈ 图 10 · 渐进式加载：三级披露，省 token 的关键
L1 元数据 Metadata name + description　≈ 100 token　·　始终在上下文 启动时全量加载 L2 正文 SKILL.md SOP 步骤 / 示例 / 注意事项　< 5k token 命中时加载 L3 资源 Resources 脚本 / 参考文档 / 模板　按需、无上限 用才读 不加载 = 不占上下文，因此可以挂载成百上千个技能
触发机制

怎么被选中

模型比对用户意图与所有 L1 描述的语义匹配度，命中后展开正文执行。

🎬
详细拆解
  • 描述决定命中率：写清"做什么 + 何时用"，含用户常说法
  • 避免过于宽泛导致误触发，也别太窄导致不触发
  • 可显式点名调用，也可由 Agent 自动路由
  • 多个技能可串联：A 输出 → B 输入
核心价值

确定性 > 自由发挥

把易错流程写成脚本，让模型少猜、让代码多算，输出稳定可复现。

⚙️
详细拆解
  • 重复劳动（格式转换、批量处理）优先脚本化
  • 易错逻辑（校验、计算）交给代码，模型只做编排
  • 输出模板放 assets，保证版式一致
  • 内置自检清单，减少返工
边界关系

Skill ≠ MCP

Skill 是"怎么做"的知识，MCP 是"能连谁"的通道；二者互补而非替代。

🧩
详细拆解
  • Skill 可调用 MCP 工具完成外部动作
  • Skill 提供流程与规范，MCP 提供连接与执行
  • 组合示例：差旅报销 Skill → 调用 OA MCP 提交单据
  • 与子 Agent 区别：Skill 是同一上下文内加载知识；子 Agent 是独立上下文并行干活
05

Agent：让模型自己把事办完

以 LLM 为决策中枢，加上规划、记忆、工具、反思四件套，形成"感知 → 决策 → 行动 → 观察"的自主闭环。

ReAct 循环任务规划/分解短期/长期记忆工具调用 自我反思多智能体协作人在回路护栏与预算
◈ 图 11 · ReAct 循环：思考 → 行动 → 观察，直到任务完成
ReAct Loop Reason + Act 交替迭代 直到满足终止条件 🤔 Thought 分析现状 · 规划下一步 ⚡ Action 调用工具 / 执行动作 👁 Observe 读取返回 · 校验结果 🔄 Reflect 反思纠错 · 调整计划
◈ 图 12 · 自主度光谱：从固定脚本到自主规划
① 固定脚本 规则引擎 / RPA 零智能 · 完全确定 ② 单次调用 Prompt → LLM 翻译 / 摘要 / 改写 ③ 链式工作流 固定 DAG 编排 路径已知 · 可控 ④ 工具型 Agent 模型自主选工具 路径动态 · 需护栏 ⑤ 自主规划 自定目标与拆解 强能力 · 高风险 选左边：流程稳定、可审计 金融对账 / 审批流 / 批量处理 追求：成本可控、结果可复现 选右边：路径未知、需探索 调研分析 / 故障排查 / 开放创作 追求：覆盖率与完成度 工程真相：真正上线的产品多在 ③~④ 之间 把可确定的部分固化成工作流，把不确定的部分交给模型决策 —— 这是性价比最高的设计 护栏三件套：最大步数上限 · 敏感操作人工确认 · 预算与超时熔断
能力 01

规划 Planning

把模糊目标拆成可执行的子任务序列，并动态调整。

🗺️
详细拆解
  • 分解：目标 → 子任务 DAG，标注依赖
  • 策略：ReAct 边做边想 / Plan-and-Execute 先规划后执行
  • 防跑偏：每步回看目标，设置最大步数与检查点
能力 02

记忆 Memory

短期靠上下文，长期靠外部存储，决定"是否懂你"。

🧠
详细拆解
  • 短期：对话上下文 + 摘要压缩
  • 长期：向量库检索的历史、用户画像、经验沉淀
  • 关键：写入要过滤噪声，读取要按时效与相关度
能力 03

工具 Use Tools

通过函数调用 / MCP 触达真实世界，是"会说"到"会做"的分水岭。

🛠️
详细拆解
  • 工具描述质量直接决定调用准确率
  • 数量控制在 10~20 个以内，过多需分组/检索
  • 失败要可重试、可降级、可解释
能力 04

反思 Reflection

自我检查输出、发现错误并重试，是质量提升的放大器。

🪞
详细拆解
  • 自洽校验：用规则/代码验证结果合法性
  • 批判式复审：另一个角色挑错再迭代
  • 成本翻倍，宜用于高风险环节而非全流程
◈ 图 13 · 多智能体协作：一个编排者 + 若干专职角色
🎯 编排者 Orchestrator 拆解任务 · 分派 · 汇总结果 掌握全局目标与终止条件 🔎 检索 Agent 查资料 · 返回带引用片段 📊 分析 Agent 跑代码 · 计算 · 出图表 ✍️ 写作 Agent 按模板产出成稿 ✅ 审查 Agent 事实核查 · 合规与风格校验 共享黑板 / 状态存储 各 Agent 读写同一份中间结果 优势：上下文隔离、并行加速、角色专业化　代价：通信成本、一致性难题、调试复杂
∞

五层协同全景：一次请求的完整旅程

把五个概念放进同一个场景，看清它们各自的位置与职责边界：谁决策、谁提供知识、谁连接外部、谁提供方法。

◈ 图 14 · 全景协同：Agent 调度，Skill 供方法，MCP 供连接，知识库供事实，LLM 供推理
🧠 大模型 LLM —— 贯穿全局的推理底座（理解 · 生成 · 决策 · 归纳） 所有环节的智能都来自它；其余四层为它提供「知识、手、脚与方法论」 👤 用户目标 "整理上季度 差旅费用并提单" 🤖 Agent 调度中枢 ① 理解意图　② 拆解任务 ③ 选择能力　④ 观察与反思 ⑤ 汇总成结果 🎯 Skill 技能 提供标准 SOP 与脚本 "报销流程该这么走" 按需加载，用完即卸 📚 知识库 RAG 提供事实与依据 "差旅标准是这些条款" 召回 + 重排 + 引用 🔌 MCP 工具 连接外部系统并执行 "查订单 / 提交工单" Tools + Resources 上下文组装区 Context Window SOP 步骤 检索到的条款含引用标记 工具返回结果 历史记忆摘要 用户原始诉求 ↓ 排序 / 压缩 / 去重 送入模型推理 交付结果
◈ 图 15 · 落地路线：从 0 到 1 的四步走
1 先跑通单点 选一个高频、边界清晰的场景 用提示词 + 少量示例验证可行性 产出：可对比的基线效果 2 接上知识 沉淀文档 → 切片 → 向量库 加引用溯源，建立评测集 产出：准确率与可信度提升 3 接上系统 把可确定动作封装成 MCP 工具 把流程经验固化成 Skill 产出：从"会说"到"会做" 4 逐步放权 加规划与反思，配护栏 人工确认 → 自动执行 产出：可控的自主 Agent ※ 每一步都要先建评测集：没有量化指标，优化就是盲人摸象
✓

一表速查：五者到底差在哪

收藏这一张表，选型时按"问题类型"反推该用哪一层能力。

概念一句话定位解决什么问题 关键组成常见坑 / 选型提示
大模型 LLM 概率驱动的通用推理引擎 理解、生成、归纳、决策 Transformer · Token · 注意力 · 训练三阶段 不会自动知道你的私域知识与最新信息；成本与延迟随上下文增长
知识库 RAG 可更新的外挂事实来源 私域知识、实时信息、幻觉与溯源 切片 · Embedding · 向量库 · 混合检索 · Rerank 切片与检索质量决定上限；只加知识不改风格；务必做引用与拒答
MCP 模型与外部系统的标准接口 工具与数据接入的碎片化、重复开发 Host/Client/Server · Tools · Resources · Prompts 工具过多会降低选择准确率；凭证留 Server 侧；敏感操作需人工确认
Skill 按需加载的做事方法论 流程不统一、输出不稳定、上下文不够用 SKILL.md · scripts · references · assets 描述写不好就不会被触发；正文要短，细节外置；能脚本化就脚本化
Agent 自主完成目标的闭环系统 多步骤、路径未知、需调用工具的任务 规划 · 记忆 · 工具 · 反思 · 多智能体 别一上来就全自主；先工作流后放权；必须设步数、预算与熔断护栏
需要"懂知识"

→ 用知识库

问的是事实、条款、最新数据，且要求可溯源。

需要"能操作"

→ 用 MCP 工具

要查系统、写数据、发消息、触发业务流程。

需要"有章法"

→ 用 Skill

流程固定、格式固定、要求每次结果一致。

需要"自己干"

→ 用 Agent

目标明确但步骤未知，需要多轮探索与调整。

需要"会推理"

→ 靠大模型

理解意图、组织语言、判断取舍，始终由它承担。

需要"稳落地"

→ 组合使用

真实产品几乎都是：Agent 编排 + Skill 规范 + MCP 执行 + 知识库供料 + LLM 推理。