{
  "slug": "token-explained",
  "url": "https://kelewrites.com/posts/token-explained/",
  "title": "Token：AI 时代的硬通货，比你想象中更值得读懂",
  "subtitle": "看懂 Token 的计量、定价、供给与重构逻辑，就看懂了这一轮 AI",
  "summary": "Token 不是冰冷的技术名词，而是 AI 世界的基本粒子与计量单位——AI 如何被理解、被运算、被定价，底层标尺全都是它。读懂 Token 的四个面向（是什么、怎么定价、产业链怎么比拼、个人与组织怎么变），就拿到了理解这一轮 AI 的钥匙。",
  "date": "2026-06-03",
  "updated": "",
  "tags": [
    "AI",
    "Token",
    "行业洞察"
  ],
  "series": "",
  "source": {
    "title": "《Token 时代：硬核拆解关于 Token 的一切》（第四期）",
    "url": "https://www.bilibili.com/video/BV1VU5Z6dEsb/"
  },
  "ai": {
    "summary": "Token 不是冰冷的技术名词，而是 AI 世界的基本粒子与计量单位——AI 如何被理解、被运算、被定价，底层标尺全都是它。读懂 Token 的四个面向（是什么、怎么定价、产业链怎么比拼、个人与组织怎么变），就拿到了理解这一轮 AI 的钥匙。",
    "takeaways": [
      "Token 不是冰冷的技术名词，而是 AI 世界的基本粒子与计量单位——AI 如何被理解、被运算、被定价，底层标尺全都是它。读懂 Token 的四个面向（是什么、怎么定价、产业链怎么比拼、个人与组织怎么变），就拿到了理解这一轮 AI 的钥匙。",
      "一、是什么：Token 是 AI 处理世界的最小单位",
      "二、怎么定价：Token 是 AI 的石油，越便宜，市场越大",
      "三、产业链怎么比拼：从一张卡到一国能源，再到开源与闭源"
    ],
    "audience": [
      "关注 AI 行业演化的从业者"
    ],
    "quote": "一句话总结：Token 是 AI 时代的「石油」——它既是计量单位，又是基础资源；读懂它的计量方式、定价逻辑、产业链与重构能力，就读懂了这一轮 AI 的运作方式。",
    "questions": [
      "这篇文章的核心结论是什么？",
      "Token 是 AI 处理世界的最小单位是什么意思？",
      "Token 是 AI 的石油，越便宜，市场越大是什么意思？",
      "产业链怎么比拼：从一张卡到一国能源，再到开源与闭源？"
    ],
    "citation": {
      "title": "Token：AI 时代的硬通货，比你想象中更值得读懂",
      "conclusion": "Token 不是冰冷的技术名词，而是 AI 世界的基本粒子与计量单位——AI 如何被理解、被运算、被定价，底层标尺全都是它。读懂 Token 的四个面向（是什么、怎么定价、产业链怎么比拼、个人与组织怎么变），就拿到了理解这一轮 AI 的钥匙。",
      "points": [
        "一、是什么：Token 是 AI 处理世界的最小单位",
        "二、怎么定价：Token 是 AI 的石油，越便宜，市场越大",
        "三、产业链怎么比拼：从一张卡到一国能源，再到开源与闭源"
      ],
      "quote": "一句话总结：Token 是 AI 时代的「石油」——它既是计量单位，又是基础资源；读懂它的计量方式、定价逻辑、产业链与重构能力，就读懂了这一轮 AI 的运作方式。",
      "url": "https://kelewrites.com/posts/token-explained/",
      "attribution": "kele · Article Share"
    }
  },
  "headings": [
    {
      "depth": 2,
      "text": "开场"
    },
    {
      "depth": 2,
      "text": "金字塔总览"
    },
    {
      "depth": 2,
      "text": "一、是什么：Token 是 AI 处理世界的最小单位"
    },
    {
      "depth": 3,
      "text": "1.1 切词，再预测下一个 token"
    },
    {
      "depth": 3,
      "text": "1.2 你看到的 prompt，只是 input 的冰山一角"
    },
    {
      "depth": 3,
      "text": "1.3 从「生成式」到 Agent：输入远大于输出"
    },
    {
      "depth": 2,
      "text": "二、怎么定价：Token 是 AI 的石油，越便宜，市场越大"
    },
    {
      "depth": 3,
      "text": "2.1 石油的类比：分层、有波动、按场景选"
    },
    {
      "depth": 3,
      "text": "2.2 消费者盈余高，是一次帕累托改进"
    },
    {
      "depth": 3,
      "text": "2.3 远未饱和：越降价，市场越大"
    },
    {
      "depth": 2,
      "text": "三、产业链怎么比拼：从一张卡到一国能源，再到开源与闭源"
    },
    {
      "depth": 3,
      "text": "3.1 供给＝算力 × 单卡效率"
    },
    {
      "depth": 3,
      "text": "3.2 中国缺芯片，海外缺能源"
    },
    {
      "depth": 3,
      "text": "3.3 开源 vs 闭源，与全链自主的拐点"
    },
    {
      "depth": 2,
      "text": "四、个人与组织怎么变：从「用 AI」到「被 AI 用」，再到驾驭 AI"
    },
    {
      "depth": 3,
      "text": "4.1 工作流反转：先让 AI 搭台，再把人插进去"
    },
    {
      "depth": 3,
      "text": "4.2 上下文工程：团队的努力＝维护一个大型上下文"
    },
    {
      "depth": 3,
      "text": "4.3 三到五年后，该攒什么能力"
    },
    {
      "depth": 2,
      "text": "一页速览"
    },
    {
      "depth": 2,
      "text": "一句话收束"
    }
  ],
  "text": "> **一句话总结**：**Token 是 AI 时代的「石油」——它既是计量单位，又是基础资源；读懂它的计量方式、定价逻辑、产业链与重构能力，就读懂了这一轮 AI 的运作方式。**\n\n---\n\n## 开场\n\n过去一个季度，我们已经告别了「聊天机器人」的单线程时代，正式迈入多智能体（multi-agent，多个 AI 协作完成任务）的新阶段。在这个新阶段里，真正的硬通货叫 Token。它听起来像个冰冷的技术名词，本质上却是 AI 世界的基本粒子、整个数字文明的核心计量单位——AI 如何被理解、被运算、乃至在全球范围内如何被定价，底层标尺全都是它。\n\n有一组数据足够震撼：2026 年 3 月，中国市场日均 Token 调用量已突破 140 万亿；而两年前这个数字还只是 1000 亿。涨了上千倍，未来还会有成千上万倍的指数级提升。\n\n问题来了：Token 到底是什么？它为什么突然这么紧张、这么贵又这么便宜？它会把世界改造成什么样，而我们个人又该做什么？\n\n答案是一句话：**Token 是驱动 AI 的「石油」，理解它的计量、定价、产业链和重构能力，就理解了这一轮 AI。** 下面分四层展开。\n\n---\n\n## 金字塔总览\n\n---\n\n## 一、是什么：Token 是 AI 处理世界的最小单位\n\n### 1.1 切词，再预测下一个 token\n\nToken 的官方中译是「词元」——把它理解成「词」「字」更亲切。大模型的工作原理，就是先用一个叫 tokenizer（分词器）的东西，把语言切分成一个个足够小的单位（token），再不断「预测下一个 token」。仅凭这个看似简单的过程，就涌现出了今天整个 AI 大模型的智能基础。所以理解 Token 只需抓两点：怎么切，以及切完之后这个单元意味着什么。\n\n### 1.2 你看到的 prompt，只是 input 的冰山一角\n\n所有大模型背后都是一套推理基础设施：一堆 GPU、一个推理引擎。当你输入一段 prompt（提示词），它并不等于真正进入模型的 input token——你的 prompt 往往只是其中很小的一部分，系统会把默认的系统提示词、上文、工具调用结果等等全部拼成一个完整的 input，再做推理（即预测下一个 token），最后流式或非流式地吐出结果。豆包里一个字一个字蹦出来的是流式，编程工具里一整块结果瞬间出现的是非流式。\n\n### 1.3 从「生成式」到 Agent：输入远大于输出\n\n为什么 2025 下半年起 Token 才走入大众视野？因为范式变了。\n\n| | 对话时代 | Agent 时代 |\n\n| 关注的单位 | 聊了几轮、用了几次 | 消耗了多少 token |\n| 计费形态 | 按次/按会员 | API 标准化计费 |\n| Token 构成 | 输出可见（写首诗，输入十几字、输出几千字） | 输入远大于输出，大量消耗不可见 |\n| 典型量级 | 几千 token | 一次检索就十几万、几十万 token |\n\n过去叫「生成式 AI」，是因为生成过程肉眼可见。进入 Agent 时代后，装载一个 skill、做一次检索，背后处理的信息量动辄百万、千万、上亿 token——它不一定真产出那么多字，而是在你看不见的地方处理了那么多信息。所以「生成」那一步反而不再是最重要的。\n\n> **金句**：你敲下的那句问题，只是冰山尖；水面下整座冰山，才是真正被计费的 Token。\n\n---\n\n## 二、怎么定价：Token 是 AI 的石油，越便宜，市场越大\n\n### 2.1 石油的类比：分层、有波动、按场景选\n\n大家为什么要花钱买 Token？就像汽车必须有油才能往前走，油耗光了就停下——Token 就是驱动 AI 的能源。能源会分层定价：柴油、92 号、95 号因工艺和用途不同而价格不同。Token 也一样：有的模型百万 token 要几十美金甚至更高，有的开源小参数模型则便宜得多、性价比更高。成熟市场永远会分很多层，使用者像在工厂里搭配不同润滑油一样，按任务难度和复杂度挑选「性价比最适合的那一款」，甚至把多个模型串成一个工作流（A 模型→B 模型→C 模型，结果存进数据库再回溯）协同干活。\n\n### 2.2 消费者盈余高，是一次帕累托改进\n\n经济学上，用很低的成本得到很高的价值，叫「消费者盈余」很高。当下大量大模型对所有人都是消费者盈余很高的状态：模型厂商有收入、开发者也赚到钱、用户投入产出比很高——每个人都觉得自己比过去改进了，这就是帕累托改进（没有人变差、至少有人变好）。但与石油这类传统基础设施有个关键区别：Token 成本对所有人差不多，**用得好的人创造的价值，可以远超普通人**。这呼应了今年的热词 harness（把智能体调教得更好的体系）——对谈中一方甚至用了内部术语 TAAC（Token-Architecture-Capabilities，搭 Token 的能力）：越会用，越知道什么任务该交给哪个模型，效率越高。关键是找到属于自己的场景，做到 PMF（product-market fit，产品与需求匹配），fit 了就够了，不必盲目追最贵的。\n\n### 2.3 远未饱和：越降价，市场越大\n\n其他技术产品降价常常把市场降萎缩了；Token 却相反。原因是 AI 市场远未饱和：贵一点大家就少用，便宜一点用的人就更多，再便宜又更多。不像移动互联网时代盯着用户时长——一天最多 24 小时，到顶了；Token 的消耗更像幂律分布，尾部那些用得极好的人，量会远高于均值，因为他们能让模型 7×24 小时为自己工作。所以价格再多降一些反而是好事，市场还有成千上万倍的增长空间。Token 本身不是产品（像石油要放进汽车才能用），但只要承载它的产品 PMF 做得好，背后一切都能转成商业闭环。\n\n> **金句**：在远未饱和的市场里，降价不是利润的敌人，而是把蛋糕做大的引擎。\n\n---\n\n## 三、产业链怎么比拼：从一张卡到一国能源，再到开源与闭源\n\n### 3.1 供给＝算力 × 单卡效率\n\n站在厂商角度，供给可以拆成一个乘积：**有多少算力 × 单位算力能产出多少 token（并发能力）**。于是提升供给只有两条路：一是堆资源（更多卡、更好的卡、更优的卡组合）；二是信技术进步（优化模型架构与推理，让每张卡推出更多 token、把成本降下来）。你越相信技术会突破，对资源就越不焦虑；越觉得技术会卡半年一年，就越要激进抢资源。不同厂商的判断不同——有的更偏向架构优化、把每次推理的算力（FLOPs）大幅降下来。\n\n### 3.2 中国缺芯片，海外缺能源\n\n把视角拉到产业链底层，两边的瓶颈不一样：\n\n| | 中国 | 海外 |\n\n| 衡量算力的口径 | 多少张卡（千卡、万卡集群） | 多少吉瓦（GW）的数据中心 |\n| 主要瓶颈 | 芯片本身 | 能源（燃气轮机等基础设施紧张） |\n| 供给透明度 | 相对不透明 | 较透明（龙头会披露流向） |\n\n需要警惕的是别低估海外：它产业链非常健全，尤其对非本土制造环节的控制力很强，龙头之间还有互相投资与资源置换——这些比单纯比「卡的数量、投资总额」更值得研究。\n\n### 3.3 开源 vs 闭源，与全链自主的拐点\n\n海外头部三家基本走闭源，国内更多走开源。从经济学看，各自发挥优势即可：中国在产业链生产、做真正的终端产品（尤其面向消费者的 to C）上更有优势，创业者更愿意「俯下身」满足市场。开源模型成本更低、更好调用，因此在未来的真正调用量上很可能反而是世界最大——已有海外快上市的推理服务商在用中国开源模型。更重要的是，这一轮是全产业链的比拼：从半导体设备材料、制造、设计，到 GPU/ASIC 芯片、云平台、模型研发，中国第一次有望迎来全栈自主创新的拐点（最新模型已开始适配国产芯片）。终局不必每个环节都用国产，但「有这个能力」就有了选择的权利，不会被卡脖子。\n\n> **金句**：算力是乘法题，产业链是接力赛——有自主能力，才有选择的自由。\n\n---\n\n## 四、个人与组织怎么变：从「用 AI」到「被 AI 用」，再到驾驭 AI\n\n### 4.1 工作流反转：先让 AI 搭台，再把人插进去\n\nAI 的平均智能在很多场景已超越人，于是组织方式正在反转。一方分享：他不再问同事「你用了什么 AI」，而是问「**你今天又被什么 AI 用了**」——你给 AI 贡献了哪些上下文、辅助它做了哪些决策。要稿件时，他甚至不看稿件本身，而是看你和 AI 的对话过程。另一方则是先让 AI 整体做策划、做产品和工作台的开发，搭好之后再把人「插进去」做具体环节——从「人组织和驱动事情」变成「AI 组织和驱动事情」。\n\n### 4.2 上下文工程：团队的努力＝维护一个大型上下文\n\n新范式的核心是上下文工程（context engineering）：把没写进文档、只在你脑子里的信息「蒸馏」出来、沉淀成 skills 供 AI 和同事复用。一个生动的做法——要求团队只在群聊里说话、不要私聊，因为每一句都是 context 的一部分。让 AI 来判断时胜率往往很高（团队会故意做 A/B 测试对比人和 AI 的答案）；人不是没价值了，而是创造智能的方式变了。\n\n### 4.3 三到五年后，该攒什么能力\n\n技能本身 AI 都能做好，真正稀缺的是这几样：\n**心态**：随便打开一个网页，里面的能力都比你强；接受这个定局，遇到拐点时才不慌。\n**好奇心与深度**：AI 能回答的太多了，问题本身才珍贵——你能不能问出一亿、十亿 token 量级的好问题。广度不重要，高度和深度才重要。\n**判断非线性拐点**：大模型最擅长线性外推，所以只做「往外推一两步」的可预测工作，已经拿不到超额回报；人的价值在于判断那些非线性的拐点。\n**领导力与洞察**：给你十亿 token、一支「AI 军队」，你能不能把它们组织调度起来、知道方向在哪；同时对某个行业有足够深的洞察与审美，把理论、行业和技术结合，才能在「人人都能做产品」时做出真正好的产品。\n\n> **金句**：当技能不再稀缺，稀缺的是提问的好奇、判断拐点的眼光，和驾驭一支 AI 军队的领导力。\n\n---\n\n## 一页速览\n\n| 层级 | 内容 | 一句话核心 |\n\n| **核心结论** | Token 是 AI 时代的硬通货 | 它既是计量单位，又是基础资源——读懂它就读懂这一轮 AI |\n| **一、是什么** | 切词、预测下一个 token；输入远大于输出 | 你看到的 prompt 只是冰山尖，水下才是真正被计费的部分 |\n| **二、怎么定价** | Token 是石油，分层定价，远未饱和 | 越便宜市场越大；用得好的人创造的价值远超普通人 |\n| **三、产业链** | 供给＝算力×单卡效率；中缺芯片、外缺能源；开源 vs 闭源 | 有全链自主能力，才有选择的自由 |\n| **四、个人与组织** | 从被 AI 用到驾驭 AI；上下文工程 | 攒心态、好奇心、拐点判断、领导力与洞察 |\n\n---\n\n## 一句话收束\n\n> **Token 是 AI 时代的石油，但真正的稀缺品不是 Token 本身，而是问出好问题、判断非线性拐点、并驾驭一支 AI 军队的那个人。**"
}