Token 是什么?AI 大模型计费方式详解

Token 的基本概念

• 定义:Token 是模型处理文本的最小单位,由分词器(Tokenizer)将文本切分而成
• 英文:1 token ≈ 4 个字符 ≈ 0.75 个单词。"Hello world" ≈ 2 tokens
• 中文:1 个汉字通常 = 1-2 个 token。"你好世界" ≈ 4-5 tokens
• 代码:代码中的符号、缩进都会消耗 token。一行代码通常 10-30 tokens

Token 计费方式

费用公式:总费用 = 输入token数 × 输入单价 + 输出token数 × 输出单价

各模型价格对比(每百万 token)

通过 AI的那些事儿 调用以上所有模型,价格比官方低 20-40%,人民币结算。

省钱技巧

实战:查看 Token 消耗

Python 示例:监控 token 用量

from openai import OpenAI

client = OpenAI(
    api_key="你的Key",
    base_url="https://api.example.com/v1"  # AI的那些事儿
)

response = client.chat.completions.create(
    model="gpt-4o",
    messages=[
        {"role": "system", "content": "简洁回答"},
        {"role": "user", "content": "什么是 token?"}
    ],
    max_tokens=200  # 限制输出长度,控制成本
)

# 查看 token 消耗
usage = response.usage
print(f"输入 token: {usage.prompt_tokens}")
print(f"输出 token: {usage.completion_tokens}")
print(f"总计 token: {usage.total_tokens}")
print(f"回答: {response.choices[0].message.content}")

# 简单任务用便宜模型
response_mini = client.chat.completions.create(
    model="gpt-4o-mini",  # 便宜 20 倍
    messages=[{"role": "user", "content": "1+1=?"}],
    max_tokens=10
)
print(f"mini 消耗: {response_mini.usage.total_tokens} tokens")

Node.js 示例:成本估算

import OpenAI from "openai";

const client = new OpenAI({
  apiKey: "你的Key",
  baseURL: "https://api.example.com/v1",
});

const response = await client.chat.completions.create({
  model: "gpt-4o",
  messages: [{ role: "user", content: "用 100 字介绍 React" }],
  max_tokens: 200,
});

const { prompt_tokens, completion_tokens, total_tokens } = response.usage;

// 估算成本(AI的那些事儿价格,比官方更低)
const inputCost = (prompt_tokens / 1_000_000) * 2.0;  // 中转价更低
const outputCost = (completion_tokens / 1_000_000) * 8.0;
console.log(`输入: ${prompt_tokens} tokens ($${inputCost.toFixed(6)})`);
console.log(`输出: ${completion_tokens} tokens ($${outputCost.toFixed(6)})`);
console.log(`总计: ${total_tokens} tokens`);

常见问题

比官方便宜 20-40%,人民币按量付费

AI的那些事儿 — 同样的模型更低的价格,一个 Key 调用所有 AI。