在 AI 时代，是什么能够让科技公司赚钱？科技公司花出去的大量基础建设成本怎么收回投资？
答案只有一个：token。
对于什么是 token 其实都说法都有很多，如果你做过全文检索工具，例如 Apache 的 Solr，这样的工具就知道，如果要进行文本搜索，那么就必须要对搜索的内容进行分词，在全文搜索工具中，有一个 Tokenizer，这个叫做分词器。
分词器的作用是把一句话拆分成很多的 token，然后进行搜索，或者进行机器学习。
换句话说，没有 token 就没有大模型工具也没有全文搜索，这也就是为什么要对你的 token 进行收费。
认知误区
计算机在处理文本的时候，会有认知误区的。
比如说，在全文搜索：软件技术平台，实际上测搜索字符是 6 个字符，但经过分词工具后，这 6 个字符被拆分成很多 token。
import jieba
text = "我爱自然语言处理技术"
# 精确模式（默认）
print("精确模式:", "/ ".join(jieba.cut(text)))
# 精确模式: 我/ 爱/ 自然语言/ 处理/ 技术
# 全模式
print("全模式:", "/ ".join(jieba.cut(text, cut_all=True)))
# 全模式: 我/ 爱/ 自然/ 自然语言/ 语言/ 处理/ 技术
# 搜索引擎模式
print("搜索引擎模式:", "/ ".join(jieba.cut_for_search(text)))
# 搜索引擎模式: 我/ 爱/ 自然/ 语言/ 自然语言/ 处理/ 技术
实际上的分词处理要比这个复杂得多，需要消耗的 Token 也更多，因此几百万的 Token 是根本不够用的。
正因为所有的收入都来自 Token，LLM 的工具就好像是高速公路的一个收费站，这个收费站是双向收费的。
返回的数据也是 Token，不是你阅读的文本。
OpenClaw
OpenClaw 这个工具是免费的，但这个工具使用的 token 是不免费的而且还很贵。
科技公司和 AI 公司现在要做的事情就是让用户尽可能多的消耗 Token，这样他们就可以收费了。
OpenClaw 就等于在你的计算机中装了一个软件来帮你进行数据分析和安排工作，这些安排的事情都需要消耗大量的 Token。
这也就是你可以养小龙虾，但给小龙虾的饲料可不便宜，还很贵。
就这使用量，真的敢用吗？
Comments