AI风向

【AI风向】Hermes Agent 重写搜索功能:从90秒到20毫秒,一个架构选择省下$30/天

当AI Agent遇到搜索——用LLM做搜索还是用数据库做搜索?Hermes Agent用一次完整重写给出了答案:4500倍提速、搜索成本归零。这对每位靠Agent挣钱的人来说,都是一个值得抄作业的降本样板。

事件回顾

5月18日凌晨,Hermes Agent核心开发者teknium1提交了commit abf1af5,用SQLite内置的FTS5全文搜索引擎彻底替代了原有的LLM搜索链路。

之前的方案看起来很"AI":每次用户搜索历史会话时,LLM先生成摘要、存向量、做语义检索——全程约90秒,每次花费$0.30。如果每天搜100次,就是$30的账单加上2.5小时的等待。

新方案出奇地朴素:SQLite FTS5全文索引,200行代码,20毫秒完成搜索,成本为零。

三种调用模式覆盖所有搜索场景:Discovery(关键词全文搜索)、Scroll(基于锚点翻页)、Browse(最近N个会话列表)。不是渐进式优化,是架构选择带来的4500倍提速。

为什么重要

这件事对AI创业者有三个层次的启示:

第一,"能用SQL解决的,别用LLM"正在成为工程新圣经。 FTS5是SQLite从2015年就内置的功能——布尔查询、前缀匹配、短语搜索,覆盖95%的会话搜索场景。LLM搜索听起来很酷,但实际体验远不如一个成熟的全文索引。Hermes的这一改动不是特例,而是一个信号:AI产品的工程团队正在回归"先想清楚用户到底需要什么",而不是"什么地方能用LLM"。

第二,Token成本的隐性陷阱比你想象的更深。 如果你在做面向B端的Agent产品,每个用户每天搜20次,就是$6/天、$180/月的纯搜索成本。100个客户就是$18,000/月。这个成本结构根本无法规模化。Hermes的做法本质上是一次成本审计——审计后发现85%的"AI功能"实际上可以用传统数据库技术替代,且体验更好。

第三,前缀缓存+去LLM化=降本组合拳。 Hermes同日还提交了系统提示词日期精度从分钟级改为日期级,让前缀缓存全天命中。两处修改加起来,重度用户每天可省$50-100。对一人公司创业者,这笔钱直接从利润里省出来的。

我们能学到什么

1. 审查你的Agent搜索实现。 如果每次搜索都在调LLM,先算一笔账:日搜索量×单次成本×30天,这个数字很可能让你睡不着觉。

2. FTS5几乎适用于所有"关键词搜索历史记录"场景。 无论你是做Agent产品还是内部工具,SQLite FTS5的部署成本近乎零,效果远超预期。

3. 建立"去LLM化"评估清单。 每个功能上线前问一句:这个真需要LLM吗?还是FTS5、正则表达式、Bloom filter能更便宜、更快地解决?

行动建议

  1. 如果你在用Hermes Agent v0.14.0+,只需在config.yaml中启用session_search即可体验FTS5搜索
  2. 如果你是Agent产品开发者,立即审查你的搜索/检索链路,计算LLM搜索的隐形成本
  3. 建立成本监控机制:将"每次LLM调用"视为有成本的资源,而不是免费能力
  4. 将这个案例分享给你的技术团队——去LLM化的降本路径正在成为AI产品的核心竞争力

AI创业 #HermesAgent #降本增效 #FTS5 #一人公司 #Agent工坊