入选理由按任务 ID 记录 Token、缓存命中、工具调用次数与重试原因,算清一次有效完成的成本,并设超时与调用上限。
AI Agent上生产后,算力扩容解决不了最先爆掉的问题:单位任务成本失控。HBM再多,也扛不住上下文无限增长、工具调用反复重试和任务循环不收敛。 别只监控GPU利用率。按任务ID记录Token、缓存命中、工具调用次数、重试原因和最终成功率,算清一次“有效完成”到底花了多少。 上线前设硬预算:超时或超调用次数就终止;低价值任务降级小模型;高峰期优先保留核心链路。亿级系统里,容量可以采购,不收敛的工作流只会把新增算力继续吃光。 #AIAgent #工程化
AI 翻译,以原帖为准