修好一个 bug 花 1 块还是 3 块:AI 接活先算单任务成本
新论文固定模型只换 agent 外壳:通过率差不多,单任务账单可差三倍多。接活用「做完一个任务花多少」核算,比盯 token 单价更实在;自测方法可复制。
来源
- 作者:Steven Yang @StevenYang618
- 原帖:https://x.com/StevenYang618/status/2114115482580127818
- 时间:约 2026-10-25 06:03 Asia/Shanghai
- 互动(抓取时):曝光极少、几乎无互动(新帖)
- 依据:作者转述 arXiv 2610.04433 与 Vals 供应商对比测试(数字来自原帖,未独立复现)
核心玩法
不是教你「换个更贵的模型就能多赚钱」,而是换算单位:AI 接活别只看订阅月费或 token 单价,要看「做完一个真实任务花了多少钱」。
原帖要点:
- 同一模型、同样 45 道难修 bug,换三套 agent 外壳(harness),修好数量 22 / 20 / 18,统计上分不出高低;但单任务账单约 1.81 元 / 0.97 元 / 0.56 元,差三倍多。
- 论文把模型固定、只换系统提示 / 工具 / 上下文管理,在 SWE-bench Verified 上跑;大池子里最重 Claude Code 与最轻 mini-SWE-agent 通过率只差一两个点,难题上「换外壳翻车」和「同配置重跑翻车」一样多(约 13%)。结论:外壳买不来通过率,主要决定账单。
- 账单拆开看:每次调用都要重发系统提示——Claude Code 开场白约 16,581 token,OpenCode 7,025,mini-SWE-agent 829;工具返回差不多,差距主要在开场白重量 × 步数。
- Vals 测试同模型同任务换推理供应商,单任务成本可从约 5 美元涨到 12.65 美元,差在缓存命中率(约 72% vs 94%)。
- 也别迷信「越轻越省」:换 DeepSeek-V4-Flash 时,轻外壳步数更多,读 token 反而不少,成本与重外壳基本打平;重外壳有时贵在「截断后续跑」等兜底。
是否可行
- 方向很可行:接活、外包、内部提效都吃「单位任务成本」。同样交付结果,成本差几倍会直接吃掉毛利。
- 水分:数字来自特定代码修复基准与离线环境;写文案、做表格的倍数未必一样。作者账号很新、互动低,属于信息整理帖,不是本人接单流水。
- 风险:只追最便宜外壳可能导致通过率下降、返工变多,总成本反而更高。
如何实施
- 列出你真实接的 10 个任务(修 bug、改 UI、写脚本、出报告等)。
- 在 2–3 套工具 / 供应商上各跑一遍,记下:金额、是否做成、要不要返工。
- 按任务类型分流:长重构用一套、改 UI 用一套、批量脚本走便宜额度。
- 每周看哪边「做成 × 单价」最优,把额度往那边挪——比追模型榜单实在。
实施条件
- 技能:会拆任务、会看用量账单;懂一点 agent / IDE 工具切换即可
- 资金:测试额度几十到一两百元量级通常够跑一轮对比
- 时间:首轮对比约半天;之后每周 15–30 分钟复盘
- 账号:至少两家模型 / agent 产品账号(如 Claude Code、轻量 agent、不同 API 供应商)
能否 AI 自动化
- 可自动化:用量导出、按任务打标签、周报对比哪套最省
- 难全自动:任务分流策略、返工判定、客户交付标准仍需人定
- 建议:人定「任务类型 → 工具」规则,AI 只负责记账与提醒换档
论文编号、金额与结论均转述自原帖,请自行核对 arXiv / 原始评测;接单定价勿直接套用其数字。
元の情報源:https://x.com/StevenYang618/status/2114115482580127818