博客

Qwen 3.8 Flash vs Max:工单 JSON 提取与成本评估方法

客服系统要从一段中文对话里提取订单号、问题类型和待办动作时,可以先把 Qwen 3.8 Flash 设为候选,再用 Qwen 3.8 Max 跑同一批样本。选型看每千条工单里有多少条能直接入库、多少条要人工复核,以及两者加起来的成本。

本文提供评估方法和合成样本,未给出两款模型的实测胜负。

先定义一条合格工单

从历史数据里抽取一批已脱敏、人工标注的工单,保留真实比例,并单独记录容易出错的分组,例如一次提到两个订单、用户改口、没有给出订单号。测试前先约定字段和判分规则。

字段 判分规则
order_id 与原文和人工标签一致。缺失或指代不清时返回 null
category 从物流、退款、商品、其他中选择。按团队约定标注多意图工单
next_action 摘要复述原文明确提出的待办。缺失时返回 null
evidence 引用支撑字段判断的原文片段,便于复核

例如,“上周那单已经到了,帮我查这周这单到哪了”可以归到物流,订单号留空。评估时应把凭空补订单号和漏填订单号分别统计,前者可能把工单挂到错误订单上。

固定输入,记录真实用量

通过 OpenAI 兼容的 Chat Completions 接口发送相同的消息。先用 qwen3.8-flash,再把请求的 model 改为 qwen3.8-max。固定提示词、输出字段和重试规则。下面是单条样本,可用来检查返回格式。 API 接入文档

bash
curl https://api.moyi-api.com/v1/chat/completions \
  -H "Authorization: Bearer $MOYIAPI_API_KEY" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "qwen3.8-flash",
    "messages": [
      {"role":"system","content":"只返回 JSON。字段为 order_id、category、next_action、evidence。category 只允许物流、退款、商品、其他。无法从原文确定的订单号或待办填 null。evidence 引用原文。"},
      {"role":"user","content":"上周那单已经到了,帮我查这周这单到哪了。"}
    ]
  }'

在应用侧解析 JSON、校验字段和枚举,再检查订单号和证据能否在原文中找到。每次请求记录用量、延迟、校验结果和重试原因。最终按难例分组比较字段准确率,也记录整条工单一次通过的比例。格式合法的结果仍要和人工标签核对。

把重试和人工复核计入成本

分别测试全量 Flash、全量 Max 和 Flash 首轮加 Max 复核。第三种可以在 JSON 解析失败、同段出现多个订单号或证据与原文不匹配时升级。Max 的返回仍走同样的校验,存在歧义的工单交给人工。另抽查首轮通过的样本,估计规则放行了多少错误结果。

用账单核对初次请求和重试的总费用,缓存命中时按实际账单计入。把人工复核时间乘以内部单位成本,再用总费用除以最终验收合格的工单数。上线前同时比较每千条需复核的工单数、关键字段误填率和端到端 P95 延迟,避免平均成本掩盖难例的代价。

截至 2026 年 11 月 11 日,两款模型均出现在 Moyi API 公开目录,按 token 计费。复测时可在 Flash 模型页 和 Max 模型页 核对当前价格、供应商与可用性。

计算示例:便宜的请求未必带来便宜的结果

假设 100 条工单的 API 费用为 2 元,其中 20 条各需 30 秒人工复核,人工成本按 30 元/小时计算,那么复核费用是 5 元,总费用是 7 元。若最后 95 条验收合格,每条合格工单成本约为 0.0737 元。

以上数字仅用于演示计算,不是 Flash 或 Max 的报价、准确率或实测成绩。 对三个方案分别填写下面的记录表,再按相同标准判断。

方案 API 总费用(含重试) 人工复核分钟数 最终合格条数 每条合格成本
全量 Flash 待测 待测 待测 待算
全量 Max 待测 待测 待测 待算
Flash 首轮、Max 复核 待测 待测 待测 待算

输入包含用户截图时,可以先用 Qwen3.8 Flash 图片识别 API提取文字,再走相同的字段验证流程。其他任务的选型方法见按截图、代码库和工单任务选模型。

准备好接入了吗?登录控制台 · 购买额度 · 创建 API Key,三步即可开始。