FDE 第 4 课:用评测集、消融实验和拒答率验收企业 AI 系统
作者讲解企业 AI 系统验收的三个方法:评测集、消融实验和拒答准确率,并以其 HR 制度问答项目为例。他写了 64 条评测(52 条问答加 8 条应拒答),消融实验从端到端正确率 0.67 逐步提升到 0.98,还借此发现中文分词 bug;拒答准确率从 v0 的 0.00 提升到 v1 的 0.88。文末附验收时应向供应商提的问题清单。
作者讲解企业 AI 系统验收的三个方法:评测集、消融实验和拒答准确率,并以其 HR 制度问答项目为例。他写了 64 条评测(52 条问答加 8 条应拒答),消融实验从端到端正确率 0.67 逐步提升到 0.98,还借此发现中文分词 bug;拒答准确率从 v0 的 0.00 提升到 v1 的 0.88。文末附验收时应向供应商提的问题清单。
作者详解如何在 Railway 上自托管开源邮件通讯系统 Listmonk。
StartupReader 团队为开发者整理了一套 SaaS 指标计算方法,每项指标用几行可粘贴运行的 JavaScript 实现,覆盖 MRR、Net new MRR、Churn、LTV:CAC、CAC payback、Runway、burn multiple 和 Rule of 40。
Semrush 发布 ChatGPT 购物优化指南,覆盖 OpenAI 于 2026 年 3 月退出 Instant Checkout 后的现状,当前功能仅在美国上线。
推荐理由:原文梳理了 ChatGPT 购物在 Instant Checkout 退出后的现行机制,给出从爬虫可访问性、产品 feed 到站外信任信号的完整优化步骤。
Semrush 博客发布 AI 产品营销指南,按聊天机器人、连接现有工具、搭建定时 Agent 三层介绍 7 个用例,每个用例附可直接复用的提示词。
开发者 Louis Erbkamm 维护的开源项目 Arnis 可将 OpenStreetMap 等来源的真实地理数据转换成可自由探索的 Minecraft 世界。
Legora CTO Jacob Lauritzen 在播客中介绍这家法律科技公司如何在无法查看客户数据的情况下构建和测试法律 AI 智能体。该团队由 3 名工程师和 3 名律师组成,模拟客户工作搭建测试环境,一次发布后模型引用准确率从 70% 提升到 99%。
Stripe 将自家供应商付款迁移至 Global Payouts,截至 2026 年 10 月已向美英超过 3,400 家供应商支付逾 $1B,新市场接入时间从最多六周降到一周,付款成功率保持 99.9%。