FDE 第 4 课:用评测集、消融实验和拒答率验收企业 AI 系统
作者讲解企业 AI 系统验收的三个方法:评测集、消融实验和拒答准确率,并以其 HR 制度问答项目为例。他写了 64 条评测(52 条问答加 8 条应拒答),消融实验从端到端正确率 0.67 逐步提升到 0.98,还借此发现中文分词 bug;拒答准确率从 v0 的 0.00 提升到 v1 的 0.88。文末附验收时应向供应商提的问题清单。
作者讲解企业 AI 系统验收的三个方法:评测集、消融实验和拒答准确率,并以其 HR 制度问答项目为例。他写了 64 条评测(52 条问答加 8 条应拒答),消融实验从端到端正确率 0.67 逐步提升到 0.98,还借此发现中文分词 bug;拒答准确率从 v0 的 0.00 提升到 v1 的 0.88。文末附验收时应向供应商提的问题清单。
Mark Cuban 在 Pivot 播客中称,Meta 一直在放行用他的 AI 换脸和声音伪造的深度伪造诈骗广告,每周都有老人向他求证 $294 的糖尿病神药。
作者分享 Aftertype 站点在 2026 年以全站 schema.org 结构化数据和 llms.txt 把网站当作数据来运营的实践。做法包括部署 Organization、Article、FAQPage 三类标记,并新增 llms.txt 指引 AI 爬虫读取高价值内容。
Obelisk Club 分析了 2026 年 10 月 9 日以来 173 个国家与地区 App Store 榜单中的 178,637 款应用。
Ahrefs 基于 Brand Radar 550 万条美国 ChatGPT 回答快照,盘点 2023 年以来 OpenAI 与 20 多家出版方的合作,并统计 85 个合作域名的引用情况。
Ahrefs 的 Ryan Law 发布 2026 年 25 位 AEO/GEO 专家榜单,从 87 人长名单中按 2023 年以来发表的原创 AI 搜索研究数量排序,Kevin Indig 以 36 项研究居首,Ahrefs 的 Xibeijia Guan 以 31 项次之。
Ahrefs 基于 10,000 个品牌和 260M 非品牌 AI 提示词,比较七类站外提及与 AI 可见度的相关性。Reddit 排名帖提及相关性最高约 0.75,网页提及 0.70,新闻报道提及仅 0.67;网页提及多 10 倍的品牌 AI 提及约多 3.7 倍,Reddit 提及多 10 倍则约多 5.5 倍。
Ahrefs 通过让五款 AI 工具连续 20 天回答同一批问题,追踪 37,500 条引用的稳定性,发现 50–83% 的引用次日消失,但约 75% 会在 20 天内回归。
推荐理由:基于 37500 条引用的 20 天追踪数据,作者给出了引用波动规律和可操作的监测建议,帮助读者判断 AI 可见性下降是常态还是真实损失。
Cloudflare 发布第 26 期 DDoS 威胁报告,分析 2026 年 Q3 全球攻击态势。Q3 共自动缓解 1820 万次网络层 DDoS 攻击和 14.4 万亿次 HTTP DDoS 请求,约每小时 8226 次,同比 +208%;96% 攻击在 10 分钟内结束、98% 流量低于 1 Gbps。
GitHub 发布 Octoverse 2026 年度报告,过去 12 个月开发者向 GitHub push 代码 179 亿次,超过 2024 与 2025 两年之和,commits 达 343 亿。
推荐理由:GitHub 官方年度数据报告,用平台遥测数字呈现智能体如何改变开发节奏与语言选择,读者可据此校准对 AI 编码普及程度的判断。
Stripe 分析超过 100 家平台上增长最快的企业,发现它们在 Stripe 上的首笔跨境交易比企业基线快 24 倍,第一年支付来自 25 个国家。这批企业在巴西、印度和阿根廷的跨境支付份额是基线的 1.6 倍,提供 2 倍的本地支付方式,2026 上半年尝试欺诈率接近基线的 1.8 倍,超过半数在 Stripe Radar 中配置了自定义欺诈规则。
Stripe 发布对北美和欧洲 200 位 SaaS 平台负责人的调研,总结 AI 时代平台竞争的四大趋势:内部部署 AI 与推出 AI 产品并行、测试按用量和结果定价、横向与垂直平台营收模式分化、嵌入式金融成为核心留存策略。
推荐理由:调研数据覆盖内部AI提效、用量定价与嵌入式金融的分化,可帮助平台创业者判断收费模式与留存策略走向。