采样设计：为什么同一个问题问三次答案不一样
很多人第一次做 AI 可见度测试时会遇到同一件事：早上问一次品牌被提到，下午再问就没了。这不是优化失效，而是采样本身有波动。不理解这层波动，就会把噪声当成效果，也会把真实变化当成噪声。
一、影响答案的五个变量
同一个问题，答案会随五件事变化：模型与版本（不同模型检索源不同）、提问措辞（差一个字，命中的检索结果就不同）、时间（新内容被收录会改变答案）、地域与账号（部分模型按位置或账号状态给不同结果）、上下文（同一次对话里前面问过什么，会影响后面）。
五个变量里，能固定的只有前三个。地域与账号通常无法控制，上下文可以靠「每次新开会话」降低影响。
二、必须固定的三件事
| 要固定的 | 怎么固定 | 不固定会怎样 |
|---|---|---|
| 提问原文 | 把问题逐字写下来，复制粘贴，不临时改写 | 两次结果无法对比，等于两次不同的测试 |
| 模型与版本 | 记录模型名称与可查到的版本标识 | 模型更新后无法判断变化来自优化还是升级 |
| 时间 | 记录到日期，必要时记到时段 | 无法与新内容上线时间对齐 |
这三项是「可对比」的最低要求。做不到，就只能得到一张「今天看起来还行」的截图，对决策没有帮助。
三、样本量：单次结论不可用
只采样一次得到的百分比没有意义 —— 分母是 1，涨跌都是 0% 或 100%。同一组问题至少采三轮，再看趋势。
样本量还取决于问题数：五个问题各问三次，与一个问题问十五次，结论的稳定性不同。前者覆盖不同意图，后者只测一个点的稳定性。建议按「意图覆盖优先、重复次数其次」分配。
四、记录模板
一张能用的记录表至少四列：提问原文、模型与版本、时间、答案里的品牌位置（未出现 / 提及 / 引用 / 首位推荐）。如果还要做归因，再加一列「引用了哪些来源」。
记录时原话要留。只看「有没有提到」会丢掉最有价值的部分 —— 模型怎么说错、依据了哪个页面，往往比是否提到更能指向下一步动作。
五、三种错误的读法
第一种，把一次提到当成「已经优化好了」。第二种，把一次没提到当成「被降权了」。第三种，把两周内的波动画成趋势线，得出「涨了 30%」的结论 —— 分母太小，这个数字不成立。
更稳妥的读法是：至少三轮、同一组问题、同一批模型，看的是「出现频率是否稳定上升」，而不是某一次的名次。
六、多久采一次
内容没有大改时，每月一次足够；集中上线新页面的那个月，可以在上线前后各采一次，用来看新内容有没有进入答案。频率再高，边际信息很少，成本却线性上升。
另外建议把「采样口径」写进报告首页：用了哪些问题、几个模型、采了几轮、时间区间。少了这一段，报告里的比例无法被复算，也就无法被验收。
七、把采样变成例行工作
采样最容易断在「想起来才做」。要让它持续，关键是把动作压到一个人十分钟能做完的程度：问题集固定、记录表固定、采样时间固定（例如每月第一个工作日）。任何需要临时设计方案的做法，第二次就做不下去了。
问题集建议分两层：五个核心问题长期不变，用于看趋势；每季度补充三到五个新问题，用于覆盖新业务与新场景。两层分开统计，不要混成一组数字。
最后一点常被忽略：把每次的答案原话按月归档。半年后再看，这些原话能解释很多当时看不懂的波动 —— 哪个月模型开始给具体机构名，哪个月开始改口说「建议咨询专业人士」，一目了然。
常见问题
问几次才算够？
同一组问题至少三轮，且模型与措辞固定。少于三轮的百分比不建议写进结论。
必须用同一批问题吗？
对比同一指标时必须用同一批。新增问题是允许的，但要单独标注，不能与旧数据混算。
换模型后还能和之前比吗？
不能直接比。换模型相当于换了测量工具，需要重新建立基线，否则会把工具差异当成效果差异。