目标用户分析：试验没变化时先查执行还是先查假设
📱 Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko; compatible; ClaudeBot/1.0; +claudebot@anthropic.com)
🔗 /0c083f283b81.html
📄
目标用户分析：试验没变化时先查执行还是先查假设
先查执行。目标用户分析里的试验，只要“目标人群是否真的被触达”这一步没有留下可核对的记录，后面所有关于假设对错的讨论都缺少前提。更准确地说：先花半天确认试验有没有按设计发生，再决定是否推翻假设。若执行证据完整、触达记录清楚，而结果仍无变化，才轮到质疑人群划分或需求判断。
两种做法的适用条件与代价
面对“结果没动”，常见有两种反应：一种是直接改人群定义、换标签体系，认为原来的划分错了；另一种是停下手上的分析，回头核对试验到底有没有落地。两者都合理，但成立条件不同。
- 先查假设：适合执行链路短、触达可自动记录、且此前同类试验多次验证过投放或改版确实生效的情况。代价是，如果执行本身漏了，你会把一次没发生的试验当成假设被证伪，从而错误地放弃一个本来可能成立的人群划分。
- 先查执行：适合涉及多环节配合、依赖人工配置、或首次在某个渠道或人群上试的情况。代价是可能多花半天到一天，但换来的是：后续任何结论都建立在“试验确实发生”之上。
判断依据可以归结为一句：如果执行失败和假设错误会产生同样的“无变化”表象，就必须先排除执行失败。目标用户分析尤其如此，因为人群定向、名单导入、标签生效这些步骤，任何一环断了，看到的都是同一片平静。
先确认试验确实发生的三个动作
不要只看后台“已开启”的状态，那只能证明配置存在，不能证明目标用户被触达。
- 抽样核对触达名单：从目标人群里随机取一小批标识，逐一确认它们是否进入了试验组。这一步的结果直接决定下一步——如果抽样里出现大量本该在组内却不在的记录，就停止分析结果，转为修执行。
- 检查生效时间与人群快照：确认试验开始时使用的人群版本，与当前看到的人群版本是否一致。人群在试验期间被重新计算过，会让“目标用户”在过程中换了一批人。
- 找一个必然命中的对照点：在目标人群里挑一个确定符合全部条件的对象，看它是否被试验覆盖。它没被覆盖，说明筛选条件或触达通道有问题，而不是假设有问题。
这三个动作做完，你会得到两种明确结论之一：执行有缺口，或执行无缺口。前者先把缺口补上并重跑，后者才进入假设检验。
执行确认无误后，再区分三种“无变化”
执行证据完整时，结果没变化仍不等于假设错了。需要区分：
- 人群选对了，但干预太弱：触达发生了，但强度不足以让人群行为改变。这时改的是干预方式，不是人群定义。
- 人群本身没问题，但观测窗口太短：目标用户的行为变化需要更长周期才显现。这时延长观测，而不是换人。
- 人群划分确实不成立：只有前两种都排除后，才考虑原来的划分依据是否站得住。
区分它们靠的是证据链，而不是感觉。比如：触达记录显示目标用户确实收到了干预，但站内行为与对照组几乎一致，且这个人群在历史数据里本就对同类干预不敏感——这更支持“干预太弱”或“人群不成立”，而不是执行问题。
一个注明假设的短例子
假设某次目标用户分析要把“近30天浏览过某类内容但未收藏”的人单独分组做试验。结果一周后该组指标与对照组无差异。
按上面的顺序：先抽样核对，发现这批人里有相当比例在试验开始前已经因为其他规则被排除，实际进入试验的只是原人群的一小部分。此时正确动作是修筛选规则并重跑，而不是宣布“浏览未收藏”这个划分无效。反过来，如果抽样显示触达完整、时间窗口也够，指标仍不动，才值得回头质疑这个人群定义是否真的对应一类有共同需求的人。
这个例子的关键不是数字，而是顺序：先证明试验发生了，再谈试验说明了什么。
例外：什么时候可以直接跳到假设
有一种情况可以先查假设：试验的触达由系统自动完成，且你能直接看到目标人群的触达计数与预期一致，同时该通道此前已被反复验证可靠。此时执行缺口概率低，继续在核对上花时间收益有限。但即便如此，也应保留一份触达记录，作为日后判断“是执行问题还是假设问题”的依据。
把执行核对做成一次性的、可复查的记录，下一次遇到“没变化”时，你就能更快地决定该修哪一头，而不是在两种解释之间反复猜测。
