没有真实业务数据时,练习的重点不是“猜对结果”,而是把假设限制在可核对、可推翻的范围内。可行做法是:先选一个能观察到的页面或查询片段,写下一条因果假设,再预设两种相反结果分别意味着什么。这样即使数据为零,也能判断下一步该改假设还是改动作。
练习前要决定自己是在练判断,还是在练执行。两种目标下,构造假设的方式不同。
如果两种目标混在一起,练习容易变成改完就等结果,等不到就换下一个动作,最后无法判断是假设错了还是执行没到位。建议一次练习只保留一个目标。
有限假设的关键是“有限”。不要写“优化标题能提升排名”,而要写成:在页面主题与查询意图一致的前提下,把标题中的限定词前置,可能让该页面在包含该限定词的查询中获得更多点击。
这句话包含三个可核对部分:前提条件、改动动作、预期变化。缺少任何一部分,练习结束后都无法区分是前提不成立、动作没执行,还是变化本来就不由这个动作引起。
写完后做一个动作:为这条假设列出至少两种合理解释。例如点击变化也可能来自展现位置变化、季节波动或同一查询下其他页面被替换。列出替代解释后,再决定需要观察什么才能把主假设和替代解释区分开。这一步的结果会直接决定下一步:如果替代解释无法排除,就缩小观察范围,而不是加大改动力度。
是否拥有可对照的页面,会改变练习的起点。
选择两个主题接近、意图接近的页面,只改动其中一个页面的一个元素,另一个保持不动。此时假设可以写成对照式:若该元素确实影响点击,改动页与对照页在同一查询片段上的点击差异应比改动前更明显。
实施时记录改动前的基线,改动后按同一口径复查。如果两者同步变化,说明外部因素可能占主导,此时不应把变化归给改动动作,而应回到假设,检查前提是否写得太宽。
没有对照页时,改用时间分段对照。把改动前的一段观察期和改动后的一段观察期分开记录,并明确写出假设:如果改动有效,改动后该页面在目标查询上的点击率应高于改动前,且展现次数不应同步大幅下降。
这里要特别注意一个反常现象:展现次数下降、点击率上升,并不自动证明改动成功。它也可能是查询范围收窄造成的。遇到这种情况,先核对查询片段是否发生变化,再决定是否继续沿用这条假设。
练习中常见的结果是“看起来变好了”,但无法确认原因。可以按下面的顺序排查:
如果排查后发现主假设和替代解释都能解释结果,说明这条假设太宽,应把它拆成更小的一条。例如把“标题影响点击”拆成“标题中的限定词影响该限定词查询的点击”。拆分后重新设定观察对象,这一步的结果会影响下一轮练习的起点。
有限假设不适用于所有练习。如果目标是熟悉工具操作或页面结构检查,直接按清单核对即可,不必构造因果假设。如果练习对象本身没有稳定的观察口径,例如查询片段过少或页面刚发布,强行比较容易把噪声当成信号。
另外,假设被推翻不等于练习失败。被推翻的假设如果能说明哪条替代解释更合理,就已经完成了区分解释的任务。下一次练习可以沿用同一观察对象,只替换假设中的动作或前提,而不是从头换一个页面重来。