东欧Viber与WhatsApp试点的核心,不是把同一批人两个平台都发一遍,而是在发送前预先写好假设、样本、指标和停止规则。筛号负责形成平台观察,随机分配负责减少选择偏差,许可与用户偏好决定谁能进入实验。
预注册一个可被否定的假设
例如:“在罗马尼亚近期主动询盘、且未指定渠道的客户中,Viber与WhatsApp的一次人工跟进在有效回复率上差异超过预设阈值。”先确定主指标与最小有意义差异,不能看到结果后改成点击率或只挑某个国家。
明确纳入与排除
| 规则 | 示例 | 原因 |
|---|---|---|
| 纳入 | 来源可追溯、用途一致、许可有效 | 保证比较合法且同质 |
| 排除 | 已退出、当前投诉、语言未知 | 保护客户 |
| 单列 | 映射冲突、格式异常、平台未知 | 不强迫进组 |
| 优先用户选择 | 明确选Viber或WhatsApp | 不参与随机 |
同一号码集做平台注册观察
使用冻结的标准化号码样本分别执行Viber筛开通与WhatsApp筛开通。爱普筛对应任务都返回手机号与是否开通。未知、错误与未观察到开通分别保留,不把前两个并入否定。
随机的是渠道,不是许可
只有在两平台都观察到开通、用户未表达偏好、且两个渠道均符合原始许可时,才随机分配一个平台。每个联系人只进入一个发送组;另外保留不发送对照或业务常规组,以测量增量。
保证实验处理一致
| 要控制 | 做法 | 否则会发生 |
|---|---|---|
| 内容 | 同一价值主张与本地语言 | 把文案差异误判为渠道 |
| 发送者 | 相同资历团队 | 人工能力混入 |
| 时间 | 平衡工作日与时段 | 时间偏差 |
| 跟进 | 相同步数与间隔 | 频率导致投诉差异 |
主指标用有效回复
有效回复是能推进服务、澄清需求或明确拒绝的回应。送达、打开或平台活动不是商业成功。次级指标包括解决率、退出、投诉、人工时间和每个有效对话成本;负面指标必须与正面指标同时看。
采用顺序停止规则
在预设样本点检查安全信号:若投诉或退出超过阈值,立即停止对应组;若差异已不可能达到最小有意义值,可因无效提前结束。不要每天看数据并在偶然领先时宣布胜利。
平台特有字段不进入共同终点
Viber筛活跃可能包含mid和离线时间;WhatsApp筛活跃可能包含活动时间、天数和映射手机号。它们可用于各自的运营诊断,但试点主结果应使用两个平台都能公平测量的客户对话指标。
处理重叠与溢出
若客户从被分配的Viber主动转到WhatsApp,记录crossover并继续服务,不强迫回原组。分析按初始分配报告主要结果,另做实际渠道描述。客户体验优先于统计纯度。
试点之后可能不是选一个赢家
结果可能支持按国家、来源或用户选择路由,也可能显示两个平台都没有增量。保留实验版本、样本流图、排除原因和置信区间。不要把一次小样本胜出写成“东欧都偏好某平台”。
可复制的试点包
最终归档预注册方案、TXT hash、两个任务schema、随机种子、消息版本、停止事件和分析代码。指定实验负责人、客户安全负责人和最终批准人,并记录偏离原方案的每一次决定。复盘还要写明样本未覆盖的人群、结果有效期和再次试验的触发条件,并把投诉处理、撤回名单与异常工单的完成情况列为关闭条件。下一市场使用同样的实验纪律,但重新写假设和本地内容。方法可以复用,结论不能复制。
