10大A/B测试该做与不该做的注意事项10大A/B测试该做与不该做的注意事项

10大A/B测试该做与不该做的注意事项

为了提升Email成效，将收信母体分群组，做A/B测试是很常见的事，无论是测试标题、信件内容、族群..等，没有什么方法是比做A/B测试来得快又清楚，如果你对A/B测试不熟，没关系，以下我们列出10项该做与不该做的事情，导引你将A/B 测试做得更好！

1. 经常做测试，确保信件效益成长曲线

如果你有操做过A/B测试，你可能会知道，信件里有太～多～太～多可以测试的东西了，什么意思?信件标题、影片、信件内容偏好...等，都是可分析顾客行为的测试项目，但千万别过度分析，就是即使你知道了你的顾客有这些习性，但对你的营销活动并不会带来任何影响，这样的分析就没那么必要！简而言之，在做A/B测试以前，先搞清楚你的目的，这些实验都必须要有意义，去挖掘你的受众特性，记得！要有耐心！A/B测试是一门科学，更是一门艺术！

2. 不要测试一年只发送一次的E-mail元素

一年内可能会发几次节日性质或活动性质的E-mail，虽然提供了让你测试顾客喜好的机会，但事实上你没必要在一年只发一次的E-mail例如圣诞节贺卡，去调整雪花图案的大小看顾客喜欢什么，你应该更着重测试会对企业带来巨大影响的元素，或许测试的元素很平凡，但长期看来可能都是会影响Email活动的重要元素。

3. 像一个科学家一样的测试

你还记得你小时候念化学的时候，做实验的时候要注意什么吗?做实验前会先拟控制因素、可变因素以及假设性结果，请确保在做A/B测试的时候，这些因素你都有控制好，例如先产生一个A实验组，而B对照组跟A十分相近，但只差了一个因素。假如你测试的是标题长度，以下是不良示范：

A：朋友们，快来采取行动！

B：T-Shirts现在特价$4.99美元，别错过了！

这两个不只长度不一样，连目的跟内容也都不一样，而调整后的示范如下：

A：快来抢购$4.99美元的T-shirts

B：快来抢购$4.99美元多样不同款式及颜色的T-shirts

一次测试一个因素就好，并确保母体是随机抽样。

4. 测试时间不要分开

维持所有的固定因素，在不同时间测试变数似乎看起来没有什么不行，所谓时间是这周跟下周的同一时间，但事实上，最好都在同一周，发信时就应该两者同时发送，结果较为准确。

5. 别被数据给迷惑了！

测试出来的数据常会令人迷惑，例如B组比A组低了5%的开信率，但点击率却比A组高了8%，测试结果是?B比较好吗?当然不能这样看，你必须分开看这些数据，如果你在乎的是开信率，那你应该想想你当初测试的目的是为了要改善开信率吗?如果是，才能确认是什么因素影响了，那如果你想测试的是内容，那你就要看看提高了的点击率，是否对入站后的行为有产生影响?!不管是浏览行为、停留时间..等，找出点击率提高的因素是什么!?

6. 别太早查看实验结果

做了实验当然就很希望看到结果，但如果你用的是现有的发信系统，数据都会在一段时间以后才会准确，最好察看结果的时间是在发信后的24小时以后，但如果你的对象是年轻人，可能时间要延长到48小时。

7. 请观察实际转换率

不要做没意义的测试，如何让你的测试更有意义?那就例如你发送了100,000封信，希望从中得到200张订单，你觉得应该要有多少新订阅户才能达成这个目标?

8. 不要对同一样本过度测试

你知道你的Email发送限制，如果你有25,000个订阅户，你可能不能在一周内就跑4个测试因素，所以请把样本切割，做出的实验数据也比较有意义，没有更快更方便的测试方法。

9. 根据你的实验结果做出实际改变

如果你已经从测试中获得肯定的数据，那就赶快把这项因素套用下去，如果CTA(Call to Action)的图片大小会影响CTR(点击率)，那测试出来的结果你务必要调整，毕竟这会直接影响到销售，下次你可以试试看调整CTA的颜色、文字，看看会发生什么事，另一部分，也要同时汰换掉没有吸引力的商品图片。

10. 别以为测试的结果是长久的

A/B测试是总是变化多端、不可预测的，没有一成不变的A/B测试结果，你不仅要测试一个因素很多次，因为环境因素与机会可能都会造成不同的结果，并且对于你的结果还要抱持着质疑，多试几次结果才会准确，每隔几个月或几年，都还需要再重新测试。