А/В тестирование, как и любое исследование или эксперимент требует, во-первых, правильной методики измерения, а во-вторых, достаточно репрезентативной выборки. Как правило, ни того ни другого в большинстве тестов нет. Однако, измеряемые отклонения настолько существенны, что даже кое-как сделанный замер может дать полезные выводы.