점진적 증가성(Incrementality)

모바일 마케팅 산업에서 흔히 발생하는 문제는 유료 설치와 오가닉 트래픽의 구분이 어렵다는 것입니다. 이는 마케팅 비용 계산 오류의 원인이 되며, 심각한 경우 무료로 유입된 설치에 비용을 지불하는 상황이 발생할 수 있습니다.

증분(incremantality)측정은 이러한 문제를 해결할 수 있으며, 마케팅 캠페인의 성과와 오가닉 트래픽의 범위를 확인하도록 해줍니다. 이러한 정보를 기반으로 개별 증분 전환(마케팅 비용으로 인해 발생한 설치) 비용을 확인하고, 이에 맞춰 해당 채널을 확장할 수 있습니다.

증분 테스트는 복잡하게 보일 수 있으나, 일반적인 A/B 테스트와 유사한 측면이 많습니다. Adjust의 블로그에서 사용한 단순화된 예시를 통해 증분 테스트의 방식을 알아보겠습니다.

기본 원리는 비슷한 행동을 보이는 사용자 오디언스를 두 세그먼트로 나누어(예: 그룹 A, 그룹 B), 그룹 B에만 캠페인을 집행하는 것입니다. 그룹 A로부터의 설치는 모두 오가닉이기 때문에 그룹 B에서 발생한 전환 증가는 광고 비용으로 인한 증분을 보여줄 것입니다. 예를 들어, 다음과 같은 결과가 나왔다고 가정해보겠습니다.

그룹 A (통제 그룹, 광고 집행 안 함): 100건 설치

그룹 B (노출 그룹, 광고 집행함): 120건 설치

이 경우 광고 비용이 20건의 추가 설치에 기여했음을 확인할 수 있습니다. 이러한 수치를 바탕으로 리프트와 증분을 계산할 수 있습니다.

• 리프트는 그룹 A 대비 그룹 B의 증가를 의미합니다. (20건의 설치, 20% 증가)

• 증분은 마케팅 비용으로 인해 그룹 B에서 발생한 전환 비율을 의미합니다. (20건의 설치, 그룹 B 전체의 16.7%)

그렇다면 개별 증분 전환의 비용은 어떻게 확인할 수 있을까요? 이는 그룹 B에 대한 광고 비용을 측정된 업리프토 나누어 계산할 수 있습니다. 캠페인 비용이 $100이고, 20건의 설치가 증분인 경우 개별 증분 사용자의 비용은 $5가 됩니다.

해당 캠페인을 천천히 확장하고자 할 때, 광고 비용의 확대가 실제로 더 많은 비율의 증분 사용자 전환으로 이어지는지 확인하여 개별 설치 비용을 낮출 수 있습니다.

위의 예시는 매우 단순화된 예지만, 증분 분석을 시작하는 데 좋은 시작점이 될 수 있습니다. 증분 테스트를 직접 시행하고자 하는 경우, 반드시 다음을 잘 이해해야 합니다.

• 1차 결과: 각 테스트에서 기대하는 결과는?

• 확신도: 각 테스트가 더 큰 규모의 오디언스를 대변하는가?

• 완화 요소: 수치를 신뢰할 수 있는가? 만약 그렇지 않다면 이유는 무엇인가?

또 다른 고려 사항은 사용자의 행동이 시간에 따라 변화할 수 있기 때문에, 증분 테스트의 결과가 미래 결과를 반영하지 못할 수도 있다는 것입니다. 이러한 이유에서 전략의 조정이 가능해야 하며, 가설 또한 시간에 따라 계속 수정해야 합니다.