성능 및 캐싱

Amplitude 실험 평가는 로컬 및 원격의 두 가지 모드를 지원합니다. 각 모드는 성능 특성과 절충 요소가 서로 다릅니다.

성능

평가 성능은 사용하는 평가 유형과 요청이 시작된 위치에 따라 달라집니다.

Amplitude는 미국(us-west-2) 및 유럽(eu-central-1)에 데이터 센터를 호스팅합니다. Amplitude 데이터를 호스팅하는 데이터 센터와 지리적으로 떨어진 데이터 센터에 대한 요청은 지연 시간이 더 길어집니다.

원격 평가

원격 평가에서는 Fastly를 사용하여 사용자의 평가 결과를 캐시합니다. 캐시 히트는 에지에서 변형을 제공하므로 성능이 향상됩니다.

다음 결과는 지난 6개월 동안 Amplitude의 미국 데이터 센터에 대한 합성 원격 평가 테스트 요청을 통해 얻은 것입니다. 지연 시간에는 DNS(도메인 이름 시스템) 확인, TLS(전송 계층 보안) 연결 및 원격 평가 요청 응답 왕복 등이 포함됩니다.

지역 평가

로컬 평가는 플래그 구성을 사전 가져와서 이를 사용하여 모든 사용자를 평가합니다. 이를 통해 네트워크 요청을 방지하고 원격 평가에 비해 평가 속도가 빨라집니다.

다음 결과는 단일 플래그 평가를 측정한 것으로, 하나의 플래그 구성에 대해 평가된 무작위 사용자 입력을 사용하여 10,000회 반복으로 10회 실행한 데이터를 수집했습니다. Amplitude는 세 가지 가능한 플래그 구성 중에서 이러한 결과를 무작위로 선택했습니다.

CDN 캐싱

실험이 요청에 대한 응답을 계산하고 검색한 후, 해당 요청을 캐시하여 재사용함으로써 향후 요청을 더 빠르게 처리합니다. 실험은 CDN을 사용하여 사용자를 위한 실험 및 기능 플래그를 캐시함으로써 후속 요청에 대한 지연 시간이 짧은 액세스를 제공합니다.

캐시 생존 시간(TTL)

실험은 CDN의 서버에 요청을 캐시합니다. 캐시는 TTL(Time-to-Live) 정책을 사용하며 첫 사용 후 60분 후에 만료됩니다. 해당 기간 내에 키가 액세스되었는지 여부는 관계없습니다. 60분의 캐시 기간은 첫 페이지가 로드될 때부터 시작됩니다.

캐시 키

CDN은 사용자 정보를 포함하여 수신된 정확한 요청을 캐시합니다. 실험이 이전에 정확히 동일한 요청을 캐시하지 않은 경우, 사용자 정보의 변경 사항은 CDN 캐시에서 누락됩니다.

캐시 무효화

기본 플래그가 변경될 때 오래된 결과를 방지하기 위해 실험은 해당 배포와 연관된 전체 플래그 또는 실험을 업데이트할 때 전체 배포에 대한 캐시된 결과를 무효화(삭제)합니다. SDK는 사용자에 대해 지정된 배포에 대한 모든 실험 결과와 기능 플래그를 검색하므로 실험은 단일 플래그가 변경될 때마다 배포에 대한 모든 결과를 무효화합니다. 또한 실험은 플래그에 배포를 추가하거나 플래그에서 배포를 제거할 때 해당 배포에 대한 모든 캐시된 요청을 무효화합니다.

예약된 시작은 예외입니다. 예약된 시작 시간에 도달한다고 해서 캐시가 무효화되는 것은 아닙니다. 시작 시간 1시간 전에 이루어진 요청은 60분의 TTL이 만료될 때까지 캐시된 시작 전 응답을 유지하지만, 시작 시간 당시 또는 그 이후에 이루어진 요청은 즉시 변형을 받습니다.

동적 타겟팅 캐시 고려 사항

실험을 사용하면 사용자 속성 및 분석에서 동기화된 행동 코호트와 같은 동적 속성을 기반으로 기능 플래그를 지정하고 실험할 수 있습니다. 이러한 속성은 가져오기 요청에 포함되지 않으므로, 캐시가 누락되고 실험에서 가장 최근의 동적 속성으로 사용자를 재평가할 때까지 최대 1시간 동안 캐시된 실험 결과를 받을 수 있습니다(TTL).

Amplitude 사용자 속성

실험의 원격 평가 서버는 Amplitude가 이전에 사용자에 대해 식별한 사용자 속성을 기반으로 타겟팅할 수 있습니다. CDN은 요청에서 명시적으로 전달된 사용자 속성만을 기반으로 응답을 캐시하므로, 분석이 사용자를 다른 변형에 할당하는 값으로 사용자 속성을 업데이트한 후에도 호출자는 최대 1시간 동안 오래된 결과를 받을 수 있습니다.

행동 코호트

플래그 및 실험 타겟팅에 Amplitude 애널리틱스에서 정의된 행동 코호트를 사용하고 싶을 수도 있습니다. 실험은 코호트를 매시간 계산하며 CDN 캐시 TTL도 매시간 계산되므로 사용자를 변형으로 타겟팅하는 데 최대 2시간이 걸릴 수 있습니다.