Azure Blob Storage

Amplitude의 Azure Blob Storage 목적지는 Amplitude 이벤트 데이터와 병합된 사용자 데이터를 Azure Blob Storage 컨테이너로 내보냅니다. Azure Blob Storage 컨테이너 정책을 사용하여 이 데이터를 프로그래밍 방식으로 관리하고 Azure 컨테이너로 내보낼 수 있습니다. Amplitude는 시간당 한 번씩 반복적으로 데이터 동기화를 지원합니다.

사전 조건

Amplitude에서 Azure Blob Storage로 데이터를 내보내려면 먼저 Azure 환경이 다음 전제 조건을 충족하는지 확인하십시오.

Azure 스토리지 계정 및 컨테이너 설정:
Azure 스토리지 계정과 Blob 스토리지 컨테이너를 아직 설정하지 않은 경우 다음 가이드를 따르십시오.
- Azure 스토리지 계정 만들기
- Azure Blob Storage에서 컨테이너 만들기
Azure 서비스 주체를 생성합니다:
Azure에서 Amplitude가 Blob 스토리지에 액세스하는 데 사용할 서비스 주체를 생성하십시오. tenantId, clientId 및 clientSecret을 복사합니다. Amplitude는 Azure와의 연결을 설정하기 위해 이러한 세부 정보를 필요로 합니다. 이 가이드에 따라 서비스 주체를 생성하십시오.
- Azure에서 서비스 주체 생성
서비스 주체에게 필요한 권한 관리를 부여합니다.
서비스 주체에게 필요한 Azure Blob Storage 권한 관리를 할당합니다.

Amplitude에는 다음과 같은 Azure 권한 관리가 필요합니다.

read 이를 통해 Amplitude가 반복적으로 내보내기 위해 데이터를 두 번 이상 내보내지 않도록 할 수 있습니다.
delete 이를 통해 수동 내보내기 중에 중복 제거를 활성화할 수 있습니다(예: 다시 채우기 데이터를 내보낼 때).

- Microsoft.Storage/storageAccounts/blobServices/containers/blobs/write - Microsoft.Storage/storageAccounts/blobServices/containers/blobs/read - Microsoft.Storage/storageAccounts/blobServices/containers/blobs/delete

Azure Blob Storage에 대한 이러한 권한 관리를 할당하는 방법에 대한 지침은 다음을 참조하십시오.

- 서비스 주체에 Azure Blob Storage 권한 관리 할당 - 자습서: Azure 포털을 사용하여 Blob에 대한 액세스를 제한하기 위해 역할 할당 조건을 추가하십시오.

네트워크 액세스 구성:
Azure 스토리지 계정의 방화벽 및 가상 네트워크 설정이 다음 Amplitude IP 주소에서의 액세스를 허용하는지 확인하십시오.
- Amplitude 미국 IP 주소:
  - 52.33.3.219
  - 35.162.216.242
  - 52.27.10.221
- Amplitude EU IP 주소:
  - 3.124.22.25
  - 18.157.59.125
  - 18.192.47.195
이러한 설정을 수정하는 방법에 대한 지침은 Azure Storage 방화벽 및 가상 네트워크 구성을 참조하십시오.

연동 설정

Amplitude 데이터를 Azure Blob Storage로 내보내려면 다음과 같이 하십시오.

Amplitude에서 데이터 > 관리 > 목적지 > 목적지 추가로 이동합니다.
Azure Blob Storage - Events & Merged Users를 선택합니다.
시작하기 탭에서 내보낼 데이터를 선택합니다. 옵션에는 현재 수집된 이벤트와 앞으로 진행되는 이벤트 내보내기, 병합된 모든 Amplitude ID 내보내기 또는 둘 다가 포함됩니다. 이벤트의 경우 필터링 조건을 지정하여 특정 기준을 충족하는 이벤트만 내보낼 수도 있습니다.

원하는 경우 이 두 데이터 유형을 별도의 컨테이너로 내보낼 수 있습니다. 각 데이터 유형에 대해 한 번씩, 설정 흐름을 두 번 완료하십시오.

이벤트 테이블 및 병합 ID 테이블 스키마를 검토하고 다음을 누릅니다.
자격 증명 설정 섹션에서 생성한 서비스 주체의 tenantId, clientId 및 clientSecret를 입력합니다.
Azure Blob Storage 컨테이너 세부 정보 섹션에서 Azure Blob Storage 컨테이너 세부 정보를 작성하십시오. 다음을 클릭합니다.
다음을 클릭합니다. Amplitude는 자격 증명이 작동하는지 확인하기 위해 테스트 업로드를 시도합니다. 업로드가 성공하면 완료를 클릭하여 Azure Blob Storage 목적지 구성 및 활성화를 완료합니다.

설정 후, Amplitude는 최선의 노력을 기울여 모든 향후 이벤트와 병합된 사용자를 Azure Blob Storage로 전송합니다. 내보내기는 일반적으로 매시간 실행되며 1시간 분량의 데이터를 포함하지만 덜 자주 실행되며 여러 시간 분량의 데이터를 포함할 수도 있습니다.

수동 내보내기 실행

수동 내보내기를 완료하여 다시 채우고 기록 데이터를 Azure Blob Storage로 전송하십시오.

생성한 Azure Blob Storage 목적지를 엽니다. 내보내기 연결 페이지로 이동합니다.
다시 채우기 탭으로 이동합니다.
내보낼 날짜 범위를 선택합니다.
Start Backfill을 클릭합니다.

다시 채우기 날짜 범위가 이미 내보낸 데이터의 날짜 범위와 겹치는 경우 Amplitude는 중복되는 전체 데이터를 제거합니다.

내보낸 데이터 형식

원시 이벤트 파일 및 데이터 형식

Amplitude는 데이터를 JSON 파일의 압축 아카이브로 내보냅니다. 이 아카이브는 시간별로 분할되어 시간당 하나 이상의 파일이 있습니다. 각 파일에는 한 줄에 하나의 이벤트 JSON 객체가 포함되어 있습니다.

파일 이름의 구문은 다음과 같습니다. 여기서 시간은 데이터가 Amplitude 서버에 업로드된 시점을 UTC로 나타냅니다(예: server_upload_time).

projectID_yyyy-MM-dd_H#partitionInteger.json.gz

예를 들어 2020년 1월 25일 오후 5시에서 오후 6시 대상 구간에 이 프로젝트에 업로드된 데이터의 첫 번째 파티션은 다음과 같은 파일에 있습니다.

187520_2020-01-25_17#1.json.gz

내보낸 데이터 JSON 객체 스키마는 다음과 같습니다.

json

{
   "server_received_time": UTC ISO-8601 timestamp,
   "app": int,
   "device_carrier": string,
   "$schema":int,
   "city": string,
   "user_id": string,
   "uuid": UUID,
   "event_time": UTC ISO-8601 timestamp,
   "platform": string,
   "os_version": string,
   "amplitude_id": long,
   "processed_time": UTC ISO-8601 timestamp,
   "version_name": string,
   "ip_address": string,
   "paying": boolean,
   "dma": string,
   "group_properties": dict,
   "user_properties": dict,
   "client_upload_time": UTC ISO-8601 timestamp,
   "$insert_id": string,
   "event_type": string,
   "library":string,
   "amplitude_attribution_ids": string,
   "device_type": string,
   "device_manufacturer": string,
   "start_version": string,
   "location_lng": float,
   "server_upload_time": UTC ISO-8601 timestamp,
   "event_id": int,
   "location_lat": float,
   "os_name": string,
   "amplitude_event_type": string,
   "device_brand": string,
   "groups": dict,
   "event_properties": dict,
   "data": dict,
   "device_id": string,
   "language": string,
   "device_model": string,
   "country": string,
   "region": string,
   "is_attribution_event": bool,
   "adid": string,
   "session_id": long,
   "device_family": string,
   "sample_rate": null,
   "idfa": string,
   "client_event_time": UTC ISO-8601 timestamp,
}

병합된 Amplitude ID 파일 및 데이터 형식

Amplitude는 데이터를 JSON 파일의 압축 아카이브로 내보냅니다. 각 파일에는 한 줄에 하나의 병합된 Amplitude ID JSON 객체가 포함되어 있습니다.

파일 이름의 구문은 다음과 같습니다. 여기서 시간은 데이터가 Amplitude 서버에 업로드된 시점을 UTC로 나타냅니다(예: server_upload_time).

-OrgID_yyyy-MM-dd_H.json.gz

예를 들어 2020년 1월 25일 오후 5시와 오후 6시 대상 구간에 이 프로젝트에 업로드된 데이터는 다음 파일에 있습니다.

-189524_2020-01-25_17.json.gz

내보낸 데이터 JSON 객체 스키마는 다음과 같습니다.

json

{
  "scope": int,
  "merge_time": long,
  "merge_server_time": long,
  "amplitude_id": long,
  "merged_amplitude_id": long
}

이 내용이 도움이 되었나요?