튜닝(얼리 액세스)

튜닝은 제품 영역 설정에서 시작됩니다. 제품 영역은 목표, 범위, 소스, 비교 대상, 지표, 지침을 정의하며, 이러한 요소는 Amplitude가 찾는 대상과 품질을 어떻게 판단할지 결정합니다. 생성된 영업 기회가 잘못 배치되어 있다고 느껴질 경우 가장 먼저 조정해야 할 곳은 제품 영역입니다.

피드백은 해당 제품 영역 내에서 누적됩니다. 직접 작성한 의견, 좋아요/싫어요 리뷰, 상태 변경, 무시, 편집, 선별 결정 등은 모두 Amplitude가 해당 제품 영역의 향후 개인화 추천을 개선하는 데 활용됩니다.

조정할 수 있는 항목

제품 영역에서 제시된 기회가 방향이 맞지 않거나, 반복적이거나, 너무 작거나, 너무 넓다고 느껴질 경우 이러한 설정을 조정하십시오. 실제로 팀은 범위 및 제외 사항, 목표 태그, 목표 지표, 성공 기준, 인사이트 소스, 기회 조합, 세 가지 지침 경로(계획, 조사 및 코딩 에이전트)와 같은 소규모 차원 세트에 따라 제품 영역을 다양화합니다.

강한 초점 영역 정의

강력한 초점 영역은 시스템에 명확한 검색 공간을 제공합니다. 사용자 여정이나 제품 영역의 이름을 지정하고 어떤 결과가 중요한지 설명해야 합니다.

우수한 초점 분야:

• AI 피드백: 소스 연결, 수집 품질, 테마 생성, 인사이트 검토, 피드백 선별, 반복적인 팀 사용을 포함하여 소스에서 인사이트까지의 전체 루프를 포괄합니다. 피드백 워크플로우에 직접적인 영향을 미치지 않는 한, 관련 없는 핵심 분석 퍼널은 제외됩니다.
• 대시보드: 첫 번째 대시보드 생성, 시간별 차트 편집, 대시보드 리텐션, 공유, 내보내기 및 반복적인 보고 워크플로우를 다룹니다. 대시보드 생성 또는 지속적인 대시보드 사용을 직접 차단하지 않는 한 딥 차트 쿼리 작성을 제외합니다.
• 결제: 장바구니에서 결제까지의 완료, 결제 오류, 복구 흐름, 구매 확인, 지연 시간과 같은 가드레일 지표를 다룹니다. 결제 완료에 직접적인 영향을 미치지 않는 한, 마케팅 랜딩 페이지 및 구매 후 리텐션은 제외됩니다.
• 지원을 위한 세션 리플레이: 리플레이 검색, 지원 주도 디버깅, 리플레이 공유, 문제 재현 및 후속 분석을 다룹니다. 지원 워크플로를 직접 지원하지 않는 한 일반 재생 탐색을 제외합니다.

취약한 초점 분야:

• 그로쓰.
• 대시보드입니다.
• UX를 개선합니다.
• 모든 것은 AI와 관련이 있습니다.

초점 영역이 넓다고 느껴지면 영역을 분할하십시오. 예를 들어 "온보딩"을 위한 하나의 제품 영역 대신 "첫 번째 데이터 연결", "첫 번째 차트 생성", "팀원 초대"를 위한 별도의 영역을 만듭니다.

대비 영역 추가

대비는 의도적으로 범위를 벗어난 인근 영역입니다. 이는 시스템이 유용한 기회와 주의를 분산시키는 기회를 구별하도록 도와줍니다.

제품 영역이 다른 팀, 워크플로우 또는 지표 범위와 맞닿아 있을 때 비교 대상을 사용하세요.

예:

• 결제의 경우 결제 제출, 오류 복구 및 구매 확인을 포함하십시오. 마케팅 랜딩 페이지 및 구매 후 리텐션은 제외됩니다.
• 차트 빌더의 경우 차트 생성, 저장 흐름, 쿼리 지연 시간 및 유용한 첫 번째 시각화 기능을 포함합니다. 대시보드 레이아웃 및 공유가 차트 생성을 직접적으로 차단하지 않는 한 제외하십시오.
• AI 피드백의 경우 소스 연결, 수집 신뢰성, 인사이트 품질 및 반복적 팀 사용량을 포함하십시오. 관련이 없는 핵심 분석 퍼널을 제외합니다.

기회 조합 조정

Opportunities는 다양한 유형의 작업을 나타낼 수 있습니다. 제품 영역 지침과 선별 피드백을 활용하여 원하는 혼합을 구성하십시오.

제품 성숙도에 맞게 조합 조정

초기 제품의 경우 더 많은 기능과 와일드카드 기회를 허용하십시오. 초기 팀은 더 광범위한 탐험과 더 큰 스윙을 통해 이익을 얻습니다.

성숙하고 대용량 표면의 경우 빠른 성과, 버그 수정, 실험 및 신중한 배포 계획을 선호합니다. 성숙한 팀은 일반적으로 더 작고, 더 안전하며, 더 측정 가능한 변화를 필요로 합니다.

중간 성숙도 제품의 경우 일부 워크플로 개선, 일부 버그 수정, 몇 가지 더 큰 배팅을 통해 균형을 유지하십시오.

올바른 소스 선택

소스는 시스템이 무엇을 배울 수 있는지를 결정합니다. 분석만 있는 제품 영역에서는 지표 이동을 발견할 수 있지만 그 이면에 있는 사용자 경험을 놓칠 수 있습니다. 피드백만 있는 제품 영역은 감정을 찾을 수 있지만 규모를 놓칠 수 있습니다.

다음 지침을 활용하세요:

• 볼륨, 전환, 리텐션 및 세그먼트 수준의 영향에 대한 분석.
• 실제 사용자 행동에서 문제가 어떻게 나타나는지 보여주는 세션 리플레이.
• 불만, 기능 요청 및 질적 주제에 대한 AI 피드백.
• 오토캡처: 사용자 지정 계측이 불완전한 경우 제품 상호 작용 신호 수집
• 팀이 이미 시도한 내용과 어떤 측정항목이 변했는지에 대한 실험.
• 전문 에이전트: 지속적인 도메인별 요약 정보를 제공
• 기술적 성능과 페이지 경험 신호를 위한 웹 바이탈.
• 에이전트 추적: AI 기반 제품 사용량, 품질 및 성능 분석에 활용
• 경쟁사 컨텍스트: 시장을 고려한 아이디어와 비교 가능한 워크플로우를 위한 정보 제공
• Custom 에이전트(출시 예정): MCP에 연결된 내부 데이터 소스, 독점 시스템 및 워크플로우 연동에 사용
• 실제 구현 위치를 가리키는 실행 계획을 위한 코드 저장소입니다.
• 이상치(Anomalies)(출시 예정): 조사가 필요한 새로운 지표 변화를 감지
• 조사: 사용자의 직접적인 의도와 만족도 신호 파악에 사용
• PR 리뷰(출시 예정): 코드 리뷰 활동을 통해 배포 과정에서 마찰이나 구현 위험 요소를 파악

신뢰도가 높은 기회를 얻으려면 최소 두 개의 독립적인 출처를 찾아야 합니다. 예를 들어 퍼널 드롭오프와 세션 리플레이 증거를 연결하거나, 피드백 테마를 지원하는 사용 추세와 연결합니다.

지표와 성공 기준을 조정 기준으로 활용

목표 지표는 Amplitude가 기회를 점수화하고 구성하는 방법을 알려줍니다. 각 제품 영역에는 다음이 포함되어야 합니다.

• 주요(Primary) 지표: 성공을 정의
• 보조(Secondary) 지표: 주요(Primary) 지표의 변화 원인을 파악하는 데 사용
• 가드레일(Guardrail) 지표: 악화되어서는 안 되는 지표

지표와 간단한 성공 기준 문구를 연결하여, 에이전트가 단순한 차트 수치가 아니라 중요하게 여기는 성과를 기준으로 최적화할 수 있도록 합니다. 예를 들어, "결제 중단을 증가시키지 않으면서 유료 구독 전환율과 구독자 수익률을 높입니다."

하나의 지표만 사용하지 마십시오. 단일 전환 지표는 품질, 지연 시간, 지원 부담 또는 다운스트림 리텐션을 무시하는 좁은 범위의 개인화 추천을 생성할 수 있습니다.

지속적인 지침 작성

제품 영역에서는 세 가지 지침 레인과 선택적 사용자 지정 지침을 제공합니다. 일시적인 작업이 아닌 안정적인 안내로 각 레인을 채우십시오. 일시적인 요청에는 집중적인 Discover 실행, 글로벌 채팅 또는 특정 Opportunity에 대한 댓글을 사용하세요.

계획 지침

계획 지침을 제품 영역 헌장으로 사용하십시오. 강력한 계획 텍스트는 일반적으로 다음을 다룹니다.

• 제품 영역이 무엇인지, 그리고 어떤 지속적인 결과가 중요한지에 대한 내용입니다.
• 품질 기준이 변경되는 경우의 현재 기준선 또는 성숙도 컨텍스트입니다.
• 명확한 경계와 다른 곳에 속해 있는 인근 영역도 포함됩니다.
• 기회의 프레임, 크기 조정 또는 롤아웃 방법에 대한 기본 설정.

좋은 계획 지침:

• 페이월 노출부터 구매 완료 및 가입자 복귀에 이르기까지 유료 구독 생애주기 분석을 다룹니다. 반복 콘텐츠 사용은 리텐션에 대해 직접적으로 설명하지 않는 한 별도의 제품 영역으로 취급하십시오.
• 복잡성이 높은 개입보다 작업이 적고 되돌릴 수 있는 변화를 선호합니다. 성숙하고 대규모 흐름을 위한 실험 또는 배포 계획을 포함하십시오.
• 계측만 수행하는 작업은 추천하지 마세요. 증거가 이를 뒷받침할 경우 야심적인 제품 변경을 선호합니다.

조사 지침

조사 지침을 사용하여 에이전트가 어디를 조사하고 무엇을 비교하는지 안내하십시오. 강력한 조사 텍스트는 일반적으로 다음을 다룹니다.

• 분석할 주요 여정 분석 또는 유입경로.
• 비교할 가치가 있는 신호, 세그먼트 또는 플랫폼입니다.
• 다음 Discovery 실행에서 답해야 할 질문.
• 제품 마찰과 구분해야 할 측정 공백 또는 알려진 교란 요인.

좋은 조사 지침:

• 구독 대상 독자가 구독자로 전환되지 않는 지점과 신규 구독자가 구매 후 재방문하지 않는 구간을 살펴보세요. 플랫폼, 지불벽 상태, 콘텐츠 유형, 유입 소스 및 생애주기 분석 단계를 비교합니다.
• 일일 작업의 전체 주기(세션 시작, 작업 생성, 편집 및 삭제 플로, 모든 작업 완료 순간)에 집중하세요. Reset All Data 스파이크를 불만 가드레일로 취급하십시오.
• UI 생애주기 분석, 에이전트 툴콜 품질, 채팅이나 MCP와 같은 다중 표면 진입점에 대한 구조적 조사를 수행하십시오. 인접한 제품들이 이 영역을 차단하지 않는 한 해당 제품들을 범위 밖으로 내버려 두십시오.

코딩 에이전트 명령

저장소를 연결하고 구현 핸드오프가 깨끗하게 처리되기를 원할 때 코딩 에이전트 지침을 사용하십시오. 강력한 코딩 에이전트 텍스트는 일반적으로 다음을 포함합니다.

• 어떤 저장소, 패키지 또는 서비스가 해당 영역을 소유하는지 확인하십시오.
• 특정 코드 경로로 거슬러 올라가는 동작 문제를 추적하는 방법.
• 선호되는 변경 방식: 최소한의 수정, 롤백 단계 및 배포 후 지표 검사
• 작업을 완료로 표시하기 전에 검증 기준

좋은 코딩 에이전트 지침:

• 프론트엔드는 apps/voc 및 packages/voc-ui에 있습니다. 백엔드는 server/packages/klassy에 있습니다. 광범위한 리팩터링보다 특정 영역을 겨냥한 수정을 선호합니다.
• 에이전트 실행 오류를 수정할 때는 수정을 작성하기 전에 실패한 도구 호출과 해당 입력 또는 출력을 추적하십시오. 에이전트 성공률 및 거부율을 기준으로 검증하십시오.
• 롤백 단계와 구축 후 지표 모니터링을 항상 포함하십시오. 작업을 완료하기 전에 예상되는 지표 영향에 대해 변경 사항을 검증하십시오.

사용자 지정 지침

증거 규칙이나 소유권 제약 조건과 같이 세 가지 범주에 명확하게 맞지 않는 지속적인 기본 설정에 대해서는 다음과 같은 사용자 지정 지침을 사용하십시오:

• 최소 두 개의 독립적인 출처에서 얻은 증거를 바탕으로 기회의 우선 순위를 정하십시오.
• 체크아웃 완료를 직접적으로 방해하지 않는 한 체크아웃 팀 외부에서 변경이 필요한 기회는 피하십시오.

다음과 같은 지침은 피하십시오.

• 지난 화요일부터 하락한 것을 조사하십시오.
• 최신 릴리스에 초점을 맞추십시오.
• 이번 주에 5개의 버그를 찾으세요.

집중적 Discovery 실행

제품 영역 설정은 지속적이지만 모든 조사에 설정 변경이 필요한 것은 아닙니다. Opportunity Manager가 한 번의 실행에 대해 특정 중요한 문제, 사용자 흐름, 페이지 또는 신호 범주를 조사하도록 하려면 집중적 검색 실행을 사용하십시오.

집중적 검색은 다음과 같은 작업을 수행할 때 유용합니다.

• 온보딩 설정, 체크아웃, 대시보드 내보내기 등 특정 페이지나 흐름을 중심으로 기회를 찾으세요.
• 에이전트를 활성화 마찰이나 성능 문제와 같은 광범위한 문제 영역으로 유도합니다.
• 피드백 주제, 재생 마찰, 웹 바이탈 또는 실험 학습과 같은 신호 범주를 조사합니다.
• 제품 영역의 지속적인 범위, 지표 또는 지침을 변경하지 않고 해당 영역에 대해 더 자세히 알아볼 수 있습니다.

집중적인 검색은 수동으로 영업 기회 아이디어를 제출하는 것과는 다릅니다. 상담원이 범위를 탐색하고 가능한 기회를 일괄 생성하도록 하려면 집중 검색을 사용하십시오. 이미 구체적인 아이디어를 가지고 있고 Amplitude가 그 아이디어를 증거, 채점 및 계획으로 구체화하기를 원할 때 수동으로 작성한 기회 아이디어를 사용하십시오.

피드백은 튜닝 루프입니다.

피드백은 제품 영역 내에서 지속적으로 조정되는 메커니즘입니다. Amplitude는 명시적 피드백과 워크플로우 동작을 모두 사용하여 해당 제품 영역에 대한 향후 영업 기회 연계를 개선합니다.

엄지손가락 올리기 및 엄지손가락 내리기

Opportunity가 유용하고 범위가 적절하며, 이와 유사한 추천을 더 받고 싶다면 엄지손가락을 올려주세요. 신호가 잘못되었거나, 계획이 취약하거나, Opportunity가 제품 영역과 일치하지 않을 때 엄지손가락을 아래로 내리십시오.

라벨이 지정된 모든 입력은 해당 제품 영역에 대한 팀의 선호도에 대한 컨텍스트를 Amplitude에 제공합니다. 이 신호는 다음 디스커버리 주기에 제품 영역의 목표에 더 잘 부합하는 Opportunity를 순위화하고 기록하는 데 도움이 됩니다.

직접적인 피드백

Opportunity가 잘못되었거나, 취약하거나, 중복되거나, 너무 광범위하거나, 중요한 맥락이 누락된 경우 코멘트를 남겨주십시오. 좋은 피드백은 단순히 결정만 전달하는 것이 아니라 그 이유를 설명합니다.

예:

• "이 문제는 체크아웃 범위를 벗어납니다. 이는 계정 청구 설정에 속합니다."
• “근거에 세션 리플레이 비중이 너무 높습니다. 우선 순위를 지정하기 전에 차트에 기반한 볼륨이 필요합니다."
• “이것은 좋은 단기 성과이지만, 제안된 수정안은 결제 공급자를 변경하는 것을 피해야 합니다.”
• "이미 진행 중인 결제 재시도 작업의 중복입니다."

분류 피드백

또한 선별 선택 사항은 시스템에 다음과 같은 정보를 제공합니다.

• 계획된 기회가 제품 영역과 품질 기준과 일치한다는 신호입니다.
• 진행 중은 사양이 작업을 시작하기에 충분히 실행 가능하다는 신호입니다.
• **제외(Dismissed)**는 Opportunity가 범위와 맞지 않거나, 근거가 부족하거나, 기존 작업과 중복되거나, 추진할 가치가 없다고 판단했음을 나타냅니다.
• 검토 중(For review), 배포됨(Shipped) 및 측정됨(Measured) 상태는 추천에서 결과까지의 전체 과정을 완성합니다.

상태를 정직하게 사용하세요. 품질이 낮거나 관련성이 없는 기회를 영원히 New에 남겨두지 마십시오. 항목을 기각하고 의견을 남기는 것은 단순히 무시하는 것보다 시스템에 더 강력한 신호를 제공합니다.

검토 주기

최상의 결과를 위해:

1. 디스커버리 실행 후 새로운 기회를 검토하십시오.
2. 관련성이 없거나 취약한 기회를 그대로 두지 않고 무시하십시오.
3. 향후 조사를 위해 사유가 중요한 경우 설명을 추가하십시오.
4. 업무가 진행됨에 따라 생애주기 분석 동안 실행 가능한 기회를 이동시킵니다.
5. 여러 기회에서 동일한 종류의 불일치가 나타나는 경우 제품 영역 설정을 다시 검토하십시오.

튜닝은 한 번에 수행되는 설정 단계가 아닙니다. 제품 영역 설정을 제품 전략과 같이 취급하십시오. 목표와 경계가 명확해질수록, 그리고 피드백이 더 솔직해질수록 개인화 추천은 더 유용해집니다.