Khi phát triển một sản phẩm, xây dựng một tính năng hay đánh giá bất kỳ giả thuyết nào. Ngoài việc xác định mục tiêu, đối tượng mục tiêu, vấn đề/nhu cầu người dùng cần giải quyết, việc xác định chỉ số đo lường mức độ thành công (key measurement metrics) là cực kỳ quan trọng.
Đối với key measurement metrics, sẽ cần nhìn theo hai cấp độ: Input Metrics và Output metrics.
- Output metrics là kết quả sau cùng mà chúng ta mong muốn đạt được, không thể cải thiện các chỉ số này một cách trực tiếp.
- Input metrics là các chỉ số mà chúng ta có thể dễ dàng tác động trực tiếp, thông qua các input metrics để tác động lên output metrics.
Một metric vẫn có thể là input metrics của một metric, nhưng cũng có thể là output metrics của một metric khác.
Một output metrics có thể có nhiều input metrics và mỗi input metrics có mức độ tương quan (correlate) với output metric khác nhau.
Ví dụ
- Goal: Archive Product-Solution Fit
- Output metrics: Week 1 Retention (W1)
- Input metrics: % New users open app, % Conversion at Onboarding, R1 Retention, …
- Goal: Increase customer satisfaction
- Output metrics: Customer Satisfaction Score (C-SAT)
- Input metrics: System Usability Scale (SUS), R1 Retention, % App session crash
Sử dụng input metrics và output metrics
Hai loại metrics này có một số đặc điểm khác nhau như giải thích ở trên. Cho nên khi đo lường các chỉ số phát triển sản phẩm, chúng ta cần xác định rõ hai nhóm metrics để sử dụng cho phù hợp:
Với Output metrics
- Output metrics thường được sử dụng như chỉ số chiến lược ở mức độ high-level. Thông thường Output metrics sẽ được đặt làm Key Result của sản phẩm trong Quý/Năm.
- Output metrics được dùng để trao đổi, báo cáo với các cấp quản lý, trao đổi với các external Stakeholders và internal team. Giúp tất cả nắm được sức khỏe chung của sản phẩm.
- Các Output metrics thường được đưa lên các BI Dashboard, Product Dashboard và được báo cáo mỗi Bi-Weekly, Monthly.
- Nếu chỉ tập trung vào output metrics mà không nhìn vào input metrics:
- Sẽ rất khó để cho chúng ta đánh giá ưu tiên và có những hành động cụ thể để trực tiếp tăng output metrics.
- Tăng được output metrics nhưng không có learnings vì có quá nhiều metrics khác ảnh hưởng đến output metrics
- Có thể đạt được kết quả mong đợi nhưng phải hy sinh các chỉ số khác và có thể gây tác động tiêu cực trong dài hạn. Ví dụ: Để tăng Revenue, team quyết định tăng tần suất hiển thị quảng cáo. Trong thời gian đầu, lợi nhuận tăng nhưng có thể khách hàng rời bỏ sản phẩm sớm hơn vì trải nghiệm không tốt khi xem quá nhiều quảng cáo. Nên nếu tính trọn vòng đợi khách hàng có thể giá trị khách hàng mang lại giảm đi.
Với Input metrics
- Input metrics là chỉ số dễ dàng đo lường và thấy được thay đổi trong một khoảng thời gian ngắn (Hourly, Daily, Weekly). Giúp team có thể nhanh chóng đánh giá các hypothesis để đưa ra quyết định tiếp theo nhanh chóng.
- Input metrics giúp chúng ta đánh giá sâu sát liệu các kế hoạch, chiến lược có đi đúng hướng hay không.
- Dùng input metrics để phân bổ trách nhiệm xuống các nhóm chuyên môn/cá nhân. Ví dụ:
- User Acquisition: IPM (Installs per Mille), CPI (Cost per Install), eCPI (Effective Cost per Install), ROAS, etc…
- Tech: Sprint Velocity, Crash Rate, System Active
- AI/ML: Model Accuracy, Recall Score, Precision Score, F1 score
- Product: Retention Rate, Set up metrics, Aha metrics, Habit metrics, Engagement metrics, etc…
- Monetization: LTV (User Lifetime Value), Subscription Rate, Refresh rate
- Các input metrics thường là các chỉ số dùng để ra quyết định priorities của các actions để đặt được output metrics.
Bài học kinh nghiệm là bất kì một kế hoạch, hành động gì sau khi đặt mục tiêu cũng nên có những chỉ số để đo lường mức độ thành công của mục tiêu. Với các chỉ số này, rất dễ để thiết đặt mong đợi và giao tiếp giữa nội bộ team phát triển và với các stakeholders. Ngoài ra chú ý đến việc xác định các output metrics và input metrics để có cái nhìn bao quát trong việc đánh giá kết quả tổng thể và có sự chủ động trong hành động.
hoangtung 