პროდუქტის მეტრიკები, რომლებსაც მნიშვნელობა აქვს: North Star-იდან AI ფუნქციებამდე

მთავარი დასკვნები

• North Star მეტრიკამ უნდა ასახოს მომხმარებლის მიერ მიღებული ღირებულება და არა თქვენი შემოსავალი; ის სულ მცირე ერთი წელი სტაბილური უნდა დარჩეს.

• მეტრიკების ხე North Star-ს ფაქტორებად, შემდეგ კი ისეთ შემავალ მეტრიკებად შლის, რომლებსაც ერთი გუნდი კვირებში ამოძრავებს და თითოეულს კონკრეტული პასუხისმგებელი ჰყავს.

• აქტივაცია კონკრეტული ქმედებით განსაზღვრეთ და გადაამოწმეთ, რომ მასამდე მისული მომხმარებლები უკეთ რჩებიან; შენარჩუნებას კოჰორტებით უყურეთ, რომ ზრდამ გადინება არ დამალოს.

• თუ რიცხვის ხვალინდელი ცვლილება თქვენს ქმედებებს არ შეცვლიდა, ეს ამაოების მეტრიკაა: კონტექსტისთვის გამოდგება, მიზნად კი საზიანოა.

• AI ფუნქციებს გამოყენების გარდა ოთხი დამატებითი ჭრილი სჭირდება: პასუხის ხარისხი, ერთი წარმატებული ამოცანის ღირებულება, დაყოვნება ნელი გამონაკლისების ჩათვლით და მომხმარებლის ნდობა.

პროდუქტის გუნდების უმეტესობას მონაცემების ნაკლებობა კი არ აწუხებს, არამედ დაშბორდების სიჭარბე: თითოეულს თავისი საყვარელი ციფრი აქვს, საერთო შეთანხმება კი არ არსებობს, რომელმა მათგანმა უნდა შეცვალოს გადაწყვეტილება. შედეგად ყოველკვირეული შეხვედრები გრაფიკებით არის სავსე, სწავლა კი თითქმის არ ხდება.

კარგი მეტრიკები სამ ამოცანას ასრულებს: აჩვენებს, იღებენ თუ არა მომხმარებლები ღირებულებას, მიუთითებს გუნდს იმ ბერკეტებზე, რომელთა ამოძრავებაც რეალურად შეუძლია, და დროულად გაფრთხილებს, როცა რაღაც ფუჭდება. ეს გზამკვლევი მარტივ სტრუქტურას გთავაზობთ სამივესთვის, შემდეგ კი განვიხილავთ, რა იცვლება, როცა პროდუქტში AI ფუნქციებია.

დაიწყეთ North Star მეტრიკით

North Star მეტრიკა ერთი რიცხვია, რომელიც ყველაზე ზუსტად ასახავს, რა ღირებულებას იღებენ მომხმარებლები თქვენი პროდუქტისგან. ეს შემოსავალი არ არის, თუმცა შემოსავლამდე უნდა მიგიყვანოთ. შემოსავალი გეუბნებათ, რომ ღირებულება „დაიჭირეთ“; North Star გეუბნებათ, რომ ღირებულება შეიქმნა.

კარგი North Star-ის თვისებები

• ასახავს მომხმარებლის ღირებულებას: თუ რიცხვი იზრდება, მომხმარებლებს რეალურად უკეთ აქვთ საქმე.

• წინმსწრები ინდიკატორია: ის შემოსავალსა და შენარჩუნებაზე ადრე იცვლება, ამიტომ რეაგირების დრო გრჩებათ.

• გასაგებია: კომპანიაში ნებისმიერს შეუძლია მისი ერთი წინადადებით ახსნა.

• მართვადია: გუნდებს შეუძლიათ ყოველდღიური სამუშაო მას რამდენიმე შემავალი მეტრიკის მეშვეობით დაუკავშირონ.

მაგალითები საქმეს ამარტივებს. სასწავლო პლატფორმამ შეიძლება აირჩიოს „სტუდენტები, რომლებიც ყოველ კვირას ასრულებენ პრაქტიკულ პროექტს“, გუნდური თანამშრომლობის ხელსაწყომ კი — „გუნდები, რომლებიც ყოველ კვირას ასრულებენ საერთო სამუშაო პროცესს“. შენიშნეთ, რომ ორივე შედეგს ითვლის და არა აქტივობას, როგორიცაა სისტემაში შესვლა.

North Star-ის შერჩევის გავრცელებული შეცდომები

ყველაზე ხშირი ორი შეცდომაა ისეთი მეტრიკის არჩევა, რომლის დათვლაც ადვილია და არა ის, რაც მნიშვნელოვანია, და North Star-ის ყოველ კვარტალში შეცვლა. North Star მინიმუმ ერთი წლის განმავლობაში სტაბილური უნდა იყოს; იცვლება მის ქვემოთ მდებარე შემავალი მეტრიკები.

შემავალი მეტრიკები და მეტრიკების ხე

North Star იმდენად ფართოა, რომ ერთი გუნდი მას მარტო ვერ ფლობს. გამოსავალი მეტრიკების ხეა: მარტივი დიაგრამა, რომელიც North Star-ს იმ ფაქტორებად შლის, რომლებიც მას ქმნის, შემდეგ კი ამ ფაქტორებსაც შლის, სანამ ყოველი ტოტი ისეთ რამეზე არ დასრულდება, რაზეც გუნდს პირდაპირ შეუძლია გავლენის მოხდენა.

მეტრიკების ხის აგება ნაბიჯ-ნაბიჯ

1. ზემოთ ჩაწერეთ North Star.

2. დასვით კითხვა: „რა უნდა მოხდეს, რომ ეს რიცხვი გაიზარდოს?“ და ჩამოწერეთ ორიდან ოთხამდე ფაქტორი, მაგალითად ახალი აქტიური მომხმარებლები, შენარჩუნებული მომხმარებლები და გამოყენების სიღრმე.

3. გაიმეორეთ ეს კითხვა თითოეული ფაქტორისთვის, სანამ არ მიხვალთ მეტრიკებამდე, რომლებსაც გუნდი კვირებში ამოძრავებს, მაგალითად ონბორდინგის დასრულება ან პირველ შედეგამდე გასული დრო.

4. ყოველ ფოთოლს მიუჩინეთ პასუხისმგებელი და შეთანხმდით სასურველ მიმართულებაზე და არა მხოლოდ ციფრზე.

5. ყოველ კვარტალში გადახედეთ ხეს და მოაცილეთ ტოტები, რომლებიც North Star-ის ცვლილებას აღარ ხსნის.

ხე ლოკალური ოპტიმიზაციისგანაც გიცავთ. თუ გუნდი თავის მეტრიკას ზრდის, ზედა დონე კი არ იცვლება, ხე ამას თვალსაჩინოს ხდის და სწორ საუბარს იწყებს.

აქტივაცია, შენარჩუნება და ჩართულობა

თითქმის ყველა მეტრიკების ხეში ამ სამის რაიმე ვერსია ჩნდება. ღირს მათი ზუსტად განსაზღვრა, რადგან ბუნდოვანი განმარტებები ცოდნის ნაცვლად კამათს ბადებს.

აქტივაცია

აქტივაცია ის მომენტია, როცა ახალი მომხმარებელი პირველად განიცდის პროდუქტის მთავარ ღირებულებას. განსაზღვრეთ ის კონკრეტული ქმედებით და არა შეგრძნებით, შემდეგ კი გადაამოწმეთ: ვინც ამ მოვლენას მიაღწია, მნიშვნელოვნად უკეთ უნდა რჩებოდეს, ვიდრე ვინც ვერ მიაღწია. თუ ამ მომენტს ჯერ კიდევ ეძებთ, აქაც გამოგადგებათ მეთოდები სტატიიდან იდეების ვალიდაცია აწყობამდე.

შენარჩუნება

შენარჩუნება პასუხობს კითხვას, ბრუნდებიან თუ არა ადამიანები და აგრძელებენ თუ არა ღირებულების მიღებას. უყურეთ მას კოჰორტების მიხედვით, ანუ მომხმარებლები დააჯგუფეთ დაწყების კვირით ან თვით, რომ ახალი მომხმარებლების ზრდამ „გახვრეტილი ვედრო“ არ დაფაროს. შენარჩუნების მრუდის გასწორება პროდუქტისა და ბაზრის შესაბამისობის ერთ-ერთი ყველაზე მკაფიო ნიშანია.

ჩართულობა

ჩართულობა სიღრმეს ზომავს: რამდენად ხშირად და რამდენად არსებითად იყენებენ ადამიანები პროდუქტს. აირჩიეთ სიხშირე, რომელიც ამოცანის ბუნებრივ რიტმს შეესაბამება. საგადასახადო ხელსაწყო, რომელსაც წელიწადში ერთხელ იყენებენ, იმიტომ არ არის წარუმატებელი, რომ ყოველდღიური მომხმარებლები არ ჰყავს.

ამაოების მეტრიკები, რომლებსაც უნდა მოერიდოთ

ამაოების მეტრიკა შთამბეჭდავად გამოიყურება, მაგრამ არ გეხმარებათ გადაწყვიტოთ, რა გააკეთოთ შემდეგ. ტესტი მარტივია: ხვალ ეს რიცხვი რომ შეიცვალოს, რამეს სხვაგვარად გააკეთებდით? თუ არა, ეს მხოლოდ დეკორაციაა.

• კუმულაციური ჯამები, მაგალითად რეგისტრაციების ან ჩამოტვირთვების საერთო რაოდენობა, რომელიც მხოლოდ იზრდება.

• გვერდის ნახვები ან სესიები დასრულებულ შედეგთან კავშირის გარეშე.

• გამომწერები და ნახვები, რომლებიც რეალურ გამოყენებაში გადასვლის გარეშე არის წარმოდგენილი.

• ფუნქციის გამოყენების რაოდენობა, რომელიც არ ითვალისწინებს, მოაგვარა თუ არა ფუნქციამ პრობლემა.

ამაოების მეტრიკები ყოველთვის უსარგებლო არ არის; კონტექსტისთვის შეიძლება გამოდგეს. საფრთხე მაშინ ჩნდება, როცა მათ მიზნად აქცევთ, რადგან გუნდები მათი ხელოვნურად გაბერვის გზებს იპოვიან.

განსხვავება რომ მკაფიო დარჩეს, აი, როგორ გამოიყურება მეტრიკების ძირითადი ტიპები პრაქტიკაში:

მეტრიკა დაშბორდზე ადგილს მხოლოდ მაშინ იმსახურებს, როცა ვინმემ იცის, რას გააკეთებს, თუ ის შეიცვლება. — TechSkill-ის ინსტრუქტორები

მეტრიკები AI ფუნქციებისთვის

AI ფუნქციები ტრადიციული ფუნქციებისგან განსხვავებულად იქცევა. ერთსა და იმავე შეყვანაზე შეიძლება სხვადასხვა პასუხი მიიღოთ, ყოველ გამოძახებას პირდაპირი ხარჯი აქვს, მომხმარებლები კი სწრაფად წყვეტენ, ენდონ თუ არა შედეგს. მხოლოდ გამოყენების ციფრები ვერ გეტყვით, მუშაობს თუ არა AI ფუნქცია. დაამატეთ ოთხი ჭრილი:

ხარისხი

განსაზღვრეთ, როგორ გამოიყურება კარგი პასუხი კონკრეტული ამოცანისთვის და გაზომეთ ავტომატური შემოწმებების, ადამიანების მიერ რეგულარულად შეფასებული ნიმუშისა და მომხმარებლის სიგნალების კომბინაციით: მიღებული, შესწორებული თუ თავიდან დაგენერირებული პასუხები. ხელახალი გენერირების მაღალი წილი ხშირად ხარისხის პრობლემის პირველი ნიშანია.

ხარჯი

აკონტროლეთ ერთი წარმატებული ამოცანის ღირებულება და არა მხოლოდ მთლიანი ხარჯი. ფუნქცია, რომლის ერთი გამოძახება იაფია, მაგრამ გამოსადეგ პასუხამდე რამდენიმე მცდელობა სჭირდება, შეიძლება უფრო ძვირი აღმოჩნდეს, ვიდრე ჩანს. ამასთან, თუ პრომპტები დროთა განმავლობაში გრძელდება, ხარჯი გამოყენებაზე სწრაფად შეიძლება გაიზარდოს.

დაყოვნება

გაზომეთ პირველ გამოსადეგ პასუხამდე და სრულ შედეგამდე გასული დრო და დააკვირდით ნელ გამონაკლისებს და არა მხოლოდ საშუალოს. გრძელი დოკუმენტისთვის მომხმარებელი რამდენიმე წამს აპატიებს, ავტომატური შევსებისთვის — არა.

ნდობა

ნდობა ქცევაში ჩანს: რამდენად ხშირად ამოწმებენ ან ცვლიან მომხმარებლები პასუხს, ბრუნდებიან თუ არა ფუნქციასთან ცუდი შედეგის შემდეგ და რამდენ პრობლემას აფიქსირებენ. ეს სიგნალები პროდუქტშივე ჩაშენებულ მოკლე უკუკავშირს დაუწყვილეთ. ნდობა ნელა შენდება და სწრაფად იკარგება, ამიტომ ყოველი მოდელის ან პრომპტის ცვლილების შემდეგ ყურადღებით ადევნეთ თვალი.

თუ AI ფუნქციები მგრძნობიარე მონაცემებს ეხება, იმავე ხედში უსაფრთხოების სიგნალებიც შეიტანეთ; რას უნდა მიაქციოთ ყურადღება, ამას ჩვენი AI და მონაცემების უსაფრთხოების გზამკვლევი ხსნის.

როგორ დავნერგოთ პრაქტიკაში

დაიწყეთ მცირედით. შეთანხმდით North Star-ზე, ერთ გვერდზე მოხაზეთ მეტრიკების ხის პირველი ვერსია, ყოველკვირეული განხილვისთვის აირჩიეთ არაუმეტეს ხუთი შემავალი მეტრიკა და მოდელზე აგებული ყველა ფუნქციისთვის დაამატეთ AI-ის ოთხი ჭრილი. მთელ სტრუქტურას ყოველ კვარტალში გადახედეთ. ნაკლები მეტრიკა, მკაფიო პასუხისმგებლითა და გადაწყვეტილებებთან კავშირით, გუნდს ნებისმიერ დაშბორდების კედელზე მეტს ასწავლის.

სწორი მეტრიკების შერჩევა და დაცვა, განსაკუთრებით AI პროდუქტებისთვის, პროდუქტის ლიდერებისთვის განკუთვნილი ჩვენი სტრატეგიის პროგრამის ერთ-ერთი მთავარი თემაა.