დემოს მიღმა: როგორ შევაფასოთ AI ფუნქციები გაშვებამდე

ჩანაწერი58 წთ

ჩანაწერის თავები

1. 00:00დემოს ხაფანგი
2. 08:20საიდან მოდის კარგი სატესტო შემთხვევები
3. 19:45შეფასება: ადამიანები, წესები და მოდელი-შემფასებელი
4. 33:10შეთანხმება, რა არის გასაშვებად „საკმარისად კარგი“
5. 45:00რეგრესიების დაჭერა ყოველი ცვლილების შემდეგ
6. 51:30კითხვა-პასუხი

რას ისწავლით

• რატომ არ გეუბნებათ შესანიშნავი დემო თითქმის არაფერს რეალურ ხარისხზე
• როგორ შეადგინოთ შეფასების მცირე ნაკრები მომხმარებლების რეალური მოთხოვნებიდან
• წარმატების კრიტერიუმები, რომლებზეც მთელი გუნდი თანხმდება
• რეგრესიების დაჭერა prompt-ის ან მოდელის ყოველი ცვლილებისას

დღის წესრიგი

1. +0 წთ

   დემოს ხაფანგი

2. +10 წთ

   შეფასების ნაკრების შექმნა

3. +30 წთ

   კრიტერიუმები და შეფასება

4. +45 წთ

   რეგრესიის შემოწმება და კითხვა-პასუხი

მასტერკლასის შესახებ

AI ფუნქცია დემოში შეიძლება იდეალურად გამოიყურებოდეს და რეალურ გამოყენებაში ყოველ მეათე მოთხოვნაზე მაინც ცდებოდეს. შეფასება ის გზაა, რომლითაც პროდუქტის გუნდი ამას მომხმარებლებზე ადრე იგებს, და ეს პროდუქტის პასუხისმგებლობაა და არა მხოლოდ ინჟინერიის.

Rohit აჩვენებს მარტივ პროცესს, რომელსაც მისი გუნდები იყენებენ: რეალური მაგალითების ნაკრები, მკაფიო კრიტერიუმები და შემოწმება, რომელიც ყოველი ცვლილებისას ეშვება.

დამატებით წაიკითხეთ: AI და მონაცემების უსაფრთხოება პროდუქტის გუნდებისთვის.

სპიკერი

Rohit Jain

პროდუქტის ხელმძღვანელი Amazon-ში