آزمایش‌های محصول: راهکاری برای کاهش شکست ایده‌ها

وقتی صحبت از مالک محصول می‌شود، ذهن خیلی‌ها به سمت چهره‌های بزرگ و آینده‌نگر می‌رود.

افرادی مانند بیل گیتس، استیو جابز یا ایلان ماسک.

این موضوع را یک نظرسنجی اخیر هم تایید کرد. پس از آخرین وبینار با موضوع مهارت‌های مدیریت صف محصول، این نظرسنجی را ایجاد کردم تا موضوع جلسه بعدی را مشخص کنم. می‌خواستم بدانم جامعه چابک دوست دارد در مورد کدام نگرش مالک محصول بیشتر بداند.

و با فاصله زیاد، بیشترین علاقه به نقش آینده‌نگر بود.

چرا مالک محصول فراتر از یک رویاپرداز است

ویژگی مالک محصول آینده‌نگر چیست؟

آنها تمرکز خود را بر چشم‌انداز، وضعیت آتی کالا و شناسایی فرصت‌ها، اهداف و احتمالات می‌گذارند. نگاهشان به چیزی است که می‌تواند باشد، نه آنچه اکنون هست.

اما به جز این، نگرش‌های دیگری هم وجود دارد:

• نماینده مشتری: در این نقش، مالک محصول سعی می‌کند دردها، مشکلات و فرصت‌های واقعی مشتریان را درک کند. هدف این است که خود را جای آنان بگذارد.
• تصمیم‌گیرنده: از این منظر، مالک محصول بر اتخاذ تصمیمات خوب متمرکز است. کدام موارد باید به صف کار اضافه شوند؟ هدف بزرگ بعدی چیست؟ کدام دسته از مشتریان باید راضی شوند و کدام نه؟
• آزمایشگر: این نگاه، معطوف به نوآوری، آزمون و خطا و امور جدید است. مالک محصول در این نقش به ریسک، فرضیه، آزمون، یافته و داده می‌اندیشد. تمرکز آزمایشگر کمتر بر افزودن امکانات تازه است و بیشتر بر تایید ارزش محصول.

این سه نگرش اغلب کمتر مورد توجه قرار می‌گیرند – نه فقط در نظرسنجی، بلکه در دوره‌های آموزشی من یا هنگام همکاری با مشتریان.

با این حال، یک واقعیت مهم درباره توسعه محصول در این میان نادیده گرفته می‌شود.

چرا هر محصولی باید بر پایه آزمایش بنا شود

حتما این جمله را شنیده‌اید: نود درصد استارتاپ‌ها دومین سال فعالیت خود را تجربه نمی‌کنند.

در مورد ایده‌های محصول یا قابلیت‌های جدید هم وضع مشابهی حاکم است. مایکروسافت در سال ۲۰۰۹ مقاله‌ای با عنوان «آزمایش آنلاین در مایکروسافت» منتشر کرد و به طور عمومی تایید کرد:

• فقط حدود یک سوم ایده‌ها، شاخص‌هایی را که برای بهبود آن‌ها طراحی شده‌اند، ارتقا می‌دهند.
• تقریبا یک سوم ایده‌ها نتیجه منفی می‌دهند (یعنی آسیب می‌رسانند)، و
• حدود یک سوم ایده‌ها هم نتیجه خاصی ندارند (تغییر معناداری ایجاد نمی‌کنند).

و مایکروسافت در این زمینه تنها نیست. در آمازون، ارزیابی هر قابلیت جدید یک روال معمول است، با این حال نرخ موفقیت زیر پنجاه درصد است.

در پایان یک مثال می‌زنم که منظور از ایده یا قابلیت چیست. مثلا بهبود یا کاهش سرعت جستجو در یک وب‌سایت را در نظر بگیرید.

«مشخص شده که حتی یک تاخیر به اندازه یک چشم برهم زدن – حدود ۴۰۰ میلی‌ثانیه – می‌تواند کاربران را دلسرد کند. سال گذشته، گوگل به صورت آزمایشی یک تاخیر ۴۰۰ میلی‌ثانیه‌ای در ارائه نتایج جستجو ایجاد کرد. تعداد جستجوهای هر کاربر کاهش یافت. پس از شش هفته، جستجوهای هر کاربر تقریبا یک درصد کم شده بود. این عدد به ظاهر کوچک، معادل صدها میلیون دلار درآمد تبلیغاتی بالقوه در سال بود.»

در آمازون حتی مشاهده شد که تاخیر ۱۰۰ میلی‌ثانیه‌ای منجر به کاهش یک درصدی فروش شد.

پس می‌توان با اطمینان گفت: بسیاری از ایده‌های محصول و قابلیت، شکست خواهند خورد.

چرا پیش‌بینی‌های انسانی ما (تقریبا همیشه) اشتباه است

به همین دلیل است که نگرش آزمایشگر ضروری است.

در اصل، این موضوع پذیرش خطاپذیری است. پرداختن مالک محصول به آزمایش، در نهایت یک تمرین فروتنی است.

فروتنی یک چالش است.

در مایکروسافت هم همینطور بود. برخی کارکنان، آزمایش را تهدیدی برای قدرت و اعتبار خود می‌دیدند، چون نقش آنان به عنوان تصمیم‌گیرنده را زیر سوال می‌برد. جملاتی مانند: «ما می‌دانیم چه باید بکنیم. این در دی‌ان‌ای ماست»، نشان‌دهنده این باور بود که می‌توانند نتایج را بدون داده پیش‌بینی کنند.

به همین دلیل نویسندگان یک آزمون طراحی کردند.

آن را آزمون اسب آبی نامیدند. هدف این بود که همکاران و کارکنان را متقاعد کنند که نمی‌توانند نتایج آزمایش‌ها را به خوبی پیش‌بینی کنند. برای این کار یک نظرسنجی با هشت آزمون ای/بی انجام شد. شرکت‌کنندگان باید برای هر آزمون گزینه صحیح از نظر آماری را انتخاب می‌کردند (آ بهتر است، ب بهتر است یا تفاوت معناداری ندارد).

نتیجه: از بین بیش از ۲۰۰ شرکت‌کننده، هیچ‌کس در بیش از شش مورد از هشت آزمون پاسخ درست نداد. میانگین پاسخ‌های درست حدس‌زده شده ۲.۳ بود. این نتیجه‌ای هشداردهنده بود. نشان می‌داد متخصصان چقدر در تخمین ارزش قابلیت‌ها ضعیف عمل می‌کنند.

یعنی:

مالکان محصولی که صرفا به تخصص و تجربه خود تکیه می‌کنند و تصمیم می‌گیرند کدام قابلیت‌ها باید ساخته شوند، کدام موارد در صف کار اولویت دارند یا کدام استراتژی درست است – یعنی در نگرش تصمیم‌گیرنده باقی می‌مانند – بیش از آنکه سود برسانند، به سازمان آسیب می‌زنند.

به همین دلیل، نگرش آزمایشگر، مهم‌ترین نگرشی است که اغلب نادیده گرفته می‌شود و مالکان محصول باید آن را در پیش گیرند.

ابزاری که نارسایی ما را جبران می‌کند

درس تجربه مایکروسافت باید این باشد:

هر ویژگی، هر قابلیت و هر محصولی را قبل از انتشار با آزمون‌های ای/بی آزمایش کن. برای شرکت‌هایی مانند فیسبوک، آمازون، نتفلیکس و گوگل این کار عملی است، اما برای بسیاری دیگر بسیار پرهزینه خواهد بود. پس به رویکردی نیاز داریم که به ما اجازه دهد ایده‌ها را با هزینه کم‌تری بیازماییم.

این ابزار، منحنی حقیقت از گیف کانستبل است.

این منحنی کمک می‌کند تا تلاش و دانش به دست آمده را در نسبت درست قرار دهیم. نشان می‌دهد:

هرچه هزینه یک آزمایش بیشتر باشد، اعتبار بینش‌هایی که از آن کسب می‌کنی نیز بیشتر است – و برعکس.

یا به بیان دیگر: با منابع محدود و سرمایه مالی کم و در غیاب نشانه‌های محکم مبنی بر ارزش‌آفرینی یک قابلیت، باید از یک آزمایش کم‌هزینه استفاده کنیم تا نشانه‌هایی به دست آوریم که آیا ایده ارزشمند است یا خیر.

هدف این است که شرط‌های کوچک – و متعدد – ببندی تا بیشتر یاد بگیری – مشابه بازی پوکر.

اما متاسفانه هنوز بسیاری از مالکان محصول فکر می‌کنند مدیریت محصول را می‌توان با شطرنج مقایسه کرد.

تفکر شرط‌بندی – توضیح چارچوب دی‌آی‌بی‌بی

تفاوت پوکر و شطرنج چیست؟

در شطرنج همه مهره‌ها روی صفحه هستند. اگرچه شطرنج بازی دشواری است، به ویژه در برابر بازیکنان درخشان، اما همه اطلاعات روی صفحه قابل مشاهده است.
در پوکر تنها اطلاعات شناخته شده، کارت‌های خودت و کارت‌های روی میز است. نمی‌دانی دیگر بازیکنان چه کارت‌هایی دارند. نمی‌دانی در دور بعدی چه کارت‌هایی از دسته بیرون کشیده می‌شود.

بنابراین توسعه محصول بیشتر شبیه پوکر است. چون ناشناخته‌ها بسیار بیشتر از شناخته‌هاست. هرگز همه اطلاعات شفاف نیست. و اگرچه مهارت و حرفه‌ای‌گری نقش دارد، اما همیشه عنصری از شانس و بدشانسی وجود دارد.

درست مانند مدیریت محصول.

یک چارچوب تصمیم‌گیری ناب برای تفکر مانند یک بازیکن پوکر، چند سال پیش توسط اسپاتیفای توصیف شد. هدف این است که از واقعیت‌های قابل مشاهده، شرط‌های عملی‌پذیر استخراج شود – مثلا از طریق یک تابلو شرط‌ها نمایش داده شود و به طور مداوم در حلقه بازخورد بررسی شود.

• داده: واقعیت‌ها و نشانه‌های قابل مشاهده (معیارها، روندها، پژوهش کاربری)
• بینش: معنا و تشخیص از دل داده‌ها (واقعا چه چیزی پشت آن است؟)
• باور: فرض و گمانه‌زنی روشن که ما آن را درست می‌دانیم
• شرط: اقدام مشخصی که با آن می‌خواهیم فرض را بیازماییم و ارزش ارائه دهیم (شامل معیارهای موفقیت)

این چارچوب اغلب دی‌آی‌بی‌بی نامیده می‌شود.

اکنون می‌توانیم از منحنی حقیقت استفاده کنیم تا میزان سرمایه‌گذاری در شرط را متناسب با داده‌ها به عنوان نشانه‌های مبتنی بر بازار انتخاب کنیم.

چنین آزمایش‌هایی درون چارچوب دی‌آی‌بی‌بی چگونه می‌توانند باشند؟

نمونه‌هایی از آزمایش‌های موثر محصول

در اینجا فهرستی از آزمایش‌ها آورده شده است.

پیتر و من از این فهرست در دوره آموزشی «مالک محصول حرفه‌ای – پیشرفته» هم استفاده می‌کنیم، وقتی شرکت‌کنندگان را در نقش آزمایشگر قرار می‌دهیم.

• نمونه‌های اولیه کاغذی: با این روش می‌توان طرح‌های احتمالی را سریع و کم‌هزینه ایجاد و آزمایش کرد.
• صفحه پیش‌خرید: در این صفحه، علاقه‌مندان می‌توانند قبل از عرضه رسمی (عمومی) یک محصول یا قابلیت، ثبت نام کنند تا شرکت‌ها میزان علاقه به آن را تخمین بزنند.
• ویدیوهای توضیحی: این ویدیوها نحوه عملکرد یک محصول یا خدمت را توضیح می‌دهند، بدون اینکه محصول به طور کامل آماده باشد.
• صفحات فرود: آزمایش‌های صفحه فرود، تبلیغی برای یک ایده هستند. یک وعده ارزش، دعوت به اقدام و مکانیزم تبدیل ارائه می‌دهند.
• قابلیت ساختگی: در این آزمایش‌ها، با یک دکمه یا پیوند، иллюژن یک عملکرد ایجاد می‌شود، اما کاربر به یک «بن‌بست» نسبی هدایت می‌شود.
• ام‌وی‌پی concierge: همه عملکردهای محصول به صورت دستی اجرا می‌شود و تیم مستقیما با هر مشتری برای حل مشکل او همکاری می‌کند.
• جادوگر شهر اوز: این یک آزمایش است که در آن کاربر با یک رابط محصول تعامل می‌کند که خودکار به نظر می‌رسد، اما در واقع (کاملا یا بخشی) توسط یک انسان در پشت صحنه کنترل می‌شود.

در پایان به فیل اتاق می‌پردازیم:

ارزیابی من: هوش مصنوعی چه تاثیری بر منحنی حقیقت دارد؟

منحنی حقیقت با هوش مصنوعی به طور محسوسی به پایین و چپ منتقل می‌شود.

با تلاش کمتر، نشانه‌های معتبرتری به دست می‌آوری – به ویژه در مراحل اولیه. ابزارهای تبدیل متن به نمونه اولیه، پژوهش کاربری مصنوعی و تحلیل‌های بازار مبتنی بر هوش مصنوعی، چرخه‌های یادگیری را از هفته‌ها به روزها یا ساعت‌ها کاهش می‌دهند.

بدین ترتیب مالکان محصول می‌توانند بسیاری از مراحل اعتبارسنجی را خودشان انجام دهند، قبل از آنکه محقق تجربه کاربری، طراح یا توسعه‌دهنده را برای انجام مشاوره مشتری، پژوهش بازار یا آزمون‌های ای/بی به کار گیرند.

به طور عملی یعنی:

• ایجاد اولین نمونه‌های اولیه از توصیف‌های متنی و آزمایش فوری آن‌ها با وظایف واقعی کاربر. نشانه‌ها به نمونه‌های اولیه قابل کلیک «واقعی» نزدیک می‌شوند، با تلاش به مراتب کمتر.
• استفاده از مصاحبه‌های مصنوعی و نظرسنجی‌های گسترده برای دسته‌بندی اولیه فرضیه‌ها، قبل از به کارگیری پژوهش بازار پرهزینه. این کار زمان را ذخیره می‌کند و به اولویت‌بندی سوالات درست برای کاربران واقعی کمک می‌کند.
• به کارگیری منطق ای/بی مبتنی بر هوش مصنوعی (اولویت‌بندی، کنترل ترافیک) به محض وجود تماس‌های واقعی با کاربر – نشانه‌های بیشتر با هزینه پیاده‌سازی مشابه.
• استفاده از تحلیل‌های بازار و رقابتی مبتنی بر مدل‌های زبانی بزرگ برای استخراج نشانه از حجم داده‌هایی که پیش از این فقط با تیم تحقیقاتی بزرگ ممکن بود.

در اینجا برایم مهم است تاکید کنم:

هوش مصنوعی مسیر رسیدن به حقیقت را تسریع می‌کند، اما اعتبارسنجی گام‌به‌گام را جایگزین نمی‌کند. هزینه کم امروز می‌تواند اعتبار غافلگیرکننده بالایی ارائه دهد، اما ممکن است وسوسه‌کننده باشد تا از بررسی‌های پرهزینه‌تر بعدی صرف نظر کنیم.

اگر می‌خواهی بیشتر در این مورد یاد بگیری و این تکنیک‌ها را به طور عملی امتحان کنی، شرکت در دوره آموزشی «مالک محصول حرفه‌ای – هوش مصنوعی» را توصیه می‌کنم.

در پایان، درخواست من این است:

مالک محصول بودن و آینده‌نگر بودن کافی نیست؛ بدون نگرش آزمایشگری، فقط بودجه را هدر می‌دهی.