«رابینسون کلاب»، برند استراحتگاه‌های گروه تی‌یوآی، کار تولید صفحات فرود و تحلیل رقبا را از یکی دو روز به چند ثانیه کاهش داده است؛ این نتیجه یک جریان کاری آزمایش‌محور با هوش مصنوعی است که روی لایه هوش مصنوعی «اوپال» شرکت اپتیمیزلی ساخته شده است.
مایکل ریختر، مدیر بهینه‌سازی نرخ تبدیل رابینسون، این سامانه را با لحن برند، جزئیات محصول، چارچوب‌های صفحه برای کارکردهای مختلف و نمونه‌هایی از الگوهای رفتاری تغذیه کرد و به آن آموخت که مجاز است صفحات را از کدام اجزای مدیریت محتوا (CMS) — بخش‌های پرسش‌های متداول، فهرست نقاط قوت محصول و ماژول‌های تیزر — بسازد.
سرعت ادعاشده از یک روایت مشتری منتشرشده توسط خودِ اپتیمیزلی می‌آید؛ یعنی فروشنده‌ای که این نرم‌افزار را می‌سازد. بخش جالب‌تر ماجرا این است که رابینسون چگونه سامانه را محدود کرد تا خروجی با برند، ساختار صفحه و اجزایی که تیم محتوایش می‌توانست منتشر کند هم‌خوان باشد. پرسش محوری این است که آیا این محدودیت‌ها یک دستیار نوشتن عمومی را به بخشی مفید از پشته تست تبدیل کرده‌اند یا فقط باعث شده‌اند محتوای بیشتری سریع‌تر تولید شود.
پرامپت‌های عمومی کافی نبودند
رابینسون برند استراحتگاه‌های گروه تی‌یوآی، شرکت مسافرتی اروپایی است. ریختر آزمایش‌ها را در پنج برند تی‌یوآی و بیش از ده زبان اروپایی مدیریت می‌کند. او کار را با درخواست متن و ایده تست از «اوپال» آغاز کرد، اما نتایج اولیه بیش از حد عمومی از آب درآمدند. آنگاه زمینه عملیاتی گم‌شده را به آن داد: لحن برند رابینسون، جزئیات محصول، چارچوب‌های صفحه برای کارهای مختلف و نمونه‌هایی از زمان مناسب برای به‌کارگیری الگوهای رفتاری خاص.
او همچنین به سامانه آموخت که چه اجزای مدیریت محتوایی در دسترس‌اند؛ یعنی بلوک‌های سازنده در سیستم مدیریت محتوای رابینسون مثل بخش‌های پرسش متداول، فهرست مزیت‌ها و ماژول‌های تیزر. این موضوع کار را تغییر داد: مدل باید صفحه‌ای را از یک جعبه‌لوازم تأییدشده می‌ساخت، نه اینکه متنی جذاب را در سندی خالی تحویل دهد.
در پستی در لینکدین، ریختر این جریان کاری را مسیری توصیف کرد که از نوشتن ساده با لحن برند به صفحات فرود پیچیده، تحلیل صفحه و بنچمارک رقبا تکامل یافته است. این پست جهت کار را تأیید می‌کند، هرچند هیچ سنجه عملکردی مستقلی ارائه نمی‌دهد.
CMS تبدیل به قید شد
اپتیمیزلی می‌گوید صفحات فرود هوش مصنوعی حاصل، با لحن رابینسون ساخته می‌شوند، از چارچوب صفحه مناسب استفاده می‌کنند و از اجزایی ساخته می‌شوند که تیم از قبل در اختیار دارد. ریختر به فروشنده گفته خروجی را می‌توان مستقیماً در CMS کپی کرد، همراه با توضیحی درباره هر تصمیم. این انتقال‌پذیرترین بخش آزمایش است: هوش مصنوعی به فهرست روشنی از آنچه مجاز بود بسازد نیاز داشت و آن فهرست را دریافت کرد. کتابخانه اجزا به‌مثابه مرزی میان تولید و انتشار عمل کرد.
صرفه‌جویی زمانی گزارش‌شده بزرگ است: کاری که پیش‌تر یکی دو روز می‌برد اکنون در چند ثانیه انجام می‌شود. رابینسون می‌تواند چندین نسخه از یک صفحه را هم برای تست A/B درخواست کند؛ تغییری اساسی در سرعت آزمایش. با این حال، این روایت منتشرشده نمی‌گوید چند نسخه از آن‌ها به یک تست واقعی رسیده‌اند. این عدد گم‌شده مهم است: اگر بازبینی، بررسی حقوقی، پیاده‌سازی یا تخصیص ترافیک همچنان کند بماند، پیش‌نویس‌های سریع باعث تسریع تست نمی‌شوند.
عامل‌ها، عامل‌ها را بررسی کردند
ریختر همچنین عامل‌هایی ساخت تا صفحات رابینسون و پیشنهادهای رقبا را تحلیل کنند. به گفته فروشنده، آن‌ها داستان‌سرایی، ارائه بصری، سئو و دسترس‌پذیری را مقایسه و خلاصه و توصیه تولید می‌کنند. مجموعه‌ای دیگر لحن برند، دقت واقعی، املا و دستور زبان را حسابرسی می‌کند. جریان کاری گزارش‌شده به برخی ارزیابی‌ها نمره احتمال یا اطمینان اضافه می‌کند. یک نمره نمی‌تواند درستی یک پاسخ را اثبات کند، اما عدم‌قطعیت را برای ویرایشگر قابل مشاهده می‌کند و جایی برای تعیین قواعد بازبینی فراهم می‌آورد، مثل الزام بازبینی انسانی زیر یک آستانه توافق‌شده. این کار کنترل کیفیت هوش مصنوعی را به بخشی از سیستم رشد تبدیل می‌کند و آن را از فهرست موارد بعدی خارج می‌سازد. ریختر خروجی را نقطه شروعی توصیف می‌کند که کار سنگین را برمی‌دارد و تصمیم نهایی همچنان با انسان‌هاست.
عدد درآمد متعلق به تست‌های قدیمی‌تر است
اپتیمیزلی کار هوش مصنوعی را در کنار بیش از ۴ میلیون یورو درآمد حاصل از برنامه آزمایش گسترده‌تر رابینسون قرار می‌دهد. ترتیب زمانی اینجا مهم است: دو نمونه درآمدی در این مطالعه موردی از تحقیقات مشتریان پیشین می‌آیند و پیش از هر صفحه تولیدشده با هوش مصنوعی رخ داده‌اند. یک تست، انواع اتاق خانوادگی را حتی وقتی برای تاریخ انتخابی خریدار در دسترس نبودند نمایان کرد و اپتیمیزلی ۲.۵ میلیون یورو درآمد اضافی در مدت اجرای تست گزارش کرد. تست دیگر فیلد کد تخفیف را از مرحله پرداخت به مرحله اول تسویه منتقل کرد و گزارش شد ۱.۷ میلیون یورو در زمان تست تولید کرد، پیش از آنکه برای همه کاربران اجرا شود.
این ارقام نشان می‌دهند رابینسون برنامه‌ای مستقر برای آزمایش دارد و می‌تواند تست‌ها را به نتایج تجاری گره بزند. اما مطالعه موردی هیچ نتیجه تبدیلی برای یک صفحه تولیدشده با هوش مصنوعی، هیچ تعداد تست زنده مبتنی بر هوش مصنوعی، هیچ نرخ ویرایش یا رد و هیچ گروه کنترل دستی ارائه نمی‌دهد. هیچ‌چیز در آن نشان نمی‌دهد اوپال تبدیل یا درآمد را افزایش داده است.
یک تیم رشد می‌تواند این ایده عملیاتی را بدون داشتن گروه یادگیری ماشین بیازماید. یک نوع صفحه تکرارشونده را انتخاب و یک بسته زمینه کوچک از شش عنصر بسازد: زبان برند تأییدشده، ورودی‌های واقعی محصول، چارچوب‌های صفحه‌ای که تیم استفاده می‌کند، نمونه‌های کاربرد خوب، بلوک‌های CMS موجود و یک چک‌لیست بازبینی نام‌دار. سپس ده نسخه دستی را با ده نسخه کمک‌گرفته از هوش مصنوعی مقایسه کند و در صورت امکان بازبینی کیفیت را کورساز کند. ساعات کار، نقص‌های واقعی، اصلاحات برند، سهم پیش‌نویس‌هایی که به انتشار می‌رسند و زمان از بریف تا تست زنده را رصد کند؛ و تنها پس از آن اجازه دهد نرخ تبدیل تصمیم بگیرد که آیا جریان کاری سریع‌تر آزمایش‌های بهتری می‌سازد یا نه. بخش قابل کپی‌کردن، لایه قید و محدودیت است، نه خود مدل.