تأثیر واقعی هوش مصنوعی روی فرایند طراحی رو چطور اندازه بگیریم؟

تأثیر واقعی هوش مصنوعی روی فرایند طراحی رو چطور اندازه بگیریم؟

ممکنه یک Agent در چند دقیقه چیزی بسازه که قبلاً چند ساعت از یک Designer زمان می‌گرفت.روی کاغذ، این یعنی بهره‌وری بیشتر.اما اگر همون خروجی پر از Componentهای اشتباه، Tokenهای خارج از سیستم و تصمیم‌هایی باشه که Designer باید دوباره بررسی و اصلاحشون کنه، واقعاً چقدر جلو افتادیم؟اینجا یکی از مشکلات اندازه‌گیری تأثیر هوش مصنوعی مشخص می‌شه: معمولاً چیزی رو اندازه می‌گیریم که راحت‌تر دیده می‌شه؛ زمان تولید خروجی. در حالی که ممکنه بخشی از هزینه فقط از مرحله «ساختن» به مرحله «بررسی و اصلاح کردن» منتقل شده باشه.از طرف دیگه، ممکنه هوش مصنوعی زمان یک Task رو نصف نکنه، اما کمک کنه قبل از Development فرضیه‌های بیشتری بررسی کنیم، یک Accessibility Issue رو زودتر پیدا کنیم یا حتی متوجه بشیم راه‌حلی که قصد ساختنش رو داشتیم، انتخاب درستی نیست.در چنین شرایطی، اندازه‌گیری صرف زمان می‌تونه تصویر اشتباهی از تأثیر هوش مصنوعی به ما بده.برای همین سؤال بهتر این نیست که فقط بپرسیم:«چقدر سریع‌تر ساختیم؟»بلکه باید ببینیم:«چه چیزی در نحوه کار کردن و نتیجه کارمون بهتر شده؟»برای پاسخ به این سؤال می‌تونیم تأثیر هوش مصنوعی رو در چند لایه بررسی کنیم:Effort → Quality → System Alignment → Exploration → Collaboration → Outcome

۱. زمان ساخت رو نه؛ زمان رسیدن به خروجی قابل‌قبول رو بسنجیم

فرض کنیم یک Agent در پنج دقیقه یک Interface کامل ساخته.اگر Designer بعد از اون ۴۵ دقیقه برای اصلاح Layout، Stateها، Content و Componentها وقت بذاره، عدد «پنج دقیقه» چیز زیادی درباره بهره‌وری واقعی به ما نمی‌گه.برای همین معیار مفیدتر می‌تونه Time to Acceptable Output باشه؛ یعنی از لحظه شروع کار تا زمانی که خروجی واقعاً آماده Review، Test یا Handoff شده، چقدر زمان صرف شده؟حتی بهتره زمان Review و Correction رو جداگانه هم ثبت کنیم. چون ممکنه با ورود هوش مصنوعی زمان Generation کاهش پیدا کنه، اما زمان اصلاح افزایش پیدا کنه.در چنین شرایطی، هزینه کار حذف نشده؛ فقط به بخش دیگری از Workflow منتقل شده.

۲. فقط حجم خروجی رو نبینیم؛ کیفیتش رو هم اندازه بگیریم

هوش مصنوعی تولید Option رو خیلی ارزان‌تر کرده.حالا می‌تونیم در مدت کوتاهی چند Layout، Flow یا Prototype مختلف داشته باشیم. اما تعداد بیشتر خروجی الزاماً نشون نمی‌ده که فرایند طراحی بهتر شده.اگر تعداد Screenها دو برابر شده، اما هم‌زمان تعداد Revisionها، Accessibility Issueها و مشکلات Interaction هم افزایش پیدا کرده، نمی‌تونیم صرفاً براساس حجم Output از افزایش بهره‌وری صحبت کنیم.برای سنجش کیفیت می‌تونیم چیزهایی مثل تعداد Issueهای پیدا‌شده در Design Review، میزان Rework بعد از Handoff، تعداد Iteration تا تأیید نهایی یا مشکلات شناسایی‌شده در Usability Test رو دنبال کنیم.در واقع سؤال مهم این نیست که:«چقدر بیشتر ساختیم؟»بلکه اینه:«چه مقدار از چیزی که ساختیم واقعاً قابل‌استفاده بود؟»

۳. هماهنگی خروجی با Design System رو وارد اندازه‌گیری کنیم

برای تیم‌های Design System، کیفیت یک بُعد دیگه هم داره: System Alignment.ممکنه هوش مصنوعی یک صفحه کامل رو خیلی سریع تولید کنه، اما داخل اون به‌جای Componentهای موجود، Component جدید بسازه، از مقدار مستقیم رنگ به‌جای Semantic Token استفاده کنه، Spacing خارج از Scale ایجاد کنه یا Patternی بسازه که مسئله‌اش قبلاً در سیستم حل شده.از نظر سرعت، خروجی موفق به نظر می‌رسه.اما از دید Design System، ممکنه همین خروجی Debt جدید ایجاد کرده باشه.برای اندازه‌گیری این بخش می‌تونیم بررسی کنیم چه مقدار از Componentهای موجود استفاده شده، چند Override غیرضروری ایجاد شده، چند مقدار خارج از Tokenها وجود داره و چند Pattern موازی با سیستم ساخته شده.این مسئله با ورود Agentها اهمیت بیشتری هم پیدا می‌کنه.چون اگر Agent به Context سیستم دسترسی نداشته باشه، ممکنه فقط چیزی رو که قبلاً دستی و آهسته اشتباه می‌ساختیم، حالا در مقیاس بزرگ‌تر و با سرعت بیشتری اشتباه بسازیم.پس یکی از معیارهای موفقیت هوش مصنوعی برای Design System می‌تونه این باشه:آیا سرعت تولید بالا رفته، بدون اینکه System Debt هم همراهش بالا بره؟

۴. بررسی کنیم آیا فضای بیشتری برای Exploration ساخته شده

همه ارزش هوش مصنوعی قرار نیست در کاهش زمان دیده بشه.فرض کنیم قبلاً در زمان موجود می‌تونستیم دو Direction رو برای یک مسئله بررسی کنیم. حالا در همون زمان می‌تونیم چند فرضیه رو Prototype کنیم، Edge Caseهای بیشتری رو ببینیم و بعضی راه‌حل‌ها رو قبل از Development کنار بذاریم.زمان پروژه شاید تغییر زیادی نکرده باشه، اما نوع استفاده ما از اون زمان تغییر کرده.با این حال، تعداد Option هم معیار کاملی نیست.ساخت ده Variation از یک Card لزوماً به معنی Exploration بیشتر نیست. ممکنه هر ده مورد تقریباً یک ایده باشن.برای همین بهتره ببینیم چند فرضیه واقعاً متفاوت بررسی شده، چند Assumption قبل از تصمیم نهایی Challenge شده و چند راه‌حل قبل از صرف هزینه Development کنار گذاشته شده.در این حالت، ارزش هوش مصنوعی نه در تولید بیشتر، بلکه در بزرگ‌تر کردن فضای تصمیم‌گیری قبل از ساخت دیده می‌شه.

۵. تأثیر روی همکاری تیم رو هم ببینیم

بخشی از تأثیر هوش مصنوعی ممکنه اصلاً در Workflow یک Designer دیده نشه، بلکه بین افراد تیم اتفاق بیفته.مثلاً Designer می‌تونه Prototype نزدیک‌تری به Implementation بسازه، Developer سریع‌تر یک Interaction رو بررسی کنه یا تیم Design System بتونه Documentation و Exampleهای بیشتری در اختیار تیم‌های محصول قرار بده.در این حالت می‌تونیم تعداد رفت‌وبرگشت‌های Design و Development، زمان رسیدن به Alignment، سؤال‌های مربوط به نحوه استفاده از Componentها یا میزان Rework بعد از Handoff رو بررسی کنیم.این نگاه رو در تحقیقات Figma هم می‌بینیم. Figma در پروژه چندساله خودش برای بررسی تأثیر هوش مصنوعی فقط Productivity فردی رو اندازه‌گیری نکرده و تغییر در Workflow، Collaboration، Tools، Projects، محصولات و حتی اهداف سازمان رو هم دنبال کرده.این یعنی ممکنه هوش مصنوعی زمان طراحی یک Screen رو خیلی تغییر نداده باشه، اما اصطکاک بین Designer، Developer و Design System رو کاهش داده باشه.این هم Impactه؛ فقط در Stopwatch دیده نمی‌شه.

۶. در نهایت باید به Outcome برسیم

فرض کنیم تا اینجا همه‌چیز بهتر شده.خروجی سریع‌تر آماده می‌شه، کیفیت بالاتره، استفاده از Design System درست‌تره، Exploration بیشتری انجام می‌شه و رفت‌وبرگشت بین Designer و Developer هم کمتر شده.حالا باید یک سؤال دیگه بپرسیم:این تغییرها در نهایت چه چیزی رو بهتر کردن؟ممکنه زمان Release کمتر شده باشه، Task Success افزایش پیدا کرده باشه، Accessibility Issueها کاهش پیدا کرده باشن یا Adoption یک Pattern در محصولات بیشتر شده باشه.حتی ممکنه نتیجه این باشه که تیم قبل از Development متوجه شده یک Feature اصلاً ارزش ساختن نداره.این مورد هم باید به‌عنوان Impact دیده بشه.چون گاهی ارزش هوش مصنوعی در چیزی نیست که کمک کرده سریع‌تر بسازیم؛ در چیزی است که کمک کرده اصلاً نسازیم.

احساس بهره‌وری رو با تأثیر واقعی اشتباه نگیریم

یک ویژگی ابزارهای هوش مصنوعی اینه که Feedback خیلی سریع می‌دن.درخواست می‌دیم و چند ثانیه بعد یک خروجی می‌بینیم. همین سرعت می‌تونه حس قدرتمندی از Productivity ایجاد کنه.اما احساس سریع‌تر بودن همیشه با سریع‌تر بودن واقعی یکی نیست.در یک مطالعه METR روی گروه مشخصی از Developerهای باتجربه Open Source، شرکت‌کنندگان تصور می‌کردن استفاده از ابزارهای هوش مصنوعی سرعت انجام کارشون رو افزایش داده، در حالی که اندازه‌گیری زمان Taskها در شرایط همون آزمایش نتیجه متفاوتی نشون داد.این مطالعه رو نمی‌شه به همه تیم‌ها یا همه کاربردهای هوش مصنوعی تعمیم داد، اما یک نکته مهم داره:برداشت افراد از Productivity رو اندازه بگیریم، اما اون رو جایگزین داده واقعی Workflow نکنیم.

از یک Workflow مشخص شروع کنیم

برای سنجش تأثیر هوش مصنوعی لازم نیست از ابتدا یک Dashboard پیچیده بسازیم.می‌تونیم یک Workflow مشخص انتخاب کنیم؛ مثلاً ساخت Prototype، Documentation، طراحی یک Flow یا فرایند Design-to-Code.بعد برای مدتی چند چیز رو قبل و بعد از استفاده از هوش مصنوعی ثبت کنیم:- برای Effort ببینیم رسیدن به خروجی قابل‌قبول چقدر زمان برده.- برای Quality میزان Rework، Issue و Iteration رو بررسی کنیم.- برای System Alignment استفاده از Componentها، Tokenها و Patternهای سیستم رو بسنجیم.- برای Exploration تعداد فرضیه‌های واقعاً متفاوتی که بررسی شدن رو ببینیم.- برای Collaboration اصطکاک و رفت‌وبرگشت بین نقش‌ها رو دنبال کنیم.- برای Outcome بررسی کنیم در نهایت چه چیزی برای تیم، محصول یا کاربر بهتر شده.با این روش به‌جای اینکه فقط بگیم «از AI استفاده کردیم»، می‌تونیم بفهمیم کجا و چرا استفاده از اون ارزش ایجاد کرده.

استفاده بیشتر از هوش مصنوعی به معنی Impact بیشتر نیست

تعداد Promptها، تعداد Designerهایی که از AI استفاده می‌کنن یا تعداد Prototypeهایی که با Agent ساخته شدن، معیارهای بدی نیستن؛ اما بیشتر از هر چیز Adoption رو نشون می‌دن.ممکنه Adoption بالا باشه و Impact پایین.برای فهمیدن تأثیر واقعی باید زنجیره کامل‌تری رو دنبال کنیم:استفاده از هوش مصنوعی → تغییر Workflow → تغییر رفتار تیم و سیستم → Outcomeبرای ما در Design System، سؤال اصلی نباید فقط این باشه که:«چطور هوش مصنوعی رو بیشتر وارد Workflow کنیم؟»سؤال مهم‌تر اینه:«کجای Workflow استفاده از هوش مصنوعی واقعاً باعث تصمیم بهتر، خروجی باکیفیت‌تر و هماهنگی بیشتر با سیستم می‌شه؟»چون در نهایت هدف Design System هم تولید تعداد بیشتری Component یا Screen نیست؛ هدف اینه که تصمیم‌های درست بتونن با هزینه کمتر، کیفیت بالاتر و Consistency بیشتری در محصولات تکرار بشن.اگر هوش مصنوعی این مسیر رو بهتر کنه، اونجاست که می‌تونیم از تأثیر واقعی صحبت کنیم.