هوش مصنوعی حالا دیگر در بسیاری از فرایندهای کاری و حتی تصمیم‌گیری‌های کسب‌وکارها جا افتاده است. از سیستم‌های تشخیص تقلب در بانک‌ها گرفته تا پیشنهاد سریال و موسیقی در اپلیکیشن‌های سرگرمی، مدل‌های هوش مصنوعی در زندگی ما انسان‌ها ادغام شده و بر تصمیمات ما تاثیر می‌گذارد. اما یک مشکل اساسی در این میان وجود دارد، وقتی این مدل‌ها در محیط واقعی مستقر شوند، ممکن است رفتارشان به مرور تغییر کند، دچار خطا شود و یا تصمیم‌های جانبدارانه بگیرند، آن‌‎ هم بدون اینکه کسی متوجه شود.

مشاهده‌پذیری در AI یا همان Observability در هوش مصنوعی دقیقا برای حل همین مشکل به وجود آمده است. این رویکرد به شما اجازه می‌دهد از بیرون گود متوجه شوید دقیقا داخل مدل چه اتفاقی می‌افتد. مثلا آیا مدل درست تصمیم می‌گیرد؟ و یا آیا عملکردش در طول زمان افت کرده یا خیر. برای پیدا کردن پاسخ Observability چیست و کاربردهای آن در هوش مصنوعی در این یادداشت همراه ما باشید.

تفاوت Observability و Monitoring در هوش مصنوعی

بسیاری اوقات دو مفهوم مشاهده‌پذیری و مانیتورینگ در هوش مصنوعی با هم اشتباه گرفته می‌شوند، اما یک تفاوت مهم بین آن‌ها وجود دارد. Monitoring در سیستم‌های هوش مصنوعی یعنی نگاه کردن به چیزهایی که از قبل می‌دانید باید به آن‌ها توجه کنید. مثلا از همان ابتدا تعریف می‌کنید اگر دقت مدل به زیر 90 درصد رسید، یک هشدار ارسال کند. این رویکرد بیشتر برای مشکلاتی است که انتظار آن را دارید، اما یک محدودیت بزرگ هم دارد، فقط چیزهایی را می‌بینید که از قبل می‌دانستید باید دنبال آن بگردید.

بیشتر بخوانید: مدل زبانی بزرگ (LLM) چیست و چه کاربردهایی دارد؟

اما AI Observability یک قدم جلوتر حرکت می‌کند. به شما این توانایی را می‌دهد وقتی چیزی غیرمنتظره اتفاق افتاد، بتوانید علت آن را پیدا کنید. در واقع هم کمک می‌کند مشکلات غیرمنتظره را شناسایی کنید و هم باعث می‌شود که علت آن‌‎ها را کشف کنید. به عبارت دیگر Monitoring به شما می‌گوید چیزی اشتباه شده، اما Observability به شما می‌‌گوید چرا این اشتباه صورت گرفته است.

در دنیای هوش مصنوعی، این تفاوت بسیار پررنگ می‌شود. زیرا همواره این تهدید وجود دارد که مدل‌های هوش مصنوعی خیلی ظریف و غیرمنتظره دچار مشکل شوند. مثلا داده‌های ورودی تغییر کند یا ناقص شوند. سوگیری پنهان در خروجی‌ها شکل بگیرد یا مدل روی یک زیرگروه خاص از کاربران بدتر عمل کند. این موارد را نمی‌توان با یک داشبورد ساده پیدا کرد و حتما به دیدی عمیق‌تر و جامع‌تر نیاز هست.

اجزای اصلی Observability در سیستم‌های AI

اجزای اصلی Observability در هوش مصنوعی سه بخش هستند که هر کدام در واقع یک بخش متفاوت از سیستم را زیر نظر می‌گیرند. مشاهده‌پذیری داده، مشاهده‌پذیری مدل و مشاهده‌پذیری زیرساخت. در ادامه همراه ما باشید تا هر کدام را بررسی کنیم:

● لایه اول، مشاهده‌پذیری داده: اول از همه باید بگوییم که همه چیز از داده شروع می‌شود. هوش مصنوعی مثل یک آشپز است که با مواد اولیه سر و کار دارد؛ اگر این مواد فاسد باشند، غذا هم خراب می‌شود. بنابراین اگر داده‌ای که به مدل می‌دهید مشکل داشته باشد، خروجی هم مشکل‌دار می‌شود، حتی اگر مطمئن باشید مدل کاملا سالم است. این لایه مطمئن می‌شود داده‌هایی که به مدل می‌رسد همان چیزی است که مدل با آن آموزش دیده است.

● لایه دوم، مشاهده‌پذیری مدل: این لایه به صورت مستقیم رفتار و عملکرد مدل را زیر نظر می‌گیرد. معیارهایی مانند دقت، صحت و یادآوری در اینجا ردیابی می‌شوند. ولی فقط اعداد کلی کافی نیست، شما باید بدانید که مدل روی کدام زیرگروه‌ها ضعیف‌تر عمل می‎کند و یا آیا تعصب خاصی در خروجی‌ها داشته و آیا تصمیماتش در طول زمان تغییر کرده یا نه. مثلا ممکن است مدل به‌طور کلی دقت ۹۵ درصدی داشته باشه، ولی روی یه گروه خاص از کاربرها فقط ۶۰ درصد دقت داشته باشد و کسی هم متوجه نشود!

● لایه سوم: حتی اگر داده و مدل هر دو سالم باشند، مشکلات زیرساخت می‌تواند کل سیستم را از کار بیاندازد. این لایه می‌‌تواند مواردی مانند تاخیر در پاسخ‌دهی، مصرف CPU و حافظه، نرخ خطا و توان عملیاتی سیستم را رصد کند. به عنوان مثال اگر چت‌بات به یک باره کند شود، این لایه مشخص می‌کند مشکل از کجاست؟ کمبود منابع محاسباتی، شبکه یا باگ نرم‌افزار؟

در نهایت می‌توان گفت که این سه لایه با هم، دید سیصد و شصت‎ درجه‌ای از سیستم هوش مصنوعی به شما می‌دهد که باعث می‌شود ریشه مشکلات را نیز بررسی کنید. 

چرخه حیات ارزیابی‌پذیری هوش مصنوعی

Observability در هوش مصنوعی یک فرآیند مداوم و چرخه‌ای است، نه یک کار یک‌باره. یعنی از همان لحظه‌ای که شروع به آموزش مدل می‌کنید تا وقتی که مدل در محیط واقعی دارد کار می‌کند، باید همه چیز زیر نظر باشد. این چرخه پنج گام اساسی دارد:

• گام اول: آموزش (Training) همه چیز از اینجا شروع می‌شود. در این مرحله، داده‌های اولیه‌ای که مدل با آن‌ها آموزش می‌بیند، ثبت می‌شوند و به عنوان خط مبنا نگه داشته می‌شوند. این خط مبنا بعدها مرجعی است که با آن می‌فهمید مدل دارد درست کار می‌کند یا از مسیر خارج شده است.
• گام دوم: اعتبارسنجی (Validation) قبل از اینکه مدل به دست کاربر واقعی برسد، باید از یک سری تست‌های جدی رد شود. در این مرحله داده‌های تست ثبت می‌شوند و معیارهای کلیدی مثل عملکرد و انحراف بررسی می‌شوند. اگر مشکلی باشد، اینجاست که باید گیر بیفتد، نه بعد از انتشار.
• گام سوم: استقرار (Deploy) مدل منتشر می‌شود، ولی کار تمام نشده. در این مرحله با کمک A/B Testing می‌شود نسخه جدید مدل را با نسخه قبلی مقایسه کرد و در داشبوردهای مدیریتی دید که کدام بهتر عمل می‌کند. این‌طوری انتشار مدل دیگر یک شرط‌بندی نیست.
• گام چهارم: مشاهده (Observe) اینجاست که Observability واقعی شروع می‌شود. به جای اینکه مدام نمودارها را چک کنید، سیستم خودش هشدارهای آنی و خودکار می‌دهد. اگر خطایی در خط لوله مدل باشد یا عملکرد افت کند، بلافاصله خبردار می‌شوید، بدون اینکه لازم باشد دنبالش بگردید. در این مرحله، سیستم علاوه بر پایش مداوم عملکرد، امکان خطایابی مدل‌های هوش مصنوعی در محیط واقعی را نیز فراهم می‌کند و به این ترتیب تیم‌ها می‌توانند علت افت عملکرد، افزایش خطا یا تغییر رفتار مدل را به سرعت شناسایی کنند.
• گام پنجم: اصلاح (Rectify) شناسایی مشکل کافی نیست؛ باید بتوانید ریشه‌اش را هم پیدا کنید. در این مرحله از ابزارهای تبیین‌کننده استفاده می‌شود تا دقیقا مشخص شود چه چیزی باعث افت عملکرد مدل شده و چطور می‌شود سریع‌ترین راه‌حل را پیاده کرد.

این پنج گام، یک چرخه مداوم هستند؛ بعد از اصلاح، دوباره به گام اول برمی‌گردید و چرخه از نو شروع می‌شود. همین تکرار مداوم است که اطمینان می‌دهد مدل‌ها نه فقط امروز، بلکه در طول زمان هم درست و قابل اعتماد کار می‌کنند.

چالش‌های Observability در مدل‌های یادگیری ماشین

پیاده‌سازی Observability در هوش مصنوعی و مدل‌های یادگیری ماشین آن‌قدرها هم ساده نیست. چند چالش جدی وجود دارد که اکثر تیم‎ها با آن دست و پنجه نرم می‌کنند. در ادامه همراه ما باشید تا به برخی از آن‌ها بپردازیم:

● انحراف پنهان و تدریجی: یکی از بزرگ‌ترین چالش‌ها این است که مدل‌های هوش مصنوعی به یکباره از کار نمی‌افتند، بلکه افت عملکرد آن‌ها بسیار تدریجی است. به طوری که ممکن است هفته‌ها و حتی‌ ماه‌ها طول بکشد و کسی هم متوجه تغییرات آن نشود. نکته عجیب این است که در این مدت، مدل تصمیم‌های نه‌چندان درست می‌گیرد و ممکن است کسی از این موضوع خبردار نشود.

● پیچیدگی‌های مدل‌های مدرن: مدل‌های بزرگ امروزی، به خصوص LLM ها، به قدری پیچیده هستند که پیدا کردن دلیل یک تصمیم بسیار سخت است. در واقع وقتی یک مدل با میلیاردها پارامتری یک خروجی اشتباه می‌دهد؛ یافتن ریشه مشکل مانند پیدا کردن سوزن در انبار کاه است.

● پراکندگی ابزارها: مسئله دیگر این است که اکثر تیم‌ها از ابزارهای مختلف و جداگانه‌ای برای نظارت بر داده، مدل و زیرساخت استفاده می‎کنند. وقتی این ابزارها با هم تعامل نداشته باشند و داده‌های خود را به اشتراک نگذارند، در نتیجه یک تصویر ناقص و پراکنده از سیستم ارائه می‌شود که همین موضوع را سخت می‌کند.

● کمبود متخصص: Observability در هوش مصنوعی یک حوزه تخصصی است و به متخصصانی احتیاج دارد که هم با ML آشنا باشند و هم با مفاهیم و زیرساخت آن و هم بتوانند داده‌های آماری را تفسیر کنند. یکی از مسائل و چالش‌های موجود دیگر این است که پیدا کردن چنین ترکیبی از مهارت‌ها در بازار کار بسیار کمیاب است.

مفهوم Observability در MLOps چیست؟

برای بررسی ارتباط بین MLOps و Observability باید ابتدا با MLOps آشنا شویم. این موضوع، به نوعی ترکیب یادگیری ماشین و دواپس بوده و رویکردی است که باعث می‌شود فرآیند توسعه، استقرار و نگهداری مدل‌های هوش مصنوعی به صورت سیستماتیک و قابل تکرار انجام ‌شود.

بیشتر بخوانید: MLOps چیست؟ راهنمای کامل انتخاب بهترین ابزارها و پلتفرم‌های  MLOps

مشاهده‌‍‌پذیری در این چرخه از همان ابتدا باید جاسازی شود، نه اینکه بعدها به عنوان بخشی جدا اضافه شود. به این صورت که در مرحله توسعه، تیم‌ها باید معیارهای پایه‌ای را تعریف کنند که مدل باید به آن برسد. این معیارها بعدها به عنوان مرجع استفاده می‎شوند تا بتوان فهمید که مدل به درستی کار می‌کند یا نه.

وقتی مدل آماده استقرار شد، بررسی‌های خودکار در فرایند یکپارچه‌سازی و تحویل مداوم CI/CD نیز تعبیه می‌شود. یعنی قبل از اینکه یک نسخه جدید از مدل به محیطی واقعی برود، باید از تست‌های عملکردی رد شود و مسلم است که کار جلوی بسیاری از مشکلات را خواهد گرفت.

بعد از استقرار نیز، نظارت بلادرنگ شروع می‎شود و سیستم به صورت مداوم داده‌های ورودی، خروجی‌های مدل و معیارهای عملکردی را رصد می‌کند و اگر انحرافی شناسایی شد، به صورت خودکار فرآیند بازآموزی مدل را آغاز کند.

در نهایت می‌توان گفت این چرخه مداوم نظارت، شناسایی مشکل و بهبود خودکار، چیزی است که مشاهده‌پذیری را از یک ابزار ساده به بخش جدایی‌ناپذیر MLOps تبدیل می‌کند و در نتیجه، مدل‌ها نیز در طول زمان همان ارزشی را که در ابتدا داشتند حفظ می‌کنند.

ابزارهای مهم Observability در AI

هر یک از ابزارهای Observability در Machine Learning روی بخش خاصی از چرخه حیات مدل تمرکز دارند. برخی برای پایش کیفیت مدل مناسب‌اند، برخی برای تحلیل زیرساخت و برخی نیز برای ردیابی رفتار مدل‌های زبانی بزرگ طراحی شده‌اند. این ابزارها برای نظارت بر مدل‌های ML در محیط عملیاتی طراحی شده‌اند و امکان بررسی عملکرد مدل، کیفیت داده‌ها و سلامت زیرساخت را فراهم می‌کنند. در ادامه همراه ما باشید تا مهم‌ترین آن‌ها را بررسی کنیم:

• Confident AI: ابزار Confident AI برای تیم‌هایی است که به دنبال بررسی کیفیت مدل‌های هوش مصنوعی هستند. مثلا می‌خواهند بفهمند که آیا خروجی‌ها واقعا خوب و قابل اعتماد هستند. این ابزار علاوه بر ثبت گزارش رویدادها و ردیابی، کیفیت پاسخ‌ها را هم ارزیابی می‌کند و مثلا به شما می‌گوید مدل دچار توهم شده، کیفیت جواب‌ها افت کرده یا یک پرامپت خاص دیگر مثل قبل خوب کار نمی‌کند.  اگر شما هوش مصنوعی را بخش مهمی از فرایند کسب‌وکار می‌دانید و نه یک پروژه فنی مجزا، این ابزار می‌تواند برای شما جذاب و کاربردی باشد.
• Arize AI: این ابزار شبیه یک مرکز کنترل و پایش مدل‌های یادگیری ماشین است. پس اگر مدل‌های زبانی در مقیاس بزرگ دارید، به شما کمک خواهد کرد زیر پوست مدل را ببینید و رفتار آن را دقیقا زیرنظر بگیرید، خطاهایش را پیدا کنید و عملکردش را تحلیل کنید. تمرکز اصلی این ابزار روی مشاهده و تحلیل مدل‌هاست و بیشتر مناسب تیم‌های داده است.
• Datadog LLM Monitoring: این ابزار بیشتر برای نظارت عملیاتی و زیرساختی مناسب است و اگر شرکت شما از Datadog برای مانیتورینگ سرورها و سرویس‌ها استفاده می‌کند، این قابلیت به شما اجازه می‌دهد مشاهده مدل‌های LLM‌ را کنار بقیه سیستم‌ها داشته باشید. به عنوان مثال شما می‌توانید مصرف توکن، زمان پاسخ و خطاها را رصد کنید، با این حال نباید انتظار داشته باشید کیفیت جواب‌های هوش مصنوعی توسط این ابزار خیلی دقیق بررسی شوند. 
• Langfuse: یکی از محبوب‌ترین ابزارهای متن باز در دنیای مدل‌های زبانی بزرگ و هوش مصنوعی Langfuse است. اگر می‌خواهید همه چیز را خودتان کنترل کنید و داده‌هایتان روی سرور خودتان بماند، گزینه مناسبی است. این ابزار برای عیب‌یابی کردن اپلیکیشن‌های مبتنی بر AI فوق‌العاده است و مسیر کامل درخواست‌ها، پرامپت‌ها و پاسخ‌ها را ثبت می‌کند. البته به این موضوع باید توجه کنید که بررسی و ارزیابی کیفیت پاسخ‌‌ها را باید به وسیله ابزارهای دیگر انجام دهید.
• New Relic AI Monitoring: این ابزار هم درست مانند Datadog از دنیای مانیتورینگ وارد حوزه هوش مصنوعی شده و تمرکزش بیشتری روی عملکرد، هزینه و سلامت سیستم است. اگر قبلا از این ابزار استفاده کرده باشید، حالا می‌توانید اطلاعات مربوط به مدل‌های هوش مصنوعی را در همان داشبوردهای آشنا ملاحظه کنید.
• Weights & Biases: این ابزار که به اختصار W&B نامیده می‌شود، سال‌هاست که بین تیم‌های هوش مصنوعی محبوب است و بیشتر مناسب افرادی است که مدل‌های متنوع را می‌سازند، آزمایش می‌‌کنند و نسخه‌های مختلف آن را با هم مقایسه می‌کنند. قابلیت‌های جدید این ابزار هم برای مدل‌های زبانی کمک می‌کند رفتار مدل را تحلیل کند، اما هنوز بیشتر یک ابزار تحقیقاتی و توسعه‌ای محسوب می‌شود تا یک ابزار برای مشاهده‌پذیری هوش مصنوعی.
• Dynatrace: این ابزار را می‌توان غول Observability در هوش مصنوعی دانست. اگر در یک سازمان بزرگ، از قبل هم کل زیرساخت، شبکه و اپلیکیشن‌های خود را با Dynatrace زیر نظر گرفته باشید، می‌توانید وضعیت سرویس‌های AI را نیز به همان اکوسیستم اضافه کنید و سلامت و عملکرد سیستم را با آن بسنجید.

کاربردهای Observability در سیستم‌های هوش مصنوعی

مشاهده‌پذیری در AI، کاربردهای گسترده‌ای در حوزه‌ها و صنایع مختلف دارد، در ادامه همرا ما باشید تا چند نمونه از آن را با هم بررسی کنیم.

• تشخیص تقلب در فین‌تک: الگوهای تقلب به صورت دائمی در حال تغییر است و اگر مدل هوش مصنوعی نتواند خود را با این تغییرات تطبیق دهد، یا تراکنش‌های سالم را بلاک می‌‎کند، یا تقلب‌های واقعی را از دست می‌دهد. Observability در هوش مصنوعی باعث می‌شود انحراف داده خیلی زود شناسایی شود و قبل از اینکه خسارت مالی یا اعتباری جدی وارد شود، مدل به روز شود.
• سیستم‌های پیشنهاددهنده: همان‌طور که می‌دانید فروشگاه‌های آنلاین و شبکه‌های اجتماعی به شدت به مدل‌های پیشنهاددهنده وابسته هستند. این مدل‎ها باید مدام در فرآیند شخصی‌سازی کردن، دقت را حفظ کنند تا مطمئن شوید که به گروه خاصی از کاربران تعصب ندارند. مشاهده‌پذیری به شما کمک می‎کند تا متوجه شوید چه زمانی و چگونه کیفیت این توصیه‌ها افت کرده است.
• تعمیر و نگهداری هوشمند: یکی از کاربردهای هوش مصنوعی در صنعت، پیش‌بینی خرابی تجهیزات است. اما اگر مدل‌های هوش مصنوعی دچار افت شوند و خرابی را پیش‌بینی نکنند، ممکن است یک خط تولید به طور کامل از کار بیفتد. بنابراین دقیقا همین‌جا AI Observability می‌تواند نجات‌بخش باشد و از خسارت‌های سنگین جلوگیری کند.
• چت‌بات‌‌ها و دستیاران مجازی: مدل‌های زبانی بزرگ و چت‌بات‎ها به Observability احتیاج دارند زیرا باید مطمئن شوید که جواب‌ها دقیق هستند و تعصب جنسیتی یا نژادی ندارند و همچنین کیفیت پاسخ‌ها نیز در طول زمان ثابت می‌ماند.
• سیستم‌های تشخیص پزشکی: در حوزه سلامت، دقت مدل بسیار اهمیت دارد و می‌تواند حتی منجر به تشخیص اشتباه بیماری شود. در اینجا Observability نه یک مسئله فنی، بلکه الزامی اخلاقی و قانونی است و نظارت مستمر بر عملکرد مدل، سوگیری بین گروه‌های مختلف بیمار و کیفیت داده‌های ورودی نیز بسیار حیاتی است.

جمع‌بندی

هوش مصنوعی بدون Observability درست مثل رانندگی با چشم بسته است. شاید مدتی خوب پیش برود، ولی نمی‌دانید کی و کجا مشکل پیدا می‌شود. واقعیت این است که کیفیت مدل‌های هوش مصنوعی رفته رفته افت می‌کند، داده‌ها کم کم تغییر می‌کند و دقت مدل‌ها نیز ذره ذره افت می‌کند. مشاهده‌پذیری مدل باعث می‌شود کیفیت مدل‌ها همواره در سطح مطلوب حفظ شود و با بررسی همزمان سه لایه داده، مدل و زیرساخت، مشکلات نیز به سرعت شناسایی و برطرف شوند. پس اگر می‌خواهید مدل‌های هوش مصنوعی‌تان نه فقط امروز، بلکه در بلندمدت هم ارزش واقعی خود را حفظ کنند، سرمایه‌گذاری روی Observability را از همین ابتدا جدی بگیرید.