تصور کنید پیامی برای دوستتان می‌فرستید و منتظر جوابش می‌مانید. اگر فورا پاسخ بدهد، حس خوبی پیدا می‌کنید، اما اگر چند دقیقه یا حتی چند ساعت طول بکشد، ممکن است اعصابتان خرد شود یا نگران شوید. در دنیای فناوری به این تأخیر بین درخواست و دریافت پاسخ، «latency» می‌گویند. همراه ما باشید تا در این یادداشت شما را با مفهوم latency و روش‌های بهینه‌سازی latency آشنا کنیم.

Latency چیست؟

 Latency یعنی مدت زمانی که طول می‌کشد تا یک درخواست به نتیجه برسد. فرض کنید از یک چت بات هوش مصنوعی مثل ChatGPT یا Gemini سوالی می‌پرسید، سرور ابتدا باید درخواست شما را دریافت و سپس آن را پردازش کند تا بتواند جواب را تولید کند و در نهایت به شما برگرداند. فاصله زمانی بین فشردن دکمه ارسال تا نمایش پاسخ، همان latency یا به عبارت دیگر زمان پاسخ API است.
درست مثل وقتی که به صورت  آنلاین پیتزا سفارش می‌دهید. از لحظه ثبت سفارش تا رسیدن پیتزا به دستتان یک بازه زمانی وجود دارد. اگر این زمان طولانی باشد، حتی اگر پیتزا خوشمزه هم باشد، سرد شده و دیگر از دهان افتاده است. سرویس‌های هوش مصنوعی هم دقیقا همین‌طور هستند!

چرا latency در هوش مصنوعی این‌قدر مهم است؟

در سرویس‌های هوش مصنوعی که تعاملی و زنده هستند؛ مثل چت‌بات‌ها، سرویس‌های تبدیل آنی صوت به متن یا سیستم‌های پیشنهاددهنده در وب‌سایت‌ها، هر میلی‌ثانیه اهمیت دارد. کاربران انتظار دارند سریع پاسخ بگیرند. اگر تأخیر زیاد باشد، احساس کندی سیستم پیش می‌آید و اعتماد کاربر کاهش می‌یابد.

بیشتر بخوانید: وب سرویس چیست؟ و چگونه به کمک برنامه‌نویس‌ها می‌آید؟

در گفتگوهای معمولی بین انسان‌ها، ما طبیعتا انتظار داریم در عرض چشم به هم زدنی، پاسخ بگیریم. هر چیزی بیشتر از این، غیرطبیعی به نظر می‌رسد. همین موضوع درباره تعامل با ربات‌های صوتی هوش مصنوعی هم صدق می‌کند. وقتی زمان پاسخگویی طولانی می‌شود، احساس طبیعی بودن مکالمه از بین می‌رود و عامل هوش مصنوعی شما کند یا حتی خراب به نظر می‌رسد.

بیایید ارتباط با بخش خدمات مشتریان را در نظر بگیرید، اگر مشتری سوالی بپرسد و ربات چندین ثانیه بعد جواب دهد، احتمالا مشتری وسط چت، گفت‌وگو را رها می‌کند و یا فکر می‌کند که ارتباط قطع شده است. اما اگر چت‌بات شما سریع جواب دهد، جریان مکالمه طبیعی به نظر می‌رسد و این باعث ایجاد اعتماد، بهبود تجربه مشتری و افزایش رضایت می‌شود. کاهش تاخیر به خصوص در صنایعی مثل خدمات درمانی و اورژانس که سرعت پاسخگویی حیاتی است، بسیار اهمیت دارد.

چطور می‌توان Latency را در سطح شبکه بهینه کرد؟

اول از همه بیایید ببینیم چرا شبکه و latency به هم مرتبط هستند؟ هر بار که از یک سرویس هوش مصنوعی استفاده می‌کنید، چه چت‌بات، چه ترجمه و چه تحلیل تصویر، داده باید از دستگاه شما به سرور برود و دوباره برگردد. هر چه این مسیر طولانی‌تر یا شلوغ‌تر باشد، تاخیر بیشتر می‌شود. به این تاخیر در انتقال داده، Network latency می‌گویند. پس یکی از اولین جاهایی که می‌توان تاخیر را کم کرد، همین شبکه و انتقال اطلاعات است.

چه عواملی روی latency شبکه تأثیر می‌گذارند؟

• فاصله جغرافیایی: هر چه سرور از کاربر دورتر باشد، داده‌ها مسیر بیشتری باید طی کنند. مثلا اگر کاربری در ایران باشد و سرور در آمریکا، تاخیر بیشتر از حالتی است که سرور در دبی یا ترکیه باشد.
• ترافیک شبکه: اگر تعداد زیادی کاربر همزمان از یک سرور استفاده کنند، صف ایجاد می‌شود و پاسخ‌دهی کند می‌شود.
• پهنای باند و کیفیت اتصال: حتی اگر سرور عالی باشد، اگر سرعت یا کیفیت اینترنت کاربر ضعیف باشد، latency افزایش پیدا می‌کند.
• پروتکل‌ها و رمزگذاری: رخی پروتکل‌ها مثل HTTP یا HTTPS لایه‌های امنیتی دارند که اگر درست تنظیم نشوند، باعث افزایش تأخیر می‌شوند.

روش‌های بهینه‌سازی latency در سطح شبکه

استفاده از CDN (Content Delivery Network): اگر یادتان باشد گفتیم که CDN مثل شعبه‌های محلی یک فروشگاه بزرگ عمل می‌کند. به جای اینکه همیشه از مرکز اصلی خرید کنید، از نزدیک‌ترین شعبه سرویس می‌گیرید. در CDN، داده‌های ثابت روی چندین سرور در نقاط مختلف دنیا ذخیره می‌شوند تا کاربر همیشه به نزدیک‌ترین سرور متصل شود.

بیشتر بخوانید: راهنمای انتخاب API امضای الکترونیکی

• استفاده از (Load Balancer) متعادل‌کننده بار: تصور کنید یک رستوران شلوغ دارید. اگر همه مشتری‌ها فقط به یک پیش‌خدمت مراجعه کنند، شلوغی و تاخیر زیاد می‌شود. اما اگر چند پیش‌خدمت داشته باشید و سفارش‌ها را بین‌شان تقسیم کنید، همه سریع‌تر سفارش خود را تحویل می‌گیرند. Load Balancer دقیقا همین کار را می‌کند، درخواست‌های کاربران را بین چند سرور توزیع می‌کند تا هیچ‌کدام خیلی شلوغ نشوند. نتیجه‌ای که در نهایت شما مشاهده خواهید کرد؛ افزایش عملکرد سرور و کاهش تاخیر قابل توجه است.
• استفاده از (Cache) حافظه موقت: کش یعنی ذخیره‌سازی نتایج قبلی برای استفاده مجدد. مثلا اگر چند کاربر پشت سر هم یک سوال مشابه بپرسند، دیگر نیازی نیست مدل از صفر پاسخ بدهد. به جای پردازش کامل، پاسخ قبلی از RAM یا Redis Cache برگردانده می‌شود و تأخیر به شدت کاهش پیدا می‌کند.
• استفاده از Edge Computing :Edge یعنی لبه شبکه، یعنی به جای اینکه همه پردازش‌ها در سرور مرکزی انجام شود. شما می‌توانید برای برطرف کردن مشکل latency در سطح شبکه بخشی از کار را نزدیک به کاربر، مثلا در سرور محلی، مودم یا دستگاه هوشمند انجام می‌شود. درست مثل اینکه به جای فرستادن همه مواد خام به کارخانه مرکزی، بخشی از تولید را محلی انجام دهید.
• فشرده‌سازی داده‌ها: یکی دیگر از راهکارهای کاهش تاخیر این است که حجم داده ارسالی را کم کنید. هر چه حجم کمتر باشد، انتقال سریع‌تر انجام می‌شود. مثلا به جای ارسال یک عکس ۵ مگابایتی، فقط ویژگی‌های مهم استخراج‌شده را بفرستید.

بهینه‌سازی Latency در سطح مدل و Inference

 یا استنتاج به مرحله‌ای گفته می‌شود که مدل هوش مصنوعی بعد از آموزش، داده ورودی را دریافت می‌کند و خروجی تولید می‌کند. این همان لحظه‌ای است که کاربر سوالی می‌پرسد و مدل باید جواب بدهد.

Inference latency  زمانی است که مدل از لحظه دریافت ورودی تا تولید خروجی طول می‌کشد. مثل یک سرآشپز حرفه‌ای که باید با مهارت و تجربه‌اش، سریع غذا درست کند. هر چه ابزار (سخت‌افزار)، مواد اولیه (داده ورودی) و دستور پخت (ساختار مدل) بهتر باشند، غذا زودتر آماده می‌شود و latency کمتر می‌شود.

روش‌های کاهش تاخیر در سطح مدل

• استفاده از مدل‌های کوچک‌تر (Model Distillation): بزرگ‌ترین عامل افزایش تأخیر، اندازه مدل است. درست است که مدل‌های بزرگ‌تر دقت بیشتری دارند، اما زمان پردازش بیشتری هم می‌خواهند. یکی از مؤثرترین راه‌ها این است که از نسخه‌های فشرده‌تر استفاده کنید. مثلا به جای BERT از DistilBERT استفاده کنید. به این فرایند Model Distillation می‌گویند؛ یعنی یک مدل بزرگ دانشش را به مدل کوچک‌تری منتقل می‌کند. در نتیجه سرعت چند برابر و تأخیر کمتری را تجربه خواهید کرد.
•  انتخاب سخت‌افزار مناسب: مدل‌های هوش مصنوعی روی GPUها، TPUها یا NPUها خیلی سریع‌تر از CPUهای معمولی کار می‌کنند. پس یکی از راه‌های کاهش تاخیر این است که سخت‌افزار درست را انتخاب کنید.
•  استفاده از Quantization: در این روش، وزن‌ها و داده‌های مدل با دقت پایین‌تر، مثلا ۸ بیت به جای ۳۲ بیت، ذخیره می‌شوند. درست مثل اینکه به جای اندازه‌گیری میلی‌متری با سانتی‌متر کار کنید. کمی دقت کم می‌شود، اما سرعت خیلی بالا می‌رود. در نتیجه حافظه و توان پردازش کمتری مصرف می‌شود و تأخیر هم کاهش پیدا می‌کند.
•  Warm-start و Model Caching: یکی از روش‌های کاهش زمان پاسخ API این است که مدل را همیشه در حافظه RAM یا GPU بارگذاری نگه دارید تا لحظه‌ای آماده پاسخگویی باشد. مثل ماشینی که همیشه روشن است و نیازی به استارت زدن ندارد. با این روش زمان بارگذاری مدل به شدت کاهش می‌یابد و زمان پاسخ اولیه خیلی کوتاه می‌شود.

ابزارها و فریم‌ورک‌های کاربردی برای بهینه‌سازی Latency

حالا که با روش‌های بهینه‌سازی latency آشنا شدیم، بیایید ببینیم چه ابزارهایی می‌توانند در عمل به ما کمک کنند:  

• TensorFlow Lite: نسخه سبک TensorFlow که برای موبایل و دستگاه‌های کوچک طراحی شده تا مدل‌های بزرگ روی گوشی یا دوربین هم سریع اجرا شوند.
•  PyTorch Quantization Toolkit: ابزاری که به شما کمک می‌کند مدل‌ها را با دقت کمتر ولی سریع‌تر اجرا کنید. مخصوصاً برای چت‌بات‌ها و مدل‌های متنی مناسب است.
• ONNX Runtime: مثل یک مترجم بین فریم‌ورک‌ها عمل می‌کند که مدل‌های ساخته‌شده با PyTorch یا TensorFlow را روی هر دستگاهی سریع اجرا می‌کند. از Quantization و بهینه‌سازی گراف محاسباتی هم پشتیبانی می‌کند.
• NVIDIA TensorRT: مثل یک موتور توربو برای مدل‌های سنگین عمل می‌کند. روی GPU کار می‌کند و بیشتر برای مدل‌های تصویر، ویدیو و متن‌های بزرگ کاربرد دارد.

جمع‌بندی

در دنیای هوش مصنوعی، Latency  مثل فاصله زمانی بین فشردن پدال گاز و حرکت ماشین است. اگر اتومبیلی که پشت فرمان آن نشستید سریع واکنش نشان دهد، رانندگی لذت‌بخش است، اما اگر چند ثانیه طول بکشد، راننده خسته و بی‌اعتماد می‌شود.

سرویس‌های هوش مصنوعی هم دقیقا همین‌طور هستند، هر میلی‌ثانیه تأخیر روی تجربه کاربر تأثیر می‌گذارد. با بهینه‌سازی latency در لایه شبکه و سبک‌تر کردن مدل‌ها، می‌توانیم این ماشین هوشمند را سریع‌تر کنیم. به یاد داشته باشید که کاهش تاخیر و افزایش عملکرد سرور یعنی ساخت تجربه‌ای سریع، طبیعی و هوشمندانه‌تر برای کاربر درست مثل ماشینی که بی‌درنگ با فشردن گاز، با تمام قدرت به حرکت درمی‌آید.