هوش مصنوعی شیائومی به نرخ تولید ۱۰۰۰ توکن در ثانیه دست یافت

به گزارش خبرگزاری آگاه؛ اهمیت دستاورد سخت‌افزاری جدید شیائومی زمانی مشخص می‌شود که سرعت خروجی آن با سایر مدل‌های مطرح بازار مقایسه شود. در حال حاضر مدل‌های پردازشی سنگینی مانند کلود اوپوس ۴.۶ سرعتی در حدود ۷۱ توکن در ثانیه دارند و مدل‌های سبک‌تری مثل جمینای فلش  به نرخ ۱۹۲ توکن در ثانیه می‌رسند، اما پلتفرم می‌مو ۲.۵ پرو در حالت «اولترا اسپید» خروجی خیره‌کننده ۱۰۰۰ تا ۱۲۰۰ توکن در ثانیه را ثبت کرده است. دستیابی به این نرخ پردازش بدون نیاز به تراشه‌های اختصاصی و گران‌قیمت، بلکه صرفاً با بهینه‌سازی‌های نرم‌افزاری روی یک سرور استاندارد مجهز به ۸ پردازنده گرافیکی تجاری محقق شده است.

مهندسی سه‌لایه نرم‌افزاری؛ راز عبور از گلوگاه‌های تاخیر سخت‌افزاری

مهندسان شیائومی و TileRT برای ثبت این رکورد جهانی، یک معماری بهینه‌سازی سه‌لایه را در زیرساخت‌های پردازشی خود پیاده‌سازی کرده‌اند. لایه نخست شامل کوانتایزیشن FP۴ روی لایه‌های تخصصی در ساختار MoE مدل است که حجم داده‌ها را بدون افت کیفیت خروجی به شدت کاهش می‌دهد. در لایه دوم، فناوری رمزگشایی پیش‌بینانه DFlash به کار گرفته شده است که به جای پیش‌بینی تک‌تک کلمات، یک بلوک کامل از توکن‌ها را در هر چرخه پردازشی حدس می‌زند و در تسک‌های برنامه‌نویسی به میانگین پذیرش ۶.۳ توکن از میان ۸ توکن پیشنهادی رسیده است.

در نهایت، لایه سوم مربوط به زمان‌بندی اختصاصی تایل‌آرتی است که خطوط لوله پردازش گرافیکی را به صورت مداوم در حافظه پردازنده گرافیکی مستقر نگه می‌دارد و تاخیر‌های ناشی از سوییچ کردن بین عملگر‌ها را به صفر می‌رساند. این هماهنگی سخت‌افزاری باعث شده است تا صنایعی مانند سیستم‌های شناسایی فوری کلاهبرداری بانکی، سیگنال‌دهی لحظه‌ای بازار‌های مالی و بات‌های هوشمند چندعاملی که تا پیش از این به دلیل محدودیت تاخیر سرور‌ها غیرقابل اجرا بودند، به واقعیت تبدیل شوند.

هزینه سنگین سرعت پردازش و جزئیات فاز دسترسی محدود

کاربران برای دسترسی به این سرعت پردازش ۱۰ برابری باید هزینه بالایی پرداخت کنند. طبق بیانیه شیائومی، تعرفه استفاده از‌API نسخه اولترا اسپید سه برابر نرخ استاندارد مدل MiMo-V۲.۵-Proو تعیین شده است. همچنین دسترسی به این سرویس به صورت عمومی نیست و یک ثبت‌نام محدود از تاریخ ۱۹ خرداد تا ۲ تیرماه برای آن در نظر گرفته شده است که در آن، شرکت‌های تجاری و توسعه‌دهندگان حرفه‌ای در اولویت تایید صلاحیت قرار دارند.

کاربرانی که درخواست آن‌ها تایید شود، به یک محیط چت دوهفته‌ای مجانی دسترسی خواهند داشت که البته قوانین نظارتی سخت‌گیرانه‌ای مانند سقف ۱۰ نوبت انتظار روزانه برای هر حساب کاربری، محدودیت ۳۰ دقیقه‌ای برای هر نشست و قطع خودکار اتصال پس از ۵ دقیقه بیکاری روی آن اعمال می‌شود. شیائومی برای اثبات ادعای خود، نسخه قابل‌اجرای این مدل را روی پلتفرم هاگینگ فیس قرار داده است تا جامعه متن‌باز بتواند به صورت مستقل صحت این رکورد‌های سرعتی را بررسی و آزمایش کند.

انتهای خبر/254887/