ابزار جدید Nvidia به شما امکان می دهد مدل های GenAI را روی رایانه شخصی اجرا کنید

به گزارش اپ خونه، Nvidia که همیشه مشتاق خرید جدیدترین پردازنده‌های گرافیکی خود است، ابزاری را منتشر می‌کند که به دارندگان کارت‌های GeForce RTX سری ۳۰ و سری ۴۰ اجازه می‌دهد یک چت ربات مبتنی بر هوش مصنوعی را به‌صورت آفلاین بر روی رایانه شخصی ویندوزی اجرا کنند.

این ابزار که Chat with RTX نامیده می‌شود، به کاربران اجازه می‌دهد تا یک مدل GenAI را در امتداد خطوط ChatGPT OpenAI با اتصال آن به اسناد، فایل‌ها و یادداشت‌هایی که می‌تواند پرس و جو کند، سفارشی کنند.

Nvidia در یک پست وبلاگ می‌نویسد:

«کاربران به‌جای جستجو در یادداشت‌ها یا محتوای ذخیره‌شده، می‌توانند به سادگی عبارت‌های جستجو را تایپ کنند. به عنوان مثال، یکی می تواند بپرسد، رستورانی که شریک زندگی من در لاس وگاس توصیه می کرد چه بود؟ و چت با RTX فایل‌های محلی را که کاربر به آن اشاره می‌کند اسکن می‌کند و پاسخ را با متن ارائه می‌کند.»

چت با RTX به طور پیش‌فرض به مدل منبع باز Mistral راه‌اندازی هوش مصنوعی است ، اما از مدل‌های مبتنی بر متن دیگر، از جمله Meta’s Llama 2 پشتیبانی می‌کند .

Nvidia هشدار می‌دهد که دانلود همه فایل‌های ضروری، بسته به مدل(های) انتخابی، فضای ذخیره‌سازی نسبتاً ۵۰ تا ۱۰۰ گیگابایتی را اشغال می‌کند.

در حال حاضر، چت با RTX با فرمت های متن، PDF، .doc، .docx و xml کار می کند. با اشاره برنامه به پوشه ای حاوی فایل های پشتیبانی شده، فایل ها در مجموعه داده های تنظیم دقیق مدل بارگیری می شوند.

علاوه بر این، Chat with RTX می‌تواند نشانی اینترنتی فهرست پخش YouTube را برای بارگیری رونوشت‌های ویدیوهای موجود در فهرست پخش بگیرد و به هر مدلی که انتخاب می‌شود این امکان را می‌دهد تا محتوای خود را جستجو کند.

در حال حاضر، محدودیت‌های خاصی وجود دارد که باید در نظر داشت، که Nvidia اعتبار خود را در یک راهنمای چگونگی بیان می‌کند.

چت با RTX نمی تواند زمینه را به خاطر بیاورد، به این معنی که برنامه هیچ سوال قبلی را هنگام پاسخ دادن به سوالات بعدی در نظر نمی گیرد.

به عنوان مثال، اگر بپرسید “پرنده رایج در آمریکای شمالی چیست؟” و آن را با “رنگ های آن چیست؟” دنبال کنید، چت با RTX متوجه نمی شود که شما در مورد پرندگان صحبت می کنید.

Nvidia همچنین اذعان می‌کند که ارتباط پاسخ‌های برنامه می‌تواند تحت تأثیر طیفی از عوامل قرار گیرد که کنترل برخی از آنها آسان‌تر از سایرین است – از جمله عبارت‌بندی سؤال، عملکرد مدل انتخاب‌شده و اندازه مجموعه داده‌های تنظیم دقیق.

درخواست حقایق تحت پوشش چند سند احتمالاً نتایج بهتری نسبت به درخواست خلاصه ای از یک سند یا مجموعه ای از اسناد دارد.

بنابراین چت با RTX بیش از هر چیزی یک اسباب بازی است که در تولید استفاده می شود. با این حال، برای برنامه‌هایی که اجرای مدل‌های هوش مصنوعی را به صورت محلی آسان‌تر می‌کنند، چیزی وجود دارد که یک روند رو به رشد است.

در گزارش اخیر، مجمع جهانی اقتصاد رشد شگفتی را در دستگاه‌های مقرون‌به‌صرفه‌ای که می‌توانند مدل‌های GenAI را به‌صورت آفلاین اجرا کنند، از جمله رایانه‌های شخصی، تلفن‌های هوشمند، دستگاه‌های اینترنت اشیا و تجهیزات شبکه، پیش‌بینی کرد.

به گفته WEF، دلایل آن مزایای واضح است: مدل‌های آفلاین نه تنها ذاتا خصوصی‌تر هستند – داده‌هایی که پردازش می‌کنند هرگز از دستگاهی که روی آن کار می‌کنند خارج نمی‌شوند – بلکه تاخیر کمتری دارند و نسبت به مدل‌های میزبان ابری مقرون به صرفه‌تر هستند.

البته، ابزارهای دموکراتیزه‌سازی برای اجرا و آموزش مدل‌ها، درها را به روی عوامل مخرب باز می‌کند – یک جستجوی گذرا در Google فهرست‌های زیادی را برای مدل‌هایی به دست می‌دهد که بر روی محتوای سمی وب تنظیم شده‌اند. ا

ما طرفداران برنامه هایی مانند Chat with RTX استدلال می کنند که مزایای آن بیشتر از مضرات آن است. باید منتظر بمانیم و ببینیم.