Adobe می‌گوید video generation امسال به Firefly می‌آید

به گزارش اپ خونه، کاربران اولین فرصت خود را برای آزمایش مدل هوش مصنوعی Adobe برای تولید ویدیو در عرض چند ماه خواهند داشت.

این شرکت می‌گوید ویژگی‌های ارائه‌شده توسط Adobe’s Firefly Video تا قبل از پایان سال ۲۰۲۴ در برنامه بتا Premiere Pro و یک وب‌سایت رایگان در دسترس خواهد بود.

Adobe می گوید که سه ویژگی – Generative Extend، Text to Video و Image to Video – در حال حاضر در نسخه بتا خصوصی هستند، اما به زودی عمومی خواهند شد.

Generative Extend که به شما امکان می دهد هر ویدیوی ورودی را دو ثانیه افزایش دهید، اواخر امسال در برنامه بتا Premiere Pro جاسازی خواهد شد.

مدل‌های متن به ویدیو و تصویر به ویدیو Firefly که ویدیوهای پنج ثانیه‌ای را از طریق درخواست‌ها یا تصاویر ورودی ایجاد می‌کنند، در اواخر امسال نیز در وب‌سایت اختصاصی Firefly در دسترس خواهند بود. (Adobe اشاره کرد که محدودیت زمانی ممکن است افزایش یابد.)

نرم‌افزار Adobe برای دهه‌ها مورد علاقه خلاقان بوده است، اما ابزارهای مولد هوش مصنوعی مانند اینها ممکن است صنعتی را که این شرکت به آن خدمت می‌کند، خراب کند.

Firefly پاسخ Adobe به موج اخیر مدل‌های هوش مصنوعی مولد، از جمله Sora از OpenAI و Gen-3 Alpha از Runway است.

این ابزارها مخاطبان را مجذوب خود کرده‌اند و در عرض چند دقیقه کلیپ‌هایی می‌سازند که ساختن آن‌ها بدون هوش مصنوعی ساعت‌ها طول می‌کشد.

با این حال، این تلاش‌های اولیه برای ابزارها معمولاً برای استفاده در محیط‌های حرفه‌ای غیرقابل پیش‌بینی در نظر گرفته می‌شوند.

اما کنترل پذیری جایی است که Adobe فکر می کند می تواند خود را متمایز کند. الی گرین‌فیلد، مدیر ارشد فناوری Adobe در رسانه‌های دیجیتال، می‌گوید:

«اشتیاق زیادی برای ابزارهای هوش مصنوعی Firefly وجود دارد که می‌توانند گردش‌های کاری موجود را تکمیل یا تسریع کنند.»

به عنوان مثال، گرین‌فیلد می‌گوید generative fill این ویژگی Firefly که سال گذشته به Adobe Photoshop اضافه شد، «یکی از پرکاربردترین ویژگی‌هایی است که در دهه گذشته معرفی کرده‌ایم».

Adobe قیمت این ویژگی های ویدیویی هوش مصنوعی را فاش نمی کند. Adobe برای سایر ابزارهای Firefly به مشتریان Creative Cloud تعداد معینی «اعتبارات مولد» اختصاص می‌دهد، که در آن یک اعتبار معمولاً یک نتیجه generation را به همراه دارد.

طرح‌های گران‌تر، بدیهی است که اعتبار بیشتری را فراهم می‌کنند.

در یک نسخه نمایشی، گرین‌فیلد ویژگی‌های مبتنی بر Firefly را که اواخر امسال عرضه می‌شوند، به نمایش گذاشت.

Generative Extend می تواند جایی که ویدیوی اصلی متوقف می شود را انتخاب کند و دو ثانیه فیلم اضافی را به روشی نسبتاً یکپارچه اضافه کند.

این ویژگی چند فریم آخر یک صحنه را می گیرد و آنها را از طریق مدل Firefly’s Video اجرا می کند تا چند ثانیه بعدی را پیش بینی کند.

برای صدای صحنه، Generative Extend نویز پس‌زمینه، مانند ترافیک یا صداهای طبیعت را بازسازی می‌کند، اما صدای افراد یا موسیقی را شامل نمی شود. گرین‌فیلد می‌گوید که این برای مطابقت با الزامات مجوز صنعت موسیقی است.

قابلیت متن به ویدیو و تصویر به ویدیو Firefly بیشتر آشنا هستند. آنها به شما این امکان را می دهند که یک پیام متنی یا تصویری را وارد کنید و تا پنج ثانیه ویدیو را دریافت کنید.

کاربران می‌توانند به این تولیدکننده‌های ویدیوی هوش مصنوعی در firefly.adobe.com دسترسی داشته باشند، احتمالاً با محدودیت‌های نرخی که Adobe مشخص نکرده است.

Adobe همچنین می‌گوید ویژگی‌های Text to Video Firefly در املای صحیح کلمات بسیار خوب است، چیزی که مدل‌های ویدیویی با هوش مصنوعی با آن مشکل دارند.

از نظر پادمان‌ها، Adobe در شروع کار با احتیاط اشتباه می‌کند. گرین‌فیلد می‌گوید مدل‌های ویدیویی Firefly دارای موانع و محدودیت ها در تولید ویدیوهایی از جمله برهنگی، مواد مخدر و الکل هستند.

علاوه بر این، او افزود، مدل‌های تولید ویدیوی Adobe بر روی شخصیت‌های عمومی مانند سیاستمداران و افراد مشهور آموزش داده نمی‌شوند. قطعاً نمی توان همین را برای برخی از رقابت ها گفت.