مدل تولید کننده ویدیوی Sora OpenAI می تواند بازی های ویدیویی را نیز ارائه دهد

به  گزارش اپ خونه، OpenAI جدید – و اولین – مدل تولید کننده ویدئو، Sora ، می تواند برخی از شاهکارهای سینمایی واقعاً چشمگیر را انجام دهد. اما این مدل حتی از OpenAI هم در ابتدا توانایی بیشتری دارد، حداقل با قضاوت در یک مقاله فنی که منتشر شد.

این مقاله با عنوان «مدل‌های تولید ویدیو به‌عنوان شبیه‌سازهای جهانی» که با همکاری تعدادی از محققان OpenAI نوشته شده است، جنبه‌های کلیدی معماری Sora را باز می‌کند – به عنوان مثال نشان می‌دهد که Sora می‌تواند ویدیوهایی با وضوح تا 1080p و نسبت ابعاد دلخواه تولید کند.

بر اساس این مقاله، Sora قادر است طیف وسیعی از وظایف ویرایش تصویر و ویدیو را، از ایجاد ویدیوهای حلقه ای گرفته تا گسترش ویدیوها به جلو یا عقب در زمان و تغییر پس زمینه در یک ویدیوی موجود انجام دهد.

اما جالب‌ترین چیز برای این نویسنده، توانایی Sora در «شبیه‌سازی جهان‌های دیجیتال» است، همانطور که نویسندگان OpenAI آن را بیان کردند.

در آزمایشی، OpenAI دستورات Sora حاوی کلمه “Minecraft” را تغذیه کرد و از آن خواست تا یک HUD و بازی متقاعد کننده مانند Minecraft – و پویایی بازی، از جمله فیزیک – را ارائه دهد و همزمان شخصیت بازیکن را کنترل کند.

پس چگونه Sora می تواند این کار را انجام دهد؟ خوب، همانطور که توسط محقق ارشد انویدیا، جیم فن ( از طریق کوارتز ) مشاهده شد ، Sora بیشتر یک “موتور فیزیک مبتنی بر داده” است.

این فقط تولید یک عکس یا ویدیو نیست، بلکه تعیین فیزیک هر جسم در یک محیط است – و بر اساس این محاسبات، یک عکس یا ویدیو (یا دنیای سه بعدی تعاملی، در صورت امکان) ارائه می‌کند.

نویسندگان OpenAI می نویسند: “این قابلیت ها نشان می دهد که مقیاس بندی مداوم مدل های ویدئویی مسیری امیدوارکننده به سمت توسعه شبیه سازهای بسیار توانمند دنیای فیزیکی و دیجیتالی و اشیاء، حیوانات و افرادی است که در آنها زندگی می کنند.”

اکنون، محدودیت‌های معمول Sora در حوزه بازی‌های ویدیویی اعمال می‌شود. این مدل نمی تواند به طور دقیق فیزیک فعل و انفعالات اساسی مانند خرد شدن شیشه را تقریب کند و حتی با فعل و انفعالاتی که می‌تواند مدل‌سازی کند، Sora اغلب ناسازگار است – به عنوان مثال نشان دادن شخصی که یک همبرگر می‌خورد اما نمی‌تواند آثار گاز زدن را نشان دهد.

با این حال، به نظر می‌رسد که Sora می‌تواند راه را برای بازی‌های واقع‌گرایانه‌تر – شاید حتی واقعی‌تر – رویه‌ای که به‌صورت رویه‌ای از توضیحات متن تولید می‌شوند، هموار کند.

این به همان اندازه هیجان‌انگیز و وحشتناک است (برای مثال، پیامدهای دیپ‌فیک را در نظر بگیرید) – احتمالاً به همین دلیل است که OpenAI فعلاً Sora را پشت یک برنامه دسترسی بسیار محدود انتخاب کرده است.