ورود هوش مصنوعی به عرصه ترجمه: معرفی استارتاپ Panjaya و فناوری پیشرفته BodyTalk
به گزارش اپ خونه، در دنیای امروز، هوش مصنوعی مولد فرصت‌های عظیمی را در حوزه ترجمه ایجاد کرده است و یک استارتاپ به نام Panjaya به مرحله‌ای بالاتر از این حوزه قدم گذاشته است: ابزاری برای دوبله هوشمندانه و طبیعی ویدئوها که بر اساس هوش مصنوعی ساخته شده است.
این ابزار قادر است صدای اصلی فرد را به زبان جدیدی بازسازی کرده و حرکت‌های لب و بدن گوینده را به‌صورت خودکار با الگوی جدید گفتار هماهنگ سازد.
رونمایی از محصول BodyTalk و جذب سرمایه
پس از سه سال فعالیت در حالت مخفی، Panjaya اولین نسخه از محصول خود با نام BodyTalk را به همراه جذب اولین سرمایه خارجی خود به مبلغ ۹.۵ میلیون دلار رونمایی کرد.
Panjaya توسط هلیک شانی و آریل شالوم بنیان‌گذاری شده است؛ دو متخصص یادگیری عمیق که بیشتر دوران حرفه‌ای خود را در زمینه تکنولوژی‌های پیشرفته گذرانده‌اند. آنها در سال ۲۰۲۱ از این سمت‌ها کنار رفتند تا به دنبال علاقه خود در استارتاپ‌ها بروند و پس از مدتی گای پیکارز به‌عنوان مدیرعامل به آنها پیوست.
پیکارز، اگرچه از بنیان‌گذاران Panjaya نیست، اما نامی شناخته‌شده است. او در سال ۲۰۱۳ استارتاپی به نام Matcha را به اپل فروخت؛ استارتاپی که یکی از اولین ارائه‌دهندگان راهکارهای کشف و توصیه ویدئوهای پخش آنلاین بود.
آشنایی پیکارز با Panjaya و چشم‌انداز جدید او
پیکارز از طریق سرمایه‌گذاری Viola Ventures، یکی از پشتیبانان Panjaya، با این استارتاپ آشنا شد و بعد از مشاهده دمو از فناوری آنها، تصمیم گرفت به تیم بپیوندد. به گفته او، «دیدن دمو تکنولوژی Panjaya من را شگفت‌زده کرد و بقیه ماجرا تاریخ است.»
فناوری پیشرفته BodyTalk و عملکرد آن
BodyTalk چندین تکنولوژی را که بر جنبه‌های مختلف رسانه‌های مصنوعی متمرکز است، ترکیب می‌کند. این فرآیند با ترجمه صوتی در ۲۹ زبان آغاز می‌شود و سپس گفتار جدید به صدایی شبیه به گوینده اصلی تبدیل می‌شود.
این صدا در نسخه جدیدی از ویدئو اعمال می‌شود که حرکت‌های لب و دیگر حرکات بدن گوینده را به‌صورت خودکار با گفتار جدید هماهنگ می‌کند. این ویدئوها بعد از بارگذاری توسط کاربران به‌طور خودکار پردازش شده و امکانات ویرایش بیشتری در داشبورد ارائه می‌دهد.
پیکارز بیان کرد:
«در Panjaya از بهترین ابزارها استفاده می‌کنیم، و مدل‌های هوش مصنوعی خاص خود را می‌سازیم، جایی که در بازار راه‌حلی وجود ندارد.»
به‌عنوان مثال، موتور همگام‌سازی برای لب این شرکت به‌صورت اختصاصی توسط تیم تحقیقات هوش مصنوعی آنها توسعه یافته است تا کیفیت بالای تطبیق لب‌ها با زوایای مختلف و چندین گوینده را فراهم کند.
تمرکز بر بازار B2B و کاربردهای گسترده
در حال حاضر، تمرکز Panjaya بر روی بازار B2B است و مشتریانی مانند JFrog و سازمان رسانه‌ای TED را در بر می‌گیرد. Panjaya قصد دارد تا در حوزه‌های مختلفی مانند ورزش، آموزش، بازاریابی، بهداشت و درمان به گسترش فعالیت‌های خود بپردازد.
ویدئوهای ترجمه‌شده‌ای که توسط این ابزار تولید می‌شوند، کاملاً طبیعی به نظر می‌رسند، هرچند پیکارز از استفاده از اصطلاح Deepfake برای توصیف فناوری آنها اجتناب می‌کند. او این فناوری را بخشی از دسته‌بندی واقع‌گرایانه عمیق می‌داند و معتقد است که در دسترس قرار دادن ابزارهای این فناوری به صورت محدود، از سوء‌استفاده جلوگیری خواهد کرد.
به گفته او، Panjaya در نظر دارد تا با ابزارهای امنیتی مانند واترمارک از تشخیص و جلوگیری از انتشار رسانه‌های مصنوعی نادرست پشتیبانی کند.
چالش‌های صنعت دوبله هوشمند و بازار بزرگ محتوای دوبله‌شده
در حوزه دوبله هوشمند و ترجمه ویدئو، استارتاپ‌هایی مانند Vimeo، Eleven Labs، Speechify و Synthesis نیز فعالیت دارند. این فناوری‌ها با چالش‌هایی نظیر محبوبیت زیرنویس‌ها روبه‌رو هستند.
بر اساس نظرسنجی شبکه CBS، بیش از نیمی از بینندگان تلویزیون در آمریکا از زیرنویس استفاده می‌کنند که دلایلی همچون ضعف صدای بازیگران، سروصدای پس‌زمینه و یا بودجه محدود تولید دارند.
با این حال، همچنان یک بازار بزرگ برای محتوای دوبله‌شده در سطح جهانی وجود دارد. تحقیقات نشان می‌دهند که محتوایی که به زبان مادری ارائه می‌شود، مخصوصاً در بخش B2B، تعامل بیشتری با کاربران دارد.
TED گزارش داده است که ویدئوهای دوبله‌شده با ابزار Panjaya افزایش بازدیدی معادل ۱۱۵٪ داشته و نرخ تکمیل تماشا نیز دو برابر شده است.
نتیجه‌گیری
استارتاپ Panjaya با محصول BodyTalk تلاش دارد تا تجربه‌ای طبیعی و واقع‌گرایانه از دوبله هوشمند را برای کاربران فراهم کند. این فناوری نه تنها باعث افزایش تعامل و دسترسی به محتوای ویدئویی در زبان‌های مختلف می‌شود، بلکه نوآوری جدیدی در زمینه رسانه‌های مصنوعی به ارمغان می‌آورد.
Panjaya به دنبال این است تا با کنترل دسترسی به ابزارهای خود، از سوء‌استفاده از این فناوری جلوگیری کند و راهکارهایی را برای تشخیص رسانه‌های مصنوعی غیرمجاز ارائه دهد.
