بازسازی تیم «رفتار مدل» در OpenAI و آغاز پروژه جدید Joanne Jang

به گزارش اپ خونه، شرکت OpenAI در حال بازسازی تیم Model Behavior، گروهی کوچک اما تأثیرگذار از پژوهشگران است که مسئول شکل‌دهی رفتار و تعامل مدل‌های هوش مصنوعی این شرکت با کاربران هستند.

در یادداشتی که در ماه اوت به کارکنان ارسال شد، Mark Chen، مدیر ارشد پژوهش OpenAI، اعلام کرد که تیم Model Behavior، متشکل از حدود ۱۴ پژوهشگر، به تیم Post Training منتقل خواهد شد. این تیم بزرگ‌تر مسئول بهبود مدل‌های هوش مصنوعی پس از مرحله پیش‌آموزش اولیه است.

به این ترتیب، تیم Model Behavior اکنون به Max Schwarzer، سرپرست تیم Post Training، گزارش خواهد داد. سخنگوی OpenAI این تغییرات را تأیید کرده است.

Joanne Jang رهبر پیشین تیم Model Behavior، تصمیم گرفته است به پروژه جدیدی در OpenAI بپیوندد. او در مصاحبه‌ای اعلام کرد که تیم جدیدی با نام OAI Labs راه‌اندازی خواهد کرد که مسئول اختراع و نمونه‌سازی رابط‌های نوین برای تعامل انسان با هوش مصنوعی است.

Jang توضیح داد:
«هدف من بررسی الگوهایی است که ما را فراتر از مدل‌های چت یا حتی عامل‌های هوش مصنوعی ببرد؛ به سمت ابزارهایی برای فکر کردن، خلق کردن، بازی کردن، انجام دادن، یادگیری و ارتباط.»

تیم Model Behavior از مدل GPT-۴ به بعد، از جمله GPT-4o، GPT-۴.۵ و GPT-۵، بر رفتار و «شخصیت» مدل‌های OpenAI نظارت داشته است.

وظایف اصلی این تیم شامل کاهش sycophancy (تمایل مدل‌ها به موافقت بی‌چون و چرا با کاربران، حتی در صورت غیرمنطقی بودن باورها)، مدیریت سوگیری‌های سیاسی و کمک به تعریف موضع OpenAI در مورد آگاهی هوش مصنوعی بوده است.

در یادداشت داخلی، Chen تأکید کرد که زمان آن رسیده تا فعالیت‌های تیم Model Behavior نزدیک‌تر به توسعه اصلی مدل‌ها قرار گیرد، زیرا شخصیت مدل‌ها اکنون به‌عنوان عامل کلیدی در تکامل فناوری در نظر گرفته می‌شود.

در ماه‌های اخیر، OpenAI تحت نظارت شدید کاربران قرار گرفته است. تغییرات شخصیتی GPT-۵ که نرخ sycophancy را کاهش داده اما احساس سردی ایجاد کرده بود، باعث شد دسترسی به برخی مدل‌های پیشین مانند GPT-4o بازیابی شود و به‌روزرسانی‌هایی برای ایجاد پاسخ‌های «گرم‌تر و دوستانه‌تر» در GPT-۵ منتشر شود، بدون افزایش sycophancy.

همچنین OpenAI و سایر توسعه‌دهندگان مدل‌های هوش مصنوعی باید تعادلی دقیق ایجاد کنند تا چت‌بات‌ها هم دوست‌داشتنی باشند و هم مذبوحانه و همیشه موافق کاربران نباشند.

در این زمینه، والدین یک نوجوان ۱۶ ساله در ایالت کالیفرنیا علیه OpenAI شکایت کردند، زیرا پسرشان برخی افکار خودکشی خود را با ChatGPT در میان گذاشته بود و مدل قادر به جلوگیری از این افکار نبوده است.

Jang قبل از راه‌اندازی تیم Model Behavior، روی پروژه‌هایی مانند DALL-E ۲، ابزار اولیه تولید تصویر OpenAI، کار کرده بود. او پس از نزدیک به چهار سال حضور در OpenAI، در پستی در X اعلام کرد که قصد دارد «چیزی جدید» را در OpenAI آغاز کند و مسئولیت مدیرعاملی OAI Labs را برعهده خواهد گرفت.

در مورد همکاری احتمالی با Jony Ive، طراح ارشد سابق اپل که اکنون روی خانواده‌ای از دستگاه‌های سخت‌افزاری AI با OpenAI کار می‌کند، Jang گفت که آماده بررسی ایده‌های مختلف است اما احتمالاً ابتدا با حوزه‌هایی شروع خواهد کرد که تجربه بیشتری در آن‌ها دارد.