محیط‌های یادگیری تقویتی؛ میدان رقابت تازه برای پیشرفت هوش مصنوعی
توسط: به گزارش اپ خونه، سال‌هاست مدیران عامل شرکت‌های بزرگ فناوری وعده ساخت «عامل‌های هوش مصنوعی» را داده‌اند که بتوانند به صورت خودکار نرم‌افزارها را اجرا کرده و کارهای مختلف را برای انسان انجام دهند.
اما اگر امروز نگاهی به ابزارهایی مثل ChatGPT Agent از OpenAI یا Comet از Perplexity بیندازید، خیلی زود متوجه محدودیت‌های جدی آن‌ها خواهید شد. توسعه‌ی عامل‌های هوشمند قدرتمندتر نیازمند تکنیک‌های تازه‌ای است که صنعت هنوز در حال کشف آن‌هاست.
یکی از این تکنیک‌ها شبیه‌سازی دقیق محیط‌های کاری برای آموزش عامل‌ها در وظایف چندمرحله‌ای است که به آن‌ها محیط‌های یادگیری تقویتی (Reinforcement Learning Environments یا RL) گفته می‌شود.
همان‌طور که داده‌های برچسب‌گذاری‌شده موتور محرک نسل قبلی هوش مصنوعی بودند، حالا به نظر می‌رسد محیط‌های RL به بخش حیاتی توسعه‌ی عامل‌های هوش مصنوعی تبدیل شده‌اند.
نیاز روزافزون به محیط‌های RL
پژوهشگران، بنیان‌گذاران استارتاپ‌ها و سرمایه‌گذاران می‌گویند آزمایشگاه‌های پیشرو هوش مصنوعی اکنون به شدت به دنبال محیط‌های RL هستند و استارتاپ‌های بسیاری تلاش می‌کنند این نیاز را برطرف کنند.
جنیفر لی، شریک مدیریتی در اندریسن هوروویتز، در گفت‌وگویی توضیح می‌دهد:
«همه‌ی آزمایشگاه‌های بزرگ هوش مصنوعی در حال ساخت محیط‌های RL اختصاصی هستند. اما تولید چنین داده‌هایی بسیار پیچیده است. به همین دلیل، آن‌ها به دنبال تأمین‌کنندگان شخص ثالثی هم هستند که بتوانند محیط‌های باکیفیت و سیستم‌های ارزیابی دقیق ایجاد کنند. همه نگاه‌ها به این فضا دوخته شده است.»
این تقاضا باعث ظهور نسل تازه‌ای از استارتاپ‌های پرسرمایه مانند Mechanize و Prime Intellect شده که می‌خواهند در این حوزه پیشتاز باشند.
همچنین شرکت‌های بزرگ برچسب‌گذاری داده مثل Mercor و Surge هم سرمایه‌گذاری بیشتری روی محیط‌های RL انجام می‌دهند تا همگام با تغییر صنعت از داده‌های ایستا به شبیه‌سازی‌های تعاملی حرکت کنند. حتی برخی آزمایشگاه‌ها مثل Anthropic در حال بررسی سرمایه‌گذاری بیش از یک میلیارد دلار در این زمینه طی سال آینده هستند.
محیط‌های RL دقیقاً چیستند؟
به زبان ساده، محیط‌های RL زمین‌های تمرینی برای عامل‌های هوش مصنوعی‌اند تا وظایف دنیای واقعی را شبیه‌سازی کنند. یکی از کارآفرینان این حوزه ساخت آن‌ها را به «طراحی یک بازی ویدیویی بسیار خسته‌کننده» تشبیه کرده است.
برای مثال، یک محیط می‌تواند مرورگر کروم را شبیه‌سازی کرده و از عامل بخواهد یک جفت جوراب در آمازون بخرد. اگر عامل موفق شود، سیگنال پاداش دریافت می‌کند. اما در عمل، ممکن است در منوهای کشویی گیر کند یا به جای یک جفت، چندین جوراب بخرد. بنابراین محیط باید آن‌قدر دقیق و منعطف باشد که تمام خطاهای احتمالی را شناسایی کرده و بازخورد مناسبی بدهد.
برخی محیط‌ها ساده‌اند و صرفاً آموزش یک وظیفه خاص در نرم‌افزارهای سازمانی را هدف می‌گیرند، اما برخی دیگر پیچیده‌اند و به عامل اجازه می‌دهند از ابزارها، اینترنت یا نرم‌افزارهای مختلف استفاده کند.
بازاری پررقابت
شرکت‌هایی مثل Scale AI، Surge و Mercor که پیش‌تر در زمینه برچسب‌گذاری داده فعال بودند، اکنون تمرکز خود را به محیط‌های RL معطوف کرده‌اند.
برای نمونه، Surge سال گذشته ۱.۲ میلیارد دلار درآمد از همکاری با آزمایشگاه‌هایی مثل OpenAI، گوگل، Anthropic و متا کسب کرده و حالا یک واحد داخلی ویژه برای توسعه محیط‌های RL راه‌اندازی کرده است.
در همین حال، Mercor با ارزشی معادل ۱۰ میلیارد دلار، به دنبال ایجاد محیط‌های RL برای حوزه‌های تخصصی مثل کدنویسی، بهداشت و درمان و حقوق است. مدیرعامل این شرکت معتقد است: «فرصت واقعی در حوزه‌ی محیط‌های RL بسیار بزرگ‌تر از آن چیزی است که بسیاری تصور می‌کنند.»
استارتاپ‌های تازه‌واردی هم وجود دارند که از همان ابتدا تنها بر محیط‌های RL تمرکز کرده‌اند. برای مثال، Mechanize با هدف بلندپروازانه «اتوماسیون همه مشاغل» تأسیس شده و در حال حاضر محیط‌های RL برای عامل‌های کدنویسی هوش مصنوعی طراحی می‌کند. این شرکت حتی به مهندسان نرم‌افزار حقوق‌های نیم میلیون دلاری پیشنهاد داده است.
از سوی دیگر، Prime Intellect که توسط پژوهشگر شناخته‌شده‌ی هوش مصنوعی «آندری کارپاتی» حمایت می‌شود، تلاش دارد با ایجاد یک پلتفرم باز، محیط‌های RL را برای توسعه‌دهندگان مستقل نیز در دسترس قرار دهد؛ مشابه کاری که Hugging Face در حوزه مدل‌های زبانی انجام داد.
چالش مقیاس‌پذیری
پرسش اصلی این است که آیا محیط‌های RL می‌توانند مانند روش‌های قبلی یادگیری ماشین به‌خوبی مقیاس‌پذیر شوند یا خیر.
یادگیری تقویتی طی سال گذشته جهش‌های بزرگی در مدل‌هایی مثل OpenAI o1 و Claude Opus ۴ از Anthropic رقم زده است. این پیشرفت‌ها به‌ویژه اهمیت دارند چون روش‌های سنتی بهبود مدل‌ها اکنون بازده کمتری نشان می‌دهند.
با این حال، کارشناسان نسبت به دشواری‌های مقیاس‌دهی این محیط‌ها هشدار می‌دهند. برخی معتقدند عامل‌ها ممکن است به‌جای یادگیری واقعی، صرفاً به «دور زدن قوانین» برای کسب پاداش روی بیاورند؛ پدیده‌ای که به آن Reward Hacking می‌گویند.
حتی خود کارپاتی نیز در حالی که از محیط‌های شبیه‌سازی‌شده حمایت می‌کند، نسبت به آینده یادگیری تقویتی دیدگاهی محتاطانه دارد:
«من به محیط‌ها و تعاملات عاملی خوش‌بین هستم، اما نسبت به یادگیری تقویتی به‌طور کلی محتاط باقی می‌مانم.»
محیط‌های RL اکنون به یکی از مهم‌ترین میدان‌های رقابت در دنیای هوش مصنوعی تبدیل شده‌اند. آزمایشگاه‌های بزرگ و استارتاپ‌های نوظهور، هر دو به دنبال ساخت محیط‌هایی هستند که بتوانند عامل‌های عمومی‌تر و توانمندتری پرورش دهند.
با این حال، مشخص نیست این مسیر تا چه اندازه مقیاس‌پذیر باشد و چه چالش‌هایی در آینده پیش روی توسعه‌دهندگان قرار گیرد.
اما یک نکته روشن است: همان‌طور که داده‌های برچسب‌گذاری‌شده پایه‌گذار عصر چت‌بات‌ها شدند، محیط‌های RL می‌توانند سرآغاز فصل تازه‌ای در تکامل عامل‌های هوش مصنوعی باشند.
