با استفاده از واگرایی Amari-alpha برای تثبیت آموزش شبکه های طرفداری مولد

شبکه های مخالف مولد (GAN) یکی از محبوب ترین معماری ها برای تولید تصویر است که در تولید نمونه های تصویر با وضوح بالا و با وضوح بالا به پیشرفت قابل توجهی رسیده است. GAN های معمولی قرار است واگرایی Kullbac k-Leibler را بین توزیع تصاویر طبیعی و تولید شده به حداقل برسانند. در این مقاله ، ما شبکه منفی آلفا-واگرایی (آلفا گان) را پیشنهاد می کنیم که واگرایی آلفا را به عنوان عملکرد هدف به حداقل رساندن ژنراتورها اتخاذ می کند. واگرایی آلفا را می توان به عنوان کلی سازی واگرایی Kullback-Leibler ، واگرایی پیرسون χ 2 ، واگرایی هلینجر و غیره در نظر گرفت. آلفا گان ما از عملکرد قدرت به عنوان شکل ضرر مخالف برای تبعید کننده با شاخص های دو مرتبه استفاده می کند. این پارامترهای بیش از حد ، مدل ما را برای تجارت بین توزیع های تولید شده و هدف انعطاف پذیر تر می کند. ما در ادامه تجزیه و تحلیل نظری در مورد چگونگی انتخاب این پارامترهای بیش از حد برای تعادل پایداری آموزش و کیفیت تصاویر تولید شده ارائه می دهیم. آزمایش های گسترده آلفا گان در مجموعه داده های SVHN و Celeba انجام می شود ، و نتایج ارزیابی ثبات آلفا گان را نشان می دهد. نمونه های تولید شده در مقایسه با رویکردهای پیشرفته نیز رقابتی هستند.

1. مقدمه

در سالهای اخیر ، یادگیری عمیق در تحقیقات نظری و بسیاری از سناریوهای کاربردی مانند طبقه بندی تصویر [1،2] ، پردازش زبان طبیعی [3] و تشخیص گفتار [4] به عملکرد باورنکردنی دست یافته است. برای تولید داده های با ابعاد بالا ، مدل های تولیدی مبتنی بر شبکه های عصبی عمیق ، به ویژه شبکه های طرفداری مولد (GAN) [5] به سرعت به قدرتمندترین مدل در یادگیری بدون نظارت از تولید تصویر تبدیل شده اند. در مقایسه با استراتژی های قبلی ، GAN ها قدرت تولید تصاویر با وضوح بالا و زنده را دارند. به طور خلاصه ، GAN ها چارچوبی را برای یادگیری توزیع ضمنی یک مجموعه داده هدف X ارائه می دهند. به طور معمول دو شبکه در معماری GANS وجود دارد: یک شبکه ژنراتور G (·) که تصاویر زنده را تولید می کند ، و یک شبکه تبعیض آمیز D (·) که نمرات را در تصاویر ورودی به دست می آورد. ژنراتور G (·) یک سر و صدای نهفته Z را به عنوان ورودی که از توزیع دلخواه نمونه برداری می شود ، تصویب می کند. تبعیض آمیز D (·) تفاوت بین توزیع نمونه های جعلی تولید شده و داده های واقعی را اندازه گیری می کند. مفهوم اصلی GAN ها این است که به طور همزمان با کاهش شکاف بین دو توزیع تحت اندازه گیری از راه دور ، به طور همزمان ، تبعیض آمیز و ژنراتور را آموزش دهید. کار اخیر نشان می دهد که GAN ها در طیف گسترده ای از برنامه ها از جمله تصویر ، تولید فیلم [6] ، ترجمه تصویر به تصویر [7] و تصویر فوق العاده با وضوح پیشرفت چشمگیری داشته اند [8].

مدل اصلی GAN معرفی شده توسط Goodfellow و همکاران. پیشنهاد شده برای به حداقل رساندن واگرایی جنسن-شانون (JS) بین p real و p fake، که در آن p real نشان دهنده توزیع داده های واقعی ورودی است و p fake مخفف توزیع داده های تولید شده است. از دست دادن آنتروپی متقاطع برای واحد خروجی تشخیصگر استفاده می شود. دو چالش عمده در آموزش GAN ها وجود دارد. یکی تعادل عملکرد بین مولد و تمایزکننده است. در فرآیند آموزش عملی GAN ها، تمایزکنندگان تمایل دارند در بیشتر موارد بهتر از مولدها یاد بگیرند. در نتیجه، مطالعه از داده‌ها برای مولدها دشوار است، زیرا از دست دادن تفکیک‌کننده‌ها نزدیک به 0 می‌شود. مشکل دیگر فروپاشی مدل است، به این معنی که نمونه‌های تولید شده در چند حالت داده فرو می‌ریزند و فاقد تنوع می‌شوند. در ادبیات، تلاش زیادی برای بهبود نه تنها توانایی تولید تصاویر با کیفیت بالا بلکه ثبات همگرایی انجام شده است. برای مثال، حداقل مربعات GAN (LSGAN) [9] از واگرایی Pearson χ 2 استفاده می کند و کمترین تلفات مربع را برای خروجی بحرانی اتخاذ می کند. در [10]، نویسندگان یک مکانیسم جدید f-GAN را برای ارائه یک تعمیم زیبا از GAN پیشنهاد کردند و تابع مقدار را به واگرایی f دلخواه گسترش دادند. در مقایسه با GAN های اصلی، یکی دیگر از سهم های f-GAN این است که تنها به انتشار پشت سر هم تک مرحله ای نیاز است. بنابراین، هیچ حلقه داخلی در الگوریتم وجود ندارد. با این حال، مشکل فروپاشی مدل توسط f-GAN [11] حل نشده باقی می ماند.

برای غلبه بر مشکلات موجود GAN ها، یک مکانیسم موثر توسط Arjovsky و همکاران پیشنهاد شده است: Wasserstein-GAN (یعنی WGAN) [12]. دو پیشرفت اصلی در WGAN وجود دارد: یک هدف جدید بر اساس فاصله Wasserstein (یا فاصله حرکت دهنده زمین) و روش برش وزن. ثابت شده است که فاصله Wasserstein عملکرد همگرایی بهتری نسبت به واگرایی Kullback-Leibler و Jensen-Shannon در [12] دارد. WGAN فاصله تقریبی Wasserstein را برای تخمین فاصله بین نمونه های واقعی و تقلبی روی یک تشخیصگر اعمال می کند. دوگانگی کانتوروویچ-روبینشتاین برای فرمول‌بندی بهینه‌سازی استفاده می‌شود. WGAN اصلی همچنین مستلزم تشخیص تابع پیوسته 1-Lipschitz است که می‌تواند با بستن وزنه‌های مدل در یک فضای فشرده (W = [-0. 01، 0. 01]l) به دست آید، که به آن روش برش وزن می‌گویند. با این دو روش برای بهبود پایداری مدل، WGAN می‌تواند مدل را تا حد بهینه آموزش دهد تا مدل کمتر در معرض فروپاشی قرار گیرد. با این حال، این رویکرد ممکن است منجر به رفتار نامطلوب در عمل شود [13]. برای کاهش این اثر، گلرجانی و همکاران. WGAN پیشنهادی با جریمه گرادیان (WGAN-GP) [13]. WGAN-GP یک جریمه ملایم را برای نقض محدودیت 1-Lipschitz معرفی می کند که تولید تصویر با کیفیت بالا را به قیمت افزایش پیچیدگی محاسبات تضمین می کند. اخیراً بسیاری از محققان به بهینه سازی معماری شبکه برای بهبود پایداری آموزش توجه بیشتری کرده اند. به عنوان مثال، SN-GAN ها [14] یک تکنیک نرمال سازی وزن جدید را ایجاد می کنند که به آن نرمال سازی طیفی می گویند تا روند تمرین را تثبیت کند. اگرچه این رویکردها به طور موثر ثبات تمرین را بهبود می‌بخشند، اما انعطاف‌پذیری کمتری برای ایجاد تعادل بین پایداری تمرین و کیفیت مطلوب تصاویر تولید شده فراهم می‌کنند.

در این مقاله ، ما شبکه های مخالف مولد آلفا (آلفا-گانس) را برای آموزش مدل تولیدی پیشنهاد می کنیم ، که از واگرایی آلفا در هندسه اطلاعات استفاده می کند [15]. توجه داشته باشیم که به اصطلاح آلفا گان در [16] وجود دارد. با این حال ، هیچ ارتباط مستقیمی بین این دو مدل وجود ندارد. آلفا گان در [16] کاربردی از GAN ها در شکل گیری تصویر طبیعی است ، در حالی که آلفا گان پیشنهادی ما عملکرد عینی بهتری را برای طرح آموزش GAN ها فراهم می کند. کار قبلی به پیشرفت های واگرایی آلفا پرداخته و آن را در بسیاری از حوزه ها تعمیم داده است [17،18]. واگرایی آلفا را می توان به عنوان تعمیم عملکردهای مختلف واگرایی ، از جمله واگرایی Kullbac k-Leibler [19] ، واگرایی KL معکوس ، واگرایی پیرسون χ 2 و فاصله هلینجر مشاهده کرد. هر یک با یک مقدار منحصر به فرد آلفا در خانواده آلفا واگرایی مطابقت دارد. ما فرض می کنیم که توزیع داده های دنیای واقعی توسط داده های P مشخص شده است ، هدف شبکه Generator G از طریق توزیع توزیع P FAKE PEAL PEAL PEAL REAL REAL است به گونه ای که P Fake به همان اندازه نزدیک به P واقعی باشد. با این حال ، همیشه حفظ تعادل بین G و D در رویکردهای موجود همیشه یک مشکل دشوار است. سهم اصلی روش ما ارائه یک تابع ارزش جدید است که واگرایی آلفا را به یک مشکل بهینه سازی قابل ردیابی در مدل تولیدی تعمیم می دهد. فرمولاسیون جدید ما به ترتیب شامل پارامترهای بیش از حد دو مرتبه برای D (x واقعی) و D (x جعلی) است که کنترل تجارت بین P واقعی و P را در فرایند آموزش کنترل می کند. علاوه بر این ، ما تجزیه و تحلیل نظری را ارائه می دهیم تا راهنمایی های مؤثر را برای انتخاب این پارامترهای بیش از حد برای ایجاد تعادل بین ثبات آموزش و کیفیت مورد نظر تصاویر تولید شده ارائه دهیم.

ما یک عملکرد هدف جدید را برای GAN ها با الهام از واگرایی آلفا استخراج می کنیم. فرمولاسیون جدید ما پارامترهای سفارش واگرایی آلفا را حفظ می کند که می تواند در پیشرفت آموزش بیشتر دستکاری شود. توجه داشته باشیم که f-gan شکل کلی دیگر از واگرایی آلفا را ارائه می دهد. در مقایسه با اشتقاق در F-GAN ، آلفا گان ما فرمولاسیون قابل تراکتری برای بهینه سازی دارد.

عملکرد از دست دادن مخالف پیشنهادی آلفا گان فرمولاسیون مشابهی با Wasserstein-Gan دارد. این دو پارامتر بیش از حد را برای ایجاد تعادل بین G و D معرفی می کند و می تواند بدون هیچ گونه محدودیت 1-Lipschitz به طور پایدار همگرا شود. بنابراین ، آلفا گان را می توان به عنوان ارتقاء WGAN در نظر گرفت ، و نتایج تجربی عملکرد پیشرفته مدل ما را نشان می دهد.

از طریق عملکرد ارزش جدید ما ، ما بین پایداری آموزش و کیفیت تصاویر تولید شده در GAN ها تجارت می کنیم. این دو ویژگی را می توان با تنظیم بیش از حد پارامترها در هدف کنترل کرد.

بقیه این مقاله به شرح زیر سازماندهی شده است. بخش 2 به طور خلاصه پیشینه واگرایی آلفا و برخی از معماری های پیشرفته GAN ها را مرور می کند. جزئیات بیشتر در مورد آلفا گان پیشنهادی ما به طور رسمی در بخش 3 بیان شده است. در بخش 4 ، نتایج تجربی نشان داده شده است. سرانجام ، ما کار خود را در بخش 5 نتیجه می گیریم.

2. پیشینه و کار مرتبط

در این بخش ، ما اطلاعات لازم را در مورد خانواده آلفا-واگرایی و آنتروپی معرفی می کنیم و رابطه آن را با مدلهای تولیدی جدید توضیح می دهیم. سپس ، ما به برخی از GAN های پیشرفته در ادبیات می پردازیم.

2. 1آنتروپی و واگرایی آلفا

قبل از معرفی واگرایی آلفا ، ابتدا مفهوم آنتروپی اطلاعات را مرور می کنیم. آنتروپی اطلاعات توسط شانون ارائه شده است ، که تعریف مهمی در تئوری اطلاعات است. یک متغیر تصادفی X و چگالی احتمال آن P (x) بدهید ، آنتروپی را می توان به صورت زیر تعریف کرد:

مشاهده می شود که اگر p (x) به توزیع یکنواخت نزدیک شود ، آنتروپی مربوطه بیشتر خواهد شد. اگرچه آنتروپی اطلاعاتی در یادگیری ماشین کاربردهای مستقیم دارد ، آنتروپی متقاطع به طور گسترده در یادگیری ماشین استفاده می شود که از آنتروپی اساسی مشتق شده است:

واگرایی Kullbac k-Leibler (KL) روش دیگری برای اندازه گیری نابرابری توزیع ها است که به آن آنتروپی نسبی نیز گفته می شود. واگرایی KL به عنوان عملکرد ارزش GAN های اصلی تعمیم یافته است. با توجه به دو تراکم احتمال P و Q از متغیر تصادفی X ، واگرایی KL را می توان به صورت زیر تعریف کرد:

عملکرد واگرایی بخش مهمی از چارچوب کلی GAN ها است ، زیرا برای اندازه گیری تفاوت بین دو توزیع داده p واقعی و p جعلی استفاده می شود. GAN های منظم از واگرایی Kullbac k-Leibler به عنوان اندازه گیری منتقد استفاده می کنند ، که ثابت می کند در مطالعات قبلی انتخاب مطلوب نیست. در این کار ، ما از واگرایی آلفا استفاده می کنیم و هدف جدیدی را برای GAN ها در معادله (13) به دست می آوریم. ما ابتدا یک بررسی مختصر از واگرایی آلفا که بر اساس آن مدل آلفا گان ما استوار است ، ارائه می دهیم. در اینجا ، ما عمدتاً دو نوع واگرایی آلفا را معرفی می کنیم: واگرایی Amari-alpha [15] و Rényi-alpha واگرایی [20]. با توجه به دو تراکم احتمال P و Q از متغیر تصادفی θ ، این دو شکل واگرایی آلفا را می توان در آن تعریف کرد< α : α ∈ R \ < 0 , 1 >>به شرح زیر است:

این واگرایی ها مربوط به Chernoff α-COFFIGIEL C α (P: Q) = ∫ P (θ) α Q (θ) 1-α D θ [21] است. لطفاً توجه داشته باشید که هنگامی که α → 0 ، واگرایی Kullbac k-Leibler را می توان از واگرایی Amari و Rényi بازیابی کرد در حالی که α → 1 منجر به واگرایی Kullbac k-Leibler معکوس می شود [22،23]. ما در جدول 1 موارد خاص دیگری از خانواده Amari-alpha-Invivergence را ارائه می دهیم. ما همچنین برخی از خواص مفید واگرایی Amari-alpha [23] را در زیر شامل می کنیم:

(محدب). با توجه به دو توزیع P و Q ، واگرایی آلفا d a p ∥ q یک تابع محدب با توجه به هر دو p و q است. بنابراین برای هر 0 ≥ λ ≥ 1 ، ما داریم

(مثبت بودن دقیق). واگرایی آلفا یک تابع کاملاً مثبت d a p ∥ q ≥ 0 است ، و دارای حداقل منحصر به فرد d a p ∥ q = 0 است اگر و فقط اگر p = q باشد.

ما نشان خواهیم داد که چگونه می توان واگرایی Amari-alpha را در هدف GAN پیشنهادی خود در بخش 3 اتخاذ کرد. یک راهنمایی مؤثر برای انتخاب پارامترهای بیش از حد مناسب برای خانواده غنی آلفا واگرایی نیز ارائه شده است.

2. 2شبکه های مخالف تولیدی

در سال‌های اخیر، شبکه‌های متخاصم مولد (GAN) یکی از جذاب‌ترین معماری‌ها در سیستم‌های یادگیری ماشینی بوده‌اند. از آنجایی که توسط Goodfellow و همکاران پیشنهاد شد. در سال 2014 [5]، انواع بسیار زیادی از GAN توسط محققان تولید شده است. اکثر آنها چارچوب اولیه وانیلی GAN را حفظ می کنند که از دو شبکه عصبی تشکیل شده است: یک ژنراتور G و یک متمایز کننده D. G و D به طور متخاصم در طول مرحله آموزش از یکدیگر یاد خواهند گرفت. شکل 1 نمودار شماتیک GAN های وانیلی را نشان می دهد، جایی که G یک تصویر جعلی را از یک کد نهفته تصادفی z ~ p z تولید می کند و D یاد می گیرد بین نمونه های واقعی و جعلی تمایز قائل شود. ایده کلیدی GAN ها معمولاً به عنوان یک مشکل بازی با هدف حداقل تا حداکثر تعریف می شود. هدف محققان دستیابی به ژنراتور بهینه است که می‌تواند با تنظیم دقیق فراپارامترها، تصاویر زنده با وضوح بالا مشابه تصاویر طبیعی تولید کند. در مرحله بعد، به طور خلاصه برخی از اهداف محبوب مورد استفاده برای آموزش یک مدل تولیدی را نشان می‌دهیم.

2. 2. 1. وانیل گان

GAN اصلی پیشنهاد شده در [5] را می توان به عنوان یک رقابت بین دو شبکه G و D تعریف کرد. هدف حداقل تا حداکثر به طور رسمی به صورت زیر تعریف می شود:

جایی که x مخفف تصویر ورودی است، p real و p fake به ترتیب توزیع دنیای واقعی و داده های تولید شده را نشان می دهند. این هدف از فرمول‌بندی از دست دادن آنتروپی متقاطع باینری پیروی می‌کند. خروجی های تشخیص دهنده D ( · ) در داخل [0، 1] از طریق یک واحد فعال سازی سیگموئید محدود می شوند. تابع ارزش انتقادی نهایی GAN های وانیلی را می توان به عنوان واگرایی جنسن-شانون بین p real و p fake فرموله کرد:

C ( G ) = E x ~ p لاگ واقعی p واقعی ( x ) p واقعی ( x ) + p جعلی ( x ) + E x ~ p لاگ جعلی p جعلی ( x ) p واقعی ( x ) + p جعلی ( x )= 2 · J S (p واقعی ∥ p جعلی) - log 4,

مسئله بهینه‌سازی حداقل حداکثر یک مکانیسم محبوب در مدل‌های مولد عمیق است. با این حال، این مدل از مشکل آموزش نامتعادل دو شبکه عصبی رنج می برد.

2. 2. 2. LSGAN

یکی از انواع GAN ها LSGAN [9] است. در مقایسه با GAN های وانیلی، LSGAN ها افت آنتروپی متقاطع باینری را با حداقل تلفات مربع جایگزین می کنند که خواص بهتری برای بهینه سازی دارد و احتمال اشباع کمتری دارد. LSGAN واگرایی Pearson χ 2 را به عنوان معیار تصمیم اتخاذ می کند. به صورت زیر محاسبه می شود:

min D V LSGAN ( D ) = 1 2 E x ~ p واقعی ( D ( x ) - 1 ) 2 + 1 2 E z ~ p z ( D ( G ( z ) ) ) 2 , min G V LSGAN ( G ) = 1 2E z ~ p z ( D ( G ( z ) ) - 1 ) 2 ,

که z ~ p z نویز نهان ورودی ژنراتور است. LSGAN ها واگرایی Pearson χ 2 را به عنوان معیار تصمیم اتخاذ می کنند:

C ( G ) = 1 2 ∫ X ( 2 p جعلی ( x ) − ( p واقعی ( x ) + p تقلبی ( x ) ) 2 p واقعی ( x ) + p جعلی ( x ) d x = 1 2 χ پیرسون 2 (p واقعی + p جعلی ∥ 2 p جعلی )

نووزین و همکارانیک مکانیسم جدید f-GAN برای ارائه یک تعمیم زیبا از GAN پیشنهاد کرد و تابع مقدار را به واگرایی f دلخواه شامل واگرایی χ2 در [10] گسترش داد. با این حال، هنوز مدلی در حال فروپاشی برای LSGAN و f-GAN وجود دارد.

2. 2. 3. Wasserstein-GAN

برای افزایش بیشتر پایداری GAN ها، Arjovsky و همکاران. فاصله حرکت دهنده زمین (همچنین Wasserstein-1 نامیده می شود) را اعمال کرد که برای اندازه گیری هزینه حمل و نقل بهینه بین دو توزیع استفاده می شود [12]. فاصله Wasserstein به صورت زیر تعریف می شود:

که در آن Π (Pr, Pg) نشان دهنده تمام توزیع های مشترک Pr و Pg است. Wasserstein GAN ها همچنین از دوگانگی Kantorovich-Rubinstein فاصله Wasserstein-1 برای ساخت تابع مقدار استفاده می کنند:

جایی که D باید یک عملکرد 1-Lipschitz باشد و پارامترهای وزن در بازه عددی [-C ، C] قطع می شوند. گلورجان و همکاران. WGAN با پنالتی شیب (WGAN-GP) پیشنهاد شده است [13]. WGAN-GP مجازات نرم را برای نقض محدودیت 1-Lipschitz معرفی می کند ، که تولید تصویر با کیفیت بالا را با هزینه افزایش پیچیدگی محاسبات تضمین می کند. SN-GANS [14] یک روش عادی سازی وزن جدید ایجاد می کند که برای تثبیت فرایند آموزش ، عادی سازی طیفی نامیده می شود. اگرچه این رویکردها به طور مؤثر ثبات آموزش را بهبود می بخشند ، اما انعطاف پذیری کمتری برای ایجاد تعادل بین پایداری آموزش و کیفیت مورد نظر تصاویر تولید شده فراهم می کنند.

3. روش پیشنهادی

ما Alpha-Gan خود را معرفی می کنیم ، یک معماری جدید از مدل تولیدی مبتنی بر به حداقل رساندن واگرایی آلفا [15]. فرمولاسیون دقیق آلفا گان در معادله (13) تعریف شده است و ما رابطه بین واگرایی آلفا گان و آلفا را در بخش 3. 2 نشان خواهیم داد.

3. 1فرمولاسیون آلفا

با الهام از واگرایی آلفا ، چارچوب جدید خود را پیشنهاد می کنیم: آلفا گان. بر خلاف GAN های اصلی ، Alpha-Gan لایه خروجی سیگموئید را در شبکه تبعیض آمیز حذف می کند و از دست دادن متقابل آنتروپی باینری را با فرمولاسیون عملکرد قدرت ما جایگزین می کند. روش پیشنهادی بیشتر در مقایسه با WGAN ، دو پارامتر بیش از حد دیگر را معرفی می کند. به طور خاص ، مدل Alpha-Gan مشکل بهینه سازی زیر را حل می کند:

min G max d v alpha - gan (d ، g) = e x ∼ p واقعی (x) |D (x) |a - e z ∼ p z |D (G (Z)) |ب.

Please note that a , b are two-order indices for D ( x ) and D ( G ( z ) ) respectively. They are hyper-parameters introduced to balance the emphasis on D ( x ) and D ( G ( z ) ) during training process. To enhance the convergence stability, our proposed method only considers a , b >0 به منظور جلوگیری از این مورد که یک اصطلاح مانند 1 D A در عملکرد ضرر ظاهر می شود وقتی یک ≤ 0 یا B ≤ 0. هنگامی که خروجی تبعیض آمیز از 1 کوچکتر است ، مقدار از دست دادن بسیار بزرگ خواهد بود و بر این اساس مدل در مرحله آموزش همگرایی کمتری و سخت تر می شود. به روزرسانی دیگر این است که ما مقدار مطلق خروجی تبعیض آمیز را می گیریم. در غیر این صورت ، خروجی یک راه حل بی اهمیت در هنگام a ایجاد می کند< 1 or b < 1 . It seems like the objective function of Alpha-GAN is not immediately related to the formulation of alpha divergence in Equation (5). We will give the detailed theoretical analysis of how to derive Alpha-GAN from alpha divergence in Section 3.2. The training scheme of our Alpha-GAN is shown in Algorithm 1.

در [10] ، f-gan همچنین یک تابع مقدار مربوط به واگرایی آلفا را ارائه می دهد. نویسندگان از طریق محدودیت پایین تر ، به اهداف GAN تعمیم می دهند. هدف f-gan با توجه به واگرایی آلفا را می توان به این ترتیب تعریف کرد:

v f - gan = e x ∼ p واقعی [g f (v (x))] + e x ∼ p fake [ - f * (g f (v (x)))] ، f * (t) = 1 α (t(α - 1) + 1) α α - 1 - 1 α

جایی که V (x) خروجی آخرین لایه شبکه تبعیض آمیز را نشان می دهد و G F فعال سازی خروجی است. برای مقادیر مختلف α در واگرایی آلفا ، فعال سازی G F همچنین فرمولاسیون های مختلفی دارد:

هدف فوق دارای فرمولاسیون و محدودیت های پیچیده ای است که باعث می شود برای بهینه سازی در مدلهای عمیق تولیدی ناخوشایند باشد. علاوه بر این ، مشکل فروپاشی مدل شدید حل نشده است. در روش پیشنهادی ما ، یک عملکرد هدف ساده با یک فرآیند القایی مشابه به عنوان GAN های وانیل ارائه می شود ، که دارای شکل ظریف تری برای تعادل بازده بین ثبات و کیفیت است. تجزیه و تحلیل دقیق از مشتق در بخش بعدی نشان داده خواهد شد.

الگوریتم 1 طرح آموزشی آلفا گان.
ورودی: اندازه دسته ای M ، توزیع هدف P واقعی ، توزیع نویز نهان P Z ، نویز ورودی Z ، بهینه ساز آدام با α ، β 1 = 0. 5 ، β 2 = 0. 999 ، Hyper-Parameters A ، B ، شبکه تبعیض آمیز D ϕ و شبکه ژنراتور Gθ ، عملکرد مطلق ABS (·).
خروجی: ژنراتور بهینه g θ.
1:	در حالی که طرح تمرینی Alpha-gan انجام دهید
2:	نمونه x i r ∼ p واقعی ، i = 1 ، ⋯ ، m.
3:	نمونه z i ∼ p z ، i = 1 ، ⋯ ، m.
4:	x i g ← g θ (z i) ، i = 1 ، ⋯ ، m
5:	ϕ ← ADAM ( - 1 M ∑ I = 1 M ∇ [ABS (D ϕ (X I R)) A])
6:	ϕ ← ADAM (1 M ∑ i = 1 M ∇ ϕ [abs (d ϕ (x i g)) b])
7:	θ ← ADAM (1 M ∑ I = 1 M ∇ θ [ABS (D (X I G)) B])
8:	پایان دادن
9:	بازگشت G θ

3. 2تحلیل نظری

مدل GAN اصلی از Ian Goodfellow و همکاران. پیشنهاد شده برای به حداقل رساندن واگرایی جنس ن-شنون:

واگرایی JS را می توان به عنوان جمع بندی واگرایی KL نوشت. بنابراین ، معیار نهایی GAN اصلی فاصله KL بین توزیع تصویر حقیقت زمین و یک تولید شده است. با این حال ، بسیاری از نتایج تحقیق ([12]) وجود دارد که نشان می دهد واگرایی KL هدف خوبی برای بهینه سازی نیست. واگرایی آلفا که در رویکرد ما به کار رفته است می تواند به عنوان کلی سازی واگرایی KL تلقی شود و ما قبلاً برخی از خصوصیات اساسی واگرایی آلفا را در بخش 2. 1 ارائه داده ایم.

در مرحله بعد ، ما نشان می دهیم که چگونه آلفا گان با واگرایی آلفا ذکر شده در معادله (5) مرتبط است. ما ابتدا اثبات تبعیض آمیز D * را برای ژنراتور دلخواه G ارائه می دهیم.

برای اثبات بهینه d * تعریف شده در معادله (17) ، ما نشان می دهیم که عملکرد هدف برای تبعیض آمیز D به حداکثر رساندن معادله زیر است:

v (d ، g) = ∫ x p واقعی (x) |D (x) |a d x - ∫ z p z |D (G (Z)) |b d z = ∫ x p واقعی (x) |D (x) |A - P Fake (x) |D (x) |B D X.

In Section 3.1, we already stated that we only consider a , b >0 و ما این تنظیمات را در اثبات نگه می داریم. سپس برای< b , the upper function is concave in [ 0 , ∞ ) . We can take a derivative of it with respect to D and the optimal D * in Equation (17) will be obtained. Since the optimal solution only lies within [ 0 , ∞ ) , we take the absolute value of critic output. □

پس از آن ، ما بهینه d * (x) را در عملکرد هدف اولیه همانطور که در معادله تعریف شده است (13) جایگزین می کنیم. ما می توانیم آن را به شرح زیر اصلاح کنیم:

c (g) = max d v (d ، g) = e x ∼ p واقعی d g * (x) a - e z ∼ p z d g * (g (z)) b = e x ∼ p واقعی d g * (x) a- e x ∼ p fake d g * (x) b = ∫ x p واقعی (x) b · p fake (x) a · p واقعی (x) a - b d x - ∫ x p fake (x) b · p fake (x)a · p real (x) b a - b d x = ∫ x b a a a - b p واقعی (x) b b - a p fake (x) a - b d x - ∫ x b a b a - b p واقعی (x) b b - a p fake (x) a - b d x.

اگر ما α = B B - A ، 1 - α = A - B را بیان کنیم و C = B A A A - B - B A B A - B را تنظیم کنیم ، می توانیم از معادله فوق بدست آوریم:

c (g) = c · ∫ x p واقعی (x) α · p جعلی (x) 1 - α d x = c · (α (α - 1) d a p واقعی ∥ p جعلی + 1).

معیار آموزش نهایی ژنراتور G که در بالا نشان داده شده است می تواند به عنوان یک تغییر خطی از واگرایی آلفا دیده شود. از این رو ، آلفا گان ما قصد دارد فاصله اندازه گیری شده توسط واگرایی آلفا را کاهش دهد. ما می توانیم از طریق تنظیم مقدار پارامترهای بیش از حد A و B ، ترتیب α عملکرد واگرایی را دستکاری کنیم.

3. 3انتخاب پارامترهای بیش از حد

آلفا گان ما برای کنترل میزان بروزرسانی D (X) و D (G (Z)) از دو پارامتر Hyper-Parameter A و B استفاده می کند. مشتق در معادلات (19) و (20) در حال حاضر بیان می کند که تغییر A ، B معادل تنظیم ترتیب واگرایی آلفا است. رابطه بین A و B ترجیحات مدل را در تصاویر واقعی یا تصاویر جعلی نشان می دهد. در عمل ، برای کاربران انعطاف پذیر است که با توجه به نیازهای خاص آنها ، ثبات آموزش و کیفیت مورد نظر تصاویر تولید شده را متعادل کنند. یک مشکل مهم نحوه انتخاب پارامترهای بیش از حد مناسب برای به دست آوردن مدل بهینه است. در اینجا ما برخی از پیشنهادات مفید در مورد انتخاب پارامترها را ارائه می دهیم:

B 2 ≤ A ≤ B: برای اثبات تبعیض بهینه D * در قضیه 4 ، پارامترهای بیش از حد به A تنظیم شده اند< b to satisfy the optimal condition. In the experiments of Alpha-GAN, we find that the scope can be reduced to b 2 ≤ a ≤ b . This will help us to determine ratio between two parameters in the applications. Noting that a = b could also lead to good generation results while it does not satisfy the optimal condition in Theorem 4. We interpret this phenomenon as that the Alpha-GAN has a similar formulation like WGAN when a = b . These can be written as:

v alpha-gan (d ، g) = e x ∼ p واقعی |D (x) |- e z ∼ p z |D (G (Z)) |، v wgan (d ، g) = e x ∼ p واقعی d (x) - e z ∼ p z d (g (z))

a , b ≥ 0.4 : For the training stability of Alpha-GAN model, we only consider a , b >0 برای جلوگیری از فرم هایی مانند 1 D A همانطور که در بخش 3. 1 بیان شده است. در غیر این صورت ، ضرر در هنگام D ≪ 0 بسیار ناپایدار خواهد بود. در آزمایش های ارزیابی ، هنگامی که ما A ، B را تنظیم کردیم< 0.4 , the model cannot converge successfully, and the generated images are very blurred. The small values of parameters mean that the gradients feedback will be multiplied by a small coefficient in back-propagation. It is hard for the generator and discriminator to learn useful information from image data in such settings. Thus, we recommend setting the parameters to a , b ≥ 0.4 .

a , b ≤ 1 : This suggestion is also summarized from the experimental results, and may not always be valid. In the image generation experiments of Alpha-GAN, we find that the loss curves fluctuate largely when a , b >1. با این حال ، کیفیت تصاویر تولید شده خیلی بد نیست. ما معتقدیم که وقتی با مشکلات پیچیده تری مانند مجموعه داده های تصویر بزرگتر روبرو می شود ، این مدل به خوبی همگرا خواهد شد.

یکی از راه های انتخاب پارامترهای بیش از حد مناسب ، اشاره به موارد خاص واگرایی آلفا همانطور که در جدول 1 نشان داده شده است. برای مثال ، ما مشاهده می کنیم که هنگامی که پارامترها به عنوان 2 A = B تنظیم می شوند ، نتیجه همگرایی خوبی حاصل می شود ، که مطابق با آن است. واگرایی Pearson χ 2 در خانواده آلفا واگرایی. ما در حال حاضر α = b b - a را در معادله (20) نشان می دهیم. سپس برای 2 A = B ، می توانیم دریافت کنیم:

و ما همچنین در تجزیه و تحلیل قبلی A ، B ≤ 1 را پیشنهاد می کنیم. در اینجا ما پارامترها را به عنوان a = 1 2 ، b = 1 ساده تر می کنیم. سپس ، از دست دادن مخالف آلفا گان را می توان به این صورت نوشت:

با توجه به اینکه ما ادعا نمی کنیم مقادیر A = 1 2 ، B = 1 یا Pearson χ 2 واگرایی برای آلفا گان بهینه است. این یکی از مشاهدات ما است که چنین تنظیمات پارامتر می تواند عملکرد همگرایی پایدار را در برنامه ها به ارمغان بیاورد ، بنابراین ما یک توصیه منطقی برای اولیه سازی A و B ارائه می دهیم. در [9] ، نویسنده از واگرایی پیرسون χ 2 برای تعمیم LSGAN استفاده می کند. در مقایسه با از دست دادن مخالف LSGAN در معادله (9) ، مدل ما فرمول کاملاً متفاوتی در معادله دارد (23). آلفا گان ما از یک مورد خاص از واگرایی آلفا گرفته شده است ، نه مستقیماً از واگرایی χ 2. ما همچنین اثرات تنظیمات مختلف را در زیر پارامترهای متنوع ارزیابی می کنیم و اثربخشی مکانیسم ما در بخش 4 نشان داده می شود.

4- آزمایشات

در این بخش ، ما آزمایش های گسترده ای را برای ارزیابی روش پیشنهادی انجام می دهیم. ما آلفا گان را با برخی از مدل های پایه مقایسه می کنیم تا نتایج رقابتی رویکرد خود را نشان دهیم. این الگوریتم ها در این بخش با Pytorch [24] اجرا می شوند. کد منبع را می توان در https://github. com/cailk/alphagan یافت.

4. 1مجموعه داده ها

سه مجموعه داده در مقاله ما وجود دارد ، از جمله مجموعه داده های دیجیتال دست نوشته Mnist [25] و دو مجموعه داده تصویر در دنیای واقعی SVHN [26] و Celeba [27].

MNIST: MNIST یک بانک اطلاعاتی گسترده از رقم دست نویس است که شامل یک مجموعه آموزشی از 60،000 تصویر و مجموعه آزمایشی از 10،000 تصویر است. برای مجموعه داده ها 10 برچسب از 0 تا 9 پوند وجود دارد و تمام رقم ها به 28 28 28 نرمال می شوند. ما از MNIST برای ارزیابی اثر تجارت بین دو پارامتر بیش از حد در عملکرد ارزش استفاده می کنیم.

SVHN: SVHN یک مجموعه داده تصویر رنگی در دنیای واقعی است که از شماره های خانه در Google Street View تصاویر بدست آمده است. مجموعه آموزش آن شامل 73،257 32 تصویر دیجیتال است. مجموعه داده SVHN شبیه به MNIST است ، اما از مشکل سخت تر ناشی می شود زیرا همه رقم ها در صحنه طبیعی نمونه برداری می شوند.

Celeba: آخرین مجموعه داده های مورد استفاده در این مقاله Celeba است که یک مجموعه داده ویژگی در مقیاس بزرگ با بیش از 200000 تصویر است. نمونه ها همه تصاویر مشهور رنگی 64 64 هستند. Celeba یک مجموعه داده مهم در سناریوی تولید تصویر است زیرا فقط حاوی اطلاعات مربوط به ویژگی صورت است و برای GAN ها آسان است.

4. 2معماری ها و جزئیات اجرای

معماری ژنراتور و تبعیض آمیز ما بر اساس Infogan طراحی شده است [28]. شبکه ژنراتور توسط یک متغیر نهفته z ∼ N 128 (0 ، I) تغذیه می شود. این ماده حاوی یک لایه کاملاً اتصال است که تانسور ورودی را به اندازه 2 × 2 × 2 ، چهار لایه حلقوی منتقل شده (اندازه هسته = 4 4 4 ، قدم = 2 ، بالشتک = 1) و لایه فعال سازی t a n h می کند. شبکه تبعیض آمیز از 4 لایه حلقوی تشکیل شده است که از ورودی های 32 32 32 ویژگی را استخراج می کند. عملکرد فعال سازی RELU پس از هر لایه در شبکه ژنراتور و Leaky-Relu برای شبکه تبعیض آمیز استفاده می شود. عادی سازی دسته ای در هر لایه از هر دو شبکه استفاده می شود.

برای آلفا گان ما در معادله (13) ، آخرین لایه فعال سازی تبعیض آمیز مانند WGAN [12] را حذف می کنیم ، و یک عملکرد A B S را برای خروجی منتقد اعمال می کنیم. ما برای آموزش شبکه ژنراتور ، با نرخ یادگیری 0. 0002 و میزان پوسیدگی β 1 = 0. 5 ، β 2 = 0. 999 استفاده می کنیم. علاوه بر این ، شبکه تبعیض آمیز نیز با استفاده از یک بهینه ساز آدام با میزان یادگیری 0. 0002 آموزش داده می شود. تعداد کل دوره ها برای Mnist ، Svhn و 30 برای Celeba 50 است. تمام آزمایشات در یک دستگاه با یک پردازنده گرافیکی NVIDIA GTX 1080 انجام می شود.

4. 3معیارهای ارزیابی

اندازه گیری کیفیت تصاویر تولید شده معمولاً یک مشکل مشکل تر و چالش برانگیزتر از تولید تصاویر زنده است. تقریباً غیرممکن است که به طور مستقیم یک هدف در فضای تصاویر طبیعی و تولید شده ایجاد شود. برای اندازه گیری کیفیت نمونه های تصویر تولید شده ، ما از فاصله شروع Fréchet (FID) پیشنهادی در [30] استفاده می کنیم ، که یک متریک معمولاً برای GAN ها است. FID قرار است پیشرفته تر از نمره آغاز (IS) باشد [31] که یک معیار دیگر برای ارزیابی مدلهای تولیدی عمیق است. فرض کنید دو Gaussians چند متغیره x واقعی ∼ n (μ 1 ، σ 1) و x جعلی ∼ N (μ 2 ، σ 2) خروجی فعال سازی 2048 بعدی از لایه استخر-V3 [32] به ترتیب برای نمونه های واقعی و تولید شدهوادFID را می توان به شرح زیر تعریف کرد:

FID به جای ارزیابی نمونه های تولید شده ، آمار تصاویر جعلی را با تصاویر واقعی مقایسه می کند. بنابراین ، FID یک استاندارد مطمئن تر برای اندازه گیری تأثیر GAN ها ارائه می دهد. برای نمره FID ، پایین بهتر است ، به این معنی که نمونه های واقعی و تولید شده مشابه هستند ، با فاصله بین توزیع فعال سازی آنها اندازه گیری می شوند.

4. 4تأثیر بیش از حد پارامترها

در Alpha-Gan ما دو پارامتر Hyper-Parameter A ، B را به عملکرد هدف معرفی می کنیم و آنها را به عنوان چگونگی مورد علاقه مدل می خواهند از توزیع داده های واقعی و جعلی بیاموزیم. برای تأیید تأثیر تغییر مقادیر A و B در معادله (13) ، ما آزمایش های گسترده ای را در مجموعه داده MNIST انجام دادیم تا تجارت بین P واقعی و P جعلی را نشان دهیم.

اول ، ما تنظیمات پارامتر مختلف Alpha-Gan را برای ارزیابی عملکرد همگرایی اساسی در مقادیر مختلف پارامترهای A و B آزمایش می کنیم. نتایج را می توان در جدول 2 یافت. A و B دو پارامتر در از دست دادن مخالف آلفا گان هستند. نماد "√" مدل ها را با تنظیم پارامتر مربوطه می تواند به طور عادی همگرا و تولید تصاویر دیجیتالی با کیفیت بالا بیاد." -" به معنای کیفیت تولید شده توسط مدلهای مربوطه کمی ضعیف است. علاوه بر این ، "×" به این معنی است که مدل نمی تواند همگرا شود و نمونه های تولید شده تار می شوند. ما همچنین می یابیم که وقتی a< 0.4 or b < 0.4 , the model will not converge. Thus, we recommend keeping the parameters greater than or equal to 0.4 . In the theoretical analysis of Alpha-GAN, we suppose a < b to ensure the concavity of objective function. We can see that almost all settings on a >B منجر به عملکرد مدل ضعیف به جز (0. 6 ، 0. 4) ، (0. 8 ، 0. 6) ، (1. 0 ، 0. 8) خواهد بود. شکل 2 منحنی های از دست دادن آموزش این تنظیمات را نشان می دهد ، به این معنی که مدل ها در طول پیشرفت آموزش همگرا نمی شوند. این همچنین نشان می دهد که کیفیت نتایج تولید شده ممکن است هنگام رسیدگی به مجموعه داده های بزرگتر بدتر شود. شایان ذکر است که تمام مدلهای تولیدی با اثرات رضایت بخش دارای یک جفت پارامتر در نسبت B 2 ≤ A ≤ B هستند همانطور که در بخش 3. 3 پیشنهاد می کنیم. توصیه دیگری که ما در تجزیه و تحلیل انتخاب پارامتر ارائه می دهیم A ، B ≤ 1 است و برخی از مدل ها بدون چنین محدودیتی وجود دارد که هنوز هم می توانند همگرا شوند. با این حال ، منحنی های از دست دادن این مدل ها همانطور که در شکل 3 نشان داده شده خوب به نظر نمی رسد.

برای نشان دادن تأثیر پارامترهای بیش از حد بر روی آلفا گان ، برخی از نتایج تولید شده در شکل 4 نشان داده شده است. شاخص A به تدریج به عنوان 0. 3 ، 0. 4 ، 0. 5 و 0. 6 تعیین می شود در حالی که B در 1 ثابت است. این است که وقتی ارزش a را افزایش می دهیم ، کیفیت نمونه های تولید شده بهتر می شود. نمونه های تصویر بسیار فازی هستند و تشخیص آن هنگام A = 0. 3 و A = 0. 4 عملکرد بهتری دارند. هنگامی که a = 0. 5 ، 0. 6 ، مدل می تواند رقم های دستنویس با کیفیت بالا تولید کند. همانطور که قبلاً تفسیر کردیم ، A ، B به ترتیب سطح محدودیت D (x واقعی) و D (x جعلی) را در آلفا گان نشان می دهد. کاهش ارزش یک وسیله کاهش بازخورد شیب خروجی منتقد بر روی داده های واقعی. در این حالت ، تبعیض آمیز اطلاعات کمتری را از داده های حقیقت زمین می آموزد ، نتایج تولید شده فاقد تنوع و غیر واقعی خواهد بود.

یک سؤال بعدی به طور طبیعی مطرح می شود که "آیا می تواند ارزش یک خودسرانه برای تولید نمونه های مناسب و قابل تشخیص باشد؟"در آزمایشات ما ، خاصیت دیگری از آلفا گان را کشف می کنیم ، که نشان می دهد با افزایش A یا B ، منحنی ضرر پایدار می شود. به خصوص هنگامی که یکی از پارامترها بزرگتر از 1 باشد ، از دست دادن خروجی بسیار بزرگ می شود و مدل امکان همگرایی کمتری دارد. به عنوان مثال ، از دست دادن خروجی نهایی تبعیض آمیز فراتر از 1 E 10 در شکل 3C است. بنابراین ، ایجاد تعادل بین ثبات آموزش و کیفیت مورد نظر تصاویر تولید شده ضروری است.

4. 5نتایج تولید

ما در ادامه نتایج تولید شده در مجموعه داده های دنیای واقعی SVHN و CELBA را نشان می دهیم و مدل آلفا گان خود را با برخی از رویکردهای پایه ، از جمله WGAN و WGAN-GP مقایسه می کنیم. مدل ها همه در همان معماری شبکه با تنظیم دقیق اجرا می شوند.

4. 5. 1. مقایسه با مدل های پایه

در این بخش ، ما آزمایش های گسترده ای را برای مقایسه آلفا گان خود با برخی از مدل های تولیدی پایه انجام می دهیم. فاصله شروع Fréchet برای هر ژنراتور آموزش دیده در مجموعه داده Celeba محاسبه می شود. همانطور که گفته شد ، نمره FID پایین تر به این معنی است که GAN ها می توانند نمونه هایی را به داده های واقعی نزدیک تر کنند. ما به طور تصادفی 10،000 تصویر را با هر مدل GAN نمونه می گیریم و نمرات FID مربوطه را در مجموعه داده های حقیقت زمین با بیش از 200000 تصویر محاسبه می کنیم.

شکل 5 نتایج تولید شده در مجموعه داده CelebA مدل ما و برخی از رقبا را نشان می دهد. شکل 5a نمونه های تولید شده توسط WGAN را بدون روش برش وزن نشان می دهد و نتایج کاملاً خوب نیستند. با توجه به تجزیه و تحلیل نظری WGAN، برش وزن خاصیت پیوسته 1-Lipschitz از تمایز و ثبات همگرایی را تضمین می کند. این موضوع کیفیت پایین تصاویر نشان داده شده را توضیح می دهد. نمونه های WGAN اصلی در شکل 5b نشان داده شده است، مشاهده می کنیم که نتایج بهتر می شوند اما هنوز به اندازه کافی خوب نیستند. در شکل 5c، نتایج WGAN-GP کیفیت بالاتری دارند و قابل تشخیص هستند. به طور مشابه، Alpha-GAN ما می تواند نمونه های رقابتی را بدون اعمال جریمه گرادیان تولید کند. جدول 3 فاصله اولیه Fréchet Alpha-GAN ما و برخی از مدل های GAN برجسته را در مجموعه داده CelebA و SVHN نشان می دهد. Alpha-GAN پیشنهادی ما به وضوح از WGAN و WGAN-GP بهتر عمل می کند.

4. 5. 2. نتایج ایجاد شده

ما همچنین مدل خود را بر روی SVHN و CelebA با چندین تنظیمات فراپارامتر مختلف ارزیابی می کنیم. نمونه های تولید شده در شکل 6 نشان داده شده است. همانطور که مشاهده می شود، شکل 6a-c برخی از تصاویر نمونه را به ترتیب با a = 0. 4، a = 0. 5 و a = 0. 8 نشان می دهد. با افزایش مقدار a، ارقام واضح و قابل تشخیص می شوند. شکل 6d-f برخی از نتایج تولید شده در CelebA را به ترتیب با a = 0. 4، a = 0. 5 و a = 0. 6 نشان می دهد. وقتی مجموعه داده پیچیده‌تر می‌شود و معماری‌های شبکه عمیق‌تر می‌شوند، افزایش مقدار a می‌تواند بی‌ثباتی بیشتری را در نتایج همانطور که قبلاً بیان کردیم به همراه داشته باشد.

5. نتیجه گیری ها

در این مقاله، ما یک تابع ارزش جدید برای چارچوب GAN با استفاده از واگرایی آلفا پیشنهاد می‌کنیم که می‌تواند به عنوان تعمیم واگرایی Kullback-Leibler در نظر گرفته شود. برای بهبود Wasserstein-GAN، هدف ما دو فراپارامتر دیگر را برای حفظ تعادل در طول تمرین معرفی می‌کند. علاوه بر این، ما یک تحلیل نظری برای انتخاب فراپارامترهای مناسب به منظور کنترل اطلاعات p داده و pg برای حفظ ثبات تمرین انجام می‌دهیم. علاوه بر این، ما همچنین مقداری مبادله بین همگرایی آموزش و کیفیت تولید پیدا می کنیم. نتایج تجربی نشان می‌دهد که تلاش برای تولید تصاویر با کیفیت بسیار بالا ممکن است باعث بی‌ثباتی GAN‌ها شود. مکانیزم جدیدی برای کنترل صریح این دو ویژگی بررسی شده است و از کارهای قبلی بهتر عمل می کند. برای کارهای آینده، ما امیدواریم که Alpha-GAN را به مجموعه داده های مقیاس بزرگ مانند CIFAR10 و ImageNet گسترش دهیم.

مشارکت های نویسنده

L. C. ایده اصلی را مطرح کرد. L. C. و Y. C. آزمایش ها را برای تأیید نتایج انجام داد و دستنوشته را نوشت. N. C و W. C. نسخه خطی را بررسی و ویرایش کرد. H. W. نصیحت کردL. C. و Y. C. به طور مساوی به این کار کمک کرد. همه نویسندگان نسخه منتشر شده نسخه خطی را خوانده و با آن موافقت کرده اند.