神经网络的本质是输入数据矩阵的矩阵转换过程使用重量参数。每一层的神经网络是一个很大的张量,它可以分解成几个小的张量。规范polyadic分解(CPD)是一个标准的张量分解方法。这是希区柯克在1927年提出的( 12]。它可以一个张量分解为一个一阶张量的总和。CPD已经应用在心理测验学 13),信号处理( 14,计算机视觉 15,数据挖掘 16),和其他地方。它在模型压缩的表现也不错。

丹顿et al。 8CPD)用来近似原始的卷积内核和提出了两种改善方法近似标准。他们对分解内核进行微调解决其他层。Jaderberg et al。 9CPD)应用于4 d内核分解成两个小内核和使用两种方法来重建原始的过滤器。列别捷夫et al。 10]用CPD 4 d卷积核张量分解成四个小内核与非线性最小二乘法,然后替换原始层。然后,他们使用反向传播调整整个网络。列别捷夫et al。( 10]第二卷积方法加速层AlexNet 6.6倍成本的1%精度的损失。这超过了其他两个作品,丹顿et al。 8有2倍的加速和Jaderberg et al。 9)有4.5倍加速1%精度损失为代价的。

阿斯特丽德et al。 17提出了一种基于CPD CNN压缩方法:CP-TPM。它实现了减少参数的6.98倍和3.53倍AlexNet提速。它比Tucker-based方法( 18在相同的网络。Zhang et al。 19和大等。 20.)应用CPD压缩CNN。原始层pretrained最小化之间的不同分解层和原来的张量模型的阿斯特丽德et al。 17),Zhang et al。 19],Tai et al。 20.]。因为CP分解操作消耗大量的资源,我们不分解pretrained重量张量,但直接使用CP分解在text-to-image GAN设计一个有效的体系结构。

Text-to-image合成是计算机视觉的一个分支,根据给定的文本生成图像。它可以用于图像编辑、交叉检索,艺术创作。氮化镓生成能力强。它能生成逼真的图像和被广泛用于图像生成。自芦苇et al。 7GAN)首次成功用于文本图像生成,GAN text-to-image合成也成为一个受欢迎的模型。

里德et al。 7]GAN-int-cls提出的修改DCGAN并成功地生成合理的64×64图像文本的鸟类和鲜花。为了得到高分辨率的图像,生成多个阶段引入text-to-image合成,如StackGAN [ 21),StackGAN + + ( 22],HDGAN [ 23],LAPGAN [ 24]。StackGAN [ 21]堆叠两个条件甘斯生成高分辨率和图像在两个阶段。多个不同尺度的发电机被用来生成图像中使用树结构StackGAN + + ( 22]。HDGAN [ 23)采用hierarchically-nested鉴别器帮助的生成器生成高分辨率的图像。LAPGAN [ 24)提出了拉普拉斯算子金字塔框架通过集成一套发电机。

徐et al。 25和乔et al。 26)添加机制与细粒度合成图像细节的关注。此外,里德et al。 27]适应边界框和关键部分信息以提高质量生成的图像。ACGAN [ 28]和TAC-GAN [ 29日)使用辅助类信息生成多样化的图像。因为这些模型显示良好的交叉生成能力,text-to-image GAN已被用于图像编辑( 30., 31日),交叉检索( 1,故事可视化 2),和绘画( 3]。然而,这些模型过于复杂的部署在移动端。为此,我们提出一个端到端的压缩框架基于CPD。而蜀et al。 32和李et al。 33),我们不需要pretrain GAN模型。我们从头开始设计和训练压缩模型。

GAN由发电机和一个鉴别器一般而言,这两个卷积神经网络。卷积是一个四维张量的张量体重 W ∈ ℝ K × K × 年代 × T ,这地图输入 X ∈ ℝ 我 × J × 年代 到另一个表示 Y ∈ ℝ X × Y × T 。它可以写成 (1) Y x , y , t = ∑ 我 = 1 K ∑ j = 1 K ∑ 年代 = 1 年代 W k , k , 年代 , t X 我 , j , 年代 , 前两个维度在哪里 W k , k , 年代 , t 是空间维度( K 通常是3或5),第三个维度是输入通道,第四维是输出通道。

CPD是一个近似法,一个张量分解为一个一阶张量的总和。CPD,张量 W ∈ ℝ K × K × 年代 × T 可以表示成 (2) W 我 , j , 年代 , t = ∑ r = 1 R W 我 , r 1 W j , r 2 W 年代 , r 3 W t , r 4 , 在哪里 R 是张量排名和一阶张量的总和, W 我 , r 1 , W j , r 2 , 和 W 年代 , r 3 , W t , r 4 张量的大小 K × R , K × R , 年代 × R , T × R ,分别。一阶张量是向量叉积。排名选择决定了压缩比和秩分解是一个np难问题。

在卷积层,空间维度 K 不需要分解因为空间分解的好处是非常小。通过使用CP分解的变体,张量可以分解 (3) W 我 , j , 年代 , t = ∑ r = 1 R W 年代 , r 1 W 我 , j , r 2 W t , r 3 , 在哪里 W 我 , j , r 2 是一个张量的尺寸吗 K × K × R 。用方程( 3)方程( 2),我们得到以下的近似表示卷积: (4) Y x , y , t = ∑ r = 1 R W t , r 3 ∑ j = 1 D ∑ 我 = 1 D W r , j , 我 2 ∑ r = 1 R W r , 年代 1 X 我 , j , 年代 。

执行重新排列和组合,我们可以得到以下三个连续表达式: (5) Y 1 我 , j , r = ∑ 年代 = 1 年代 W r , 年代 1 X 我 , j , 年代 , (6) Y 2 x , y , r = ∑ j = 1 D ∑ 我 = 1 D W r , j , 我 2 Y 1 我 , j , r , (7) Y x , y , t = ∏ r = 1 R W t , r 3 Y 2 x , y , r , 在哪里 Y 1 和 Y 2 中间张量的大小吗 我 × J × R 和 我 ” × J ” × R ,分别。原大层可以分解成三个小层,如图 1。例如,第三层GAN-int-cls卷积有128个输入通道,512输出通道,3×3过滤器( 128年 × 512年 × 3 × 3 );我们可以将它分解成三个卷积层以下参数: 128年 × R × 1 × 1 , R × R × 3 × 3 , R × 512年 × 1 × 1 。 R 是排名,可以设置为不同的值根据任务的需要。

我们把古典模型与原始模型GAN-int-cls压缩。这个模型最紧凑的结构和参数。主发电机的卷积层在其他类似于GAN-int-cls text-to-image GAN模型。我们重新设计GAN-int-cls展示我们的压缩架构的有效性和通用性。如图 2该小说CPGAN包含两个组件,可以稳定的培养分解GAN:调节增大和autoencoder模块。

条件作用增强 (CA)提出了由张et al。 21甘)缓解困难的训练造成的文本嵌入稀疏。CA是随机样本隐藏变量作为输入的发电机独立的高斯分布 N μ φ t , Σ φ t 。 φ t 是文本嵌入编码生成的文本描述。 μ φ t 和 Σ φ t 均值和对角协方差矩阵函数的文本嵌入 φ t ,分别。我们使用pretrained char-CNN-RNN [ 34)的文本嵌入 φ t 。然后,我们吃 φ t CA和获得 μ φ t 和 Σ φ t 。类似于StackGAN [ 21),我们也添加Kullback-Leibler(吉隆坡)发散到我们的培训目标,即KL背离标准的高斯分布 N 0 , 我 和调节高斯分布 N μ φ t , Σ φ t ,见以下方程: (8) D 吉隆坡 N μ φ t , Σ φ t 为 N 0 , 我 。

Autoencoder (AE)是用于表示学习通过重建输入。分解架构是比原来的模型,这就增加了不稳定的训练。因此,我们使用AE稳定训练过程。AE由编码器和译码器。我们把每个卷积层作为卷积编码器,并添加一个解码器对应每一层。AE的培养目标是重建的损失。我们使用均方误差(MSE) x 1 − h x 1 2 2 AE损失, x 1 是输入层和 h ⋅ 是AE的功能。培训后的译码器将被删除。

原始的发电机目标GAN-int-cls包含matching-aware损失和插值损失,如所示 (9) G 让奥 = G 1 z , t + G 2 z , β t 1 + 1 − β t 2 , 在哪里 z 随机噪声, t 1 和 t 2 文本嵌入的, β 小数在0和1之间,用于文本嵌入之间插入 t 1 和 t 2 。

在发电机模型的目标中,我们添加了KL散度和MSE重建损失到原始模型目标,见以下方程: (10) G = G 让奥 + D 吉隆坡 N μ φ t , Σ φ t 为 N 0 , 我 + x 1 − h x 1 2 2 。

最初的模型,我们的模型的鉴别器目标既是matching-aware损失: (11) D = D 1 x , t + D 2 x , t ^ + D 3 G z , t 。

我们使用上面的计划从头开始训练一个有效的体系结构。所示的训练算法的算法 1。首先,原始曲线玲珑被分解成三层,通过方程( 5)- ( 7)。其次,每一层都被视为一个编码器和译码器添加对应每一层。第三,我们编码匹配的文本 t 和失配文本 t ^ 并获得文本嵌入。然后,我们使用CA来处理文本嵌入和得到独立的高斯分布。从独立的高斯分布,我们与随机噪声样本变量和连接它。以下培训过程是一样的GAN-int-cls不同培训目标的发电机。我们模型的目标函数增加了CA的丧失和autoencoder根据原始模型的目标函数。直到训练完成后,我们删除添加了译码器层和获得CPGAN模型。

输入:mini-batch图片 x 、文本描述 t ,和培训一批数量的步骤 年代 。

显示我们的方法的普遍性,我们选择经典模型GAN-int-cls作为我们的原始模型。GAN-int-cls一样,我们的方法是评估在幼崽 35)和牛津- 102 ( 36]。幼崽数据集涵盖了200种鸟类,其中包括5994 5794训练图像和测试图像。除了分类标签,每个图像包含边界框,鸟鸟信息的关键部分,和鸟的属性。牛津- 102花的数据集是花朵数据集包含8189张图片。分为102个类别,每个类别包含40到258张图片。每个图片都有大规模的,姿势和光线的变化。数据集分为训练集,验证集和测试集。这两个数据集是基准图像数据集和每个图像对应于10一句话描述。

为了评估我们的模型,我们使用《盗梦空间》得分(是)和邻初始距离(FID)来评估质量生成的图像。是使用pretrained InceptionNet-V3判断生成的图像是清楚的和多样化。高分数意味着图像清晰和多样化。支撑材计算特性之间的距离真正的形象和假的形象是评价指标的补充。这两个指标被广泛用于评估生成图像的质量。

学习速率是一个非常重要的hyperparameter深度学习。合理的学习速率可以使模型收敛于最小值点,而不是当地的最佳点或鞍点。在本文中,我们使用CLR方法( 11)和MultistepLR设置学习速度和学习速率衰减。

CLR是史密斯提出的。它改变了学习速率定期在迭代过程中,而不是一个固定值。它是用来找到最优学习速率自动代替手动实验。我们使用CLR学习速率设置。CLR方法需要设置三个参数,最低学习速率(min_lr),最大的学习速率(max_lr)和迭代。min_lr和max_lr学习速率的最小值和最大的价值,分别。迭代测试的迭代的数量在每个学习速率。我们增加了学习速率从0.00001到0.001,损失曲线在不同学习速率(见图 3)。

我们选择合适的学习速率根据斜率最大绝对标准。根据图 3,我们选择0.0002和0.00015作为学习牛津- 102数据集和0.0001和0.00008的学习速率数据集幼崽。

MultistepLR PyTorch学习速率衰减的方法。它有三个hyperparameters:初始学习速率( ini_lr ),时代更新学习速率( 促红细胞生成素 ),乘法因子( mfc )。 ini_lr 是初始培训期间学习速率。 促红细胞生成素 的时代,当我们改变学习速率。 mfc 是学习速率的衰减系数。在实验中使用MultistepLR,最初的学习速率 我 n 我 _ l r 。实验运行时 促红细胞生成素 时代,学习速率变化 ini _ lr ∗ mfc 。

在本文中,我们设置MultistepLR hyperparameters ini_lr , 促红细胞生成素 , mfc 幼崽600年为0.0001,0.8,0.0002,600年,在牛津和0.75 - 102。批处理大小在我们的实验中是64。CPGAN是亚当的优化器 37动量为0.5。

在CP分解中,排名表示压缩比和很难选择。由于text-to-image合成任务的需要,我们设计轻量级模型在保证质量的前提下生成的图像。我们做大量的实验来平衡性能和压缩比。

如表所示 1,我们做大量的实验来找到平衡点。比例排名比,1.0是满秩分解和0.9意味着大约0.9倍的原始层的输入通道的数量。一层小排名几乎没有参数。表 1表明,随着等级的升高,失败和参数增加。分解等级接近0.7时,参数开始超过原始模型的参数( 5.76 × 10 6 )。同等级的增加,模型生成的图像的质量并没有得到很大的提高。支撑材的价值降低,然后稍微变化与模型参数的增加,虽然是不稳定的。可能需要使用边缘分布的计算数据,但生成的样本在牛津- 102不足以获得准确的边缘分布。

如表所示 1排名时,支撑材得到最好的价值比是0.5。模型参数压缩23%和29%的失败。生成的图像比原始模型在支撑材和。它可以证明我们的方法可以生成更好的图像比原始模型参数较少。有效使用CP分解重构模型和设计紧凑text-to-image甘而不损失图像质量。虽然 8.8 × 10 9 彻底失败了 1.31 × 10 6 参数降低,生成的图像CPGAN得到一点改善和支撑材。这表明,生成的图像模型与多个参数可能不是更好。所以约0.5的秩,我们寻找一个更好的模式确保生成的图像的质量。

表 2显示了我们最好的生成模型和原始模型之间的比较是,FID,参数和失败。FID,原始模型的79.55和2.66±0.03在牛津- 102,而最好的模型74.40和3.68±0.08,分别。在幼崽,我们最好的模型生成的图像在支撑材65.94和5.03±0.07,而原始模型的68.79和2.88±0.04,分别。代表图像的比较在牛津- 102和幼崽数据集的数据中可以看到 4和 5,分别。CPGAN更好的生成的图像表明,我们的方法可以生成更现实的图像从文本描述。这些结果也证明有冗余参数在现有text-to-image甘。更简洁和高效text-to-image GAN模型可以根据CPD设计。