一种两阶段的漫画自动着色模型

发布时间：2021-08-08 17:50

　　近年来对抗生成网络广泛应用于诸如风格迁移、黑白照片着色等很多图像生成的场景中.本文根据生成网络观点提出了一种新的基于深度学习的漫画着色算法.由于漫画原始的线稿中并没有漫画人物的纹理细节、阴影等信息,所以相比于现有的照片着色生成任务,漫画着色的难度大大增加.为了解决上述问题,文中提出了一个两阶段的漫画自动着色模型.首先,在第一阶段中,网络模型根据线稿和颜色提示信息来丰富漫画的细节信息对漫画主题进行勾勒,并对漫画的整体进行着色;然后第二阶段会对第一阶段的着色错误的信息进行迭代修正,并最终产生满意的漫画着色的结果.在相关的漫画数据集上进行的测试验证了本文算法的有效性.同时为了便于自动化测试,条件信息使用了提示色的方法. 

【文章来源】：小型微型计算机系统. 2020,41(11)北大核心CSCD

【文章页数】：6 页

【部分图文】：

原稿-线稿-提示色-着色

第1阶段的网络模型如图2所示，网络中生成器的输入是漫画的线稿和与之对应的颜色的提示，条件生成网络的判别器除了接受生成的着色结果外，还接受相应的条件信息和漫画的线稿信息．第1阶段的模型会根据线稿和颜色提示信息来对漫画进行着色，生成初步的着色结果，第1阶段的模型的输出是yi.第1阶段模型通过最小化式(2)的目标函数来训练．

为了解决第1阶段的着色问题，第2阶段构建了迭代反射网络，其主要是使用迭代的上采样和下采样单元，通过学习错误的残差来达到纠正的目的．第2阶段的网络模型结构如图3所示，第2阶段模型的输入是第1阶段的漫画着色结果，模型的最后输出是最终的着色结果．网络结构包含两种结构单元，一种是从低分辨率到高分辨率的映射(up-projection)，另一种是从高分辨率到低分辨率的映射(down-projection)．其中上采样单元由式(6)定义．这里的*是空间卷积操作，其中↑s和↓s分别为缩放因子为s的上采样和下采样操作，这里的pt,gt,qt分别为阶段t的(反)卷积层．上采样单元的输入是之前块计算的低分辨率的特征图Lt-1，将其映射到高分辨率的特征图H0t;然后H0t被映射到低分辨率的特征图L0t;通过计算两个低分辨率的特征图Lt-1和L0t之间的残差得到etl;接下来etl被映射到高分辨率的特征图H1t，最终生成的结果为两个高分辨率特征图之和Ht．通过对比两个相邻的低分辨率特征图的残差来对着色效果进行修正．与之对应，下采样单元有着相似的结构，输入为高分辨率的特征图，所有的操作都进行相反的操作．

【参考文献】：
期刊论文
[1]生成对抗网络理论框架、衍生模型与应用最新进展[J]. 赵增顺,高寒旭,孙骞,滕升华,常发亮,Dapeng Oliver Wu.  小型微型计算机系统. 2018(12)



本文编号：3330404