近日，图像修复领域最具影响力的国际顶级赛事——New Trends in Image Restoration and Enhancement(NTIRE)结果出炉，网易互娱AI Lab包揽了高动态范围成像(HDR)任务全部2项冠军。NTIRE比赛每年举办一次，目前已是第七届，主要聚焦图像修复和增强技术，代表相关领域的趋势和发展，吸引了众多来自工业界、学术界的关注者和参赛者，有着非常大的影响力。今年NTIRE比赛在计算机视觉领域的顶级会议CVPR 2022(Computer Vision and Pattern Recognition)上举办。
高动态范围成像(HDR)任务的赛道1和赛道2分别有197个队伍、168个队伍报名参加，其中工业界的队伍包括：腾讯、旷视、小米、快手、京东方、Tetras AI等，学术界的队伍包括：清华大学、中科院、中国科学技术大学、上海交通大学、中山大学、爱丁堡大学、帝国理工、阿德莱德大学、新南威尔士大学、南丹麦大学等。网易互娱AI Lab从众多的强队中脱颖而出，一举斩获该任务的全部2项冠军。这是网易互娱AI Lab夺得多项国际冠军后，再次登顶国际AI竞赛，展现了网易互娱AI Lab在人工智能领域的综合实力。
图1：NTIRE 2022比赛高动态范围成像(HDR)任务是从存在噪声、过爆/欠曝区域等的多帧输入图像中，恢复一张HDR图像。此次比赛的目标是探索高效的HDR模型和技术方案，以达到实用化的使用需求。总计有共两个赛道：(1)保真度赛道：在限定模型的计算量(小于200G GMACs)的基础上，尽可能取得更高的保真度，评价指标是PSNR-μ；(2)低复杂度赛道：在超过基线模型指标(PSNR-μ与PSNR)的基础上，尽可能取得更低的计算量和更少的耗时，评价指标是GMACs。
由于任务的两个赛道均要求训练高效的HDR模型，网易互娱AI Lab团队凭借以往对low-level视觉任务和轻量化网络设计的经验积累，在基线模型的基础上，提出了一个Efficient HDR网络，包括高效的多帧对齐和特征提取模块两个模块，同时优化了模型的训练方法。
(1)在多帧对齐模块，采用Pixel Unshuffle操作在增大感受野的同时减少了特征图的大小，大幅减少了后续的计算量。同时，采用深度可分离卷积替代对齐模块中的普通卷积，大幅提高运算效率。
(2)在特征提取模块，采用深度可分离卷积替代普通卷积，SiLU激活函数替代ReLU，设计了一个高效残差特征蒸馏模块(Efficient RFDB)。另外，探索了网络深度与通道数目之间的关系，在限定计算量下层数更深且通道数少的特征提取网络，可以获得更高的评价指标。
(3)在训练方法上，在常规的128x128图片输入L1 Loss训练后，采用了256x256更大尺寸输入+L2 Loss进行训练调优。最后，使用基于SwinIR搭建的Transformer模型作为Teacher模型，对前述CNN模型进行蒸馏，结合CNN和Transformer各自的优势进一步提升模型效果。
图2：技术方案图赛道1中，网易互娱AI Lab(ALONG)提出的方法在PSNR-μ和PSNR上均是第一。如表1所示，主要评价指标PSNR-μ比第二名高出了0.172，而第二到第四的PSNR-μ差距仅为0.089，相比第五名之后的队伍更是拉开了0.45以上的差距。
赛道2中，网易互娱AI Lab(ALONG)提出的方法取得了最低的计算量(GMACs)和最少的参数量(Param)。如表2所示，在超过基线方法PSNR和PSNR-μ的基础上，减少了约40倍的计算量。相比第二名和第三名有较大领先，仅使用了约一半的计算量。
表1：赛道1(保真度赛道)结果排名
表2：赛道2(低复杂度赛道)结果排名
此前，网易互娱AI Lab已经将比赛中相关技术的应用于游戏贴图资源升级中，实现对游戏贴图、UI等资源的精度和细节的提升，目前已应用于多个游戏项目当中，为美术节省了大量制作时间。此外，网易互娱AI Lab研发了一套智能的游戏贴图资源升级工具——iPixel，用户输入一张待处理的贴图资源，便可以针对性的对图片进行无损放大和增强，iPixel还可以消除噪点并恢复图像中的细节，让图片看起来更加清晰。同时，该工具所提供自定义全图和局部处理功能，可以更好的帮助使用者优化细节，以满足不同贴图不同程度的优化需求。
网易互娱AI Lab成立于2017年，隶属于网易互动娱乐事业群，是游戏行业领先的人工智能实验室。目前所研发的技术已应用于网易互娱旗下多款热门游戏，如《梦幻西游》、《哈利波特—魔法觉醒》、《阴阳师》、《大话西游》、《荒野行动》、《明日之后》等等。
AI网易图像
