Robust Real-world Image Enhancement Based on Multi-Exposure LDR Images论文记录
WAVC会议
LDR：low-dynamic-range images 低动态范围图片。
the prior arts :现有技术/现有工作
End-to-End image signal processing (E2E-ISP) ：端到端图像信号处理
warp：扭曲
In the ideal scenario：在理想情况下
over-exposed：过曝
摘要
动机：
由于输入图像之间的意外不一致性（例如大运动或各种曝光），从多曝光低动态范围（LDR）图像进行鲁棒的真实世界图像增强是一项具有挑战性的任务。
（introduction里的）大多数相机只拍摄动态范围有限的照片。为了满足人类的视觉需要，需要生成具有高动态范围（HDR）的图像。有两个挑战：1.前景对象（objects）的运动 （夜光更不利于前景对象的运动）2.输入图像之间的各种曝光（这使得算法很难补偿丢失的信息内容）
方案
一种新的端到端图像增强网络来解决问题。(第一个提出端到端网络解决理具有多曝光输入图像的ISP的工作）
在从LDR图像中提取上下文信息之后，设计了一个新的匹配容器，通过考虑输入图像之间的运动和曝光差异来对齐它们。
利用具有扩张卷积的堆叠沙漏来将匹配的特征图聚集到最终增强图像。
设计了一个弱监督的成对损失函数来评估增强图像中的颜色一致性。
3 方法
3.1特征提取模块
使用RRDB残差密集块作为特征提取模块的基本单元，将几个RRDB块按顺序组织起来，作为最终的特征提取器。应用于输入图像X1、X2、Xn，以生成特征图F1、F2、…、Fn。
3.2特征匹配模块
3.3特征聚合
4 implemention
4.1 弱监督损失函数
l1 l2损失函数，对于3通道RGB图像，它可能会导致某些区域的颜色失真，包括强度顺序扭曲的问题（理解为亮和暗这个顺序被扭曲，较亮的区域经过
L
1
或者
L{1}或者
L1或者
L
2
L{2}
L2损失函数会变成较暗区域，如有不对，请指正）。为了解决这个问题，提出了一个分别针对像素和patches块的成对弱监督损失函数Ls。给定像素对（i，j），像素损失函数
L
s
,
p
i
x
L_{s, p i x}
Ls,pix,鼓励输出图像中的对应像素对具有与地面真实图像相同的强度顺序,如下所示 ：
4.2 基于GAN对抗网络的学习
使用ESRGAN，将EMVNet作为生成器，损失函数：
L
c
L{c}
Lc图片内容损失函数，
L
p
L{p}
Lp感知质量损失函数，
L
a
L{a}
La对抗损失，
L
s
L{s}
Ls弱监督损失函数
##实验
数据集基于Google HDR数据集生成合成数据，由30个具有DNG格式的原始组成。
还是非常稳的。
感觉有提升，每个模块，提升不是很明显。第一次读结合低光增强和运动差异的文章记录。
