通过超高分辨率增强卫星图像
深度学习的力量与协作的人类智慧相结合 ，可通过超分辨率提高作物栽培图像的质量。
问题
本文的重点在于从卫星图像中定位作物田地，可以想象需要一定质量的图像才能获得高质量的结果。尽管众所周知，深度学习能够创造奇迹，但如果我们无法清楚地识别出图像中的细节，我们人类将有一个真实的日子来标记数据。
以下是我们想要实现的示例。
如果我们可以清楚地识别出卫星图像中与特定作物相对应的区域，则可以轻松地扩展我们的工作以评估每种作物的种植面积，这将在确保粮食安全方面大有帮助。
解决方案
为了获得所需的数据，我们探索了无数的卫星图像资源。我们最终决定使用 Sentinel-2的图像，这主要是因为卫星任务拥有其他开源图像中质量最好的图像。  
最好的足够好吗？
原始图片
尽管我之前曾断言我不是卫星图像专家，但我相信看到以上图像后，我们都可以同意它的质量还不够好。
一场真正的噩梦贴上标签！
辨别各个农作物田间的界限是完全不可行的。
当然，对于开源数据来说，这并非完全没有道理。出于隐私方面的考虑，卫星图像供应商在分发此类数据时必须格外小心。
如果任何人都可以在Internet上查找我们的后院，那将是多么的可笑，对吗？
但是，这种不便对我们的项目造成了极大的损害。为了清楚地识别和标记与我们相关的图像中的农作物，我们需要比我们拥有的图像质量更高的图像。
超分辨率
深度学习从业者喜欢运用他们所学的知识来解决他们面临的问题。您可能知道我的意思。如果图像质量不够好，我们当然会尝试增强它！我们喜欢称之为超分辨率的过程。
这是我们尝试的第一件事，这是结果。
在原始图像之前应用深层图像的结果。
显然有一些改进，该模型在平滑照片中的粗糙边缘方面做得非常出色。像素问题已经得到了很好的解决，一切都融合在一起。
但是，这样做时，模型忽略了更精细的细节，从而导致图像感觉模糊。
取消申请
自然，我们不会停下来直到获得完全令人满意的东西，这促使我们尝试这样做。
将Decrappify应用于原始图像的结果。
现在，很明显，该模型所做的事情与Deep Image Prior完全不同。该模型没有尝试确保像素彼此融合，而是着重强调了每个像素的细化。这样做忽略了考虑每个像素实际上与周围像素的关系。
尽管通过使颜色更加精致和吸引人而成功地为原始图像注入了一些生命，但是图像中的像素化仍然是一个问题。
下次尝试
通过“深层映像优先”运行原始映像，然后重新部署的结果。
当我们第一次看到这个时，我们简直不敢相信自己在看什么。我们离我们的原始形象还有很长的路要走！并且认为实现这种结果的方法是一种愚蠢的方法。  
由于前两个模型各自都不出色，但是它们显然擅长完成不同的事情，如果我们将两者结合起来会怎样？
因此，我们通过Deep Image Prior运行了原始图像，随后通过Decrappify模型提供了原始结果，瞧！
相对于原始图像，当前图像的颜色看起来非常逼真。农田的清晰分界无疑将在帮助我们标记数据方面大有帮助。
我们的方法
我们实现这一目标的方法非常简单。我们使用了Deep Image Prior，可在其官方Github存储库中找到。至于Decrappify，根据我们的目标，我们认为对卫星图像进行培训肯定会有所帮助。轻松设置两个模型后，只需将图像一个接一个地输入其中。
快速浏览模型
对于那些已经走到现在并且对模型真正是好奇的人来说，这里是它们的简要概述。
深度影像先验
该方法几乎不符合常规的基于深度学习的超分辨率方法。
通常，我们将创建一个低分辨率和超分辨率图像对的数据集，然后我们训练一个模型，将低分辨率图像映射到其高分辨率对应图像，以增加作物种植。但是，此特定模型没有执行上述任何操作，因此，不必在推理时间之前进行预训练。而是在一个特定的图像上训练随机初始化的深度神经网络。该图像可能是您最喜欢的运动明星之一，宠物的图片，您喜欢的绘画甚至是随机的杂讯。然后，它的任务是优化其参数，以将输入图像映射到我们尝试超分辨的图像。换句话说，我们正在训练我们的网络以适应我们的低分辨率图像。
为什么这有意义？
事实证明，深层网络的结构在生成的图像上强加了“自然先验”。简而言之，这意味着当过度拟合/存储图像时，深层网络更喜欢先学习自然/平滑的概念，然后再转向非自然的概念。也就是说，卷积神经网络（CNN）将首先“识别”在图像各个部分中形成形状的颜色，然后继续在图像中实现各种纹理。随着优化过程的进行，CNN会锁定详细信息。
当生成图像时，与像素化图像相比，神经网络更喜欢看起来自然的图像。因此，我们开始优化过程，并使其继续进行到可以捕获大多数相关细节但还没有学到任何像素和噪点的程度。对于超分辨率，我们将其训练到一个点，以使其在降采样后生成的最终图像与原始图像非常相似。存在多个本可以生成每个低分辨率图像以增加作物种植的超分辨率图像。
事实证明，最合理的图像似乎也不是高度像素化的图像，这是因为深层网络的结构在生成的图像上施加了“自然优先”的特征。
我们强烈推荐Dmitry Ulyanov（他是Deep Image Prior论文的主要作者） 最近的演讲 ，以深入了解上述概念。您可以在下面遵循Deep Image Prior的超分辨率过程。
深度图像先验的超分辨率过程
超分辨率
取消申请
与以前的模型相反，这里将要尽可能多地了解卫星图像。结果，当我们给它一个低质量的图像作为输入时，该模型能够利用其对世界的了解来 填补其低质量和高质量版本之间的空白。
该模型具有带有预训练的ResNet主干的U-net体系结构。该模型的目的是产生更高质量的输出图像，以便当它通过预先训练的VGG16模型馈送时，相对于地面真实图像，它产生的“样式”和“内容”损失最小。“样式”的损失是相关的，因为我们希望模型能够谨慎地创建具有卫星图像逼真的纹理的超分辨率图像，以增加农作物的种植。“内容”损失负责鼓励模型在其高质量输出中重新创建复杂的细节。   
最初在这里发布  。

关注 CDA人工智能学院 ，回复“录播”获取更多人工智能精选直播视频！