宝塔服务器面板，一键全能部署及管理，送你10850元礼包，点我领取

网易科技讯 1月21日消息，时间过得比我们预想的要快，并且摩尔定律依然在发挥着作用。但是，仍然有很多事情要做。在接下来的文章中，我希望能够列出2019年（部分发生在2018年）机器学习（ML）和深度学习DL)领域的重大事件。这些大部分都是基于神经网络的模型，给我留下了深刻的印象。

图1：BigGAN生成的时钟图像

伊恩·古德费罗（Ian Goodfellow）曾发布推文，完美地展示了深度学习领域取得的成就：在短短4年半时间里，生成性对抗网络（GAN）技术在面部生成领域取得的重大进展。即使这与特定的主题有关，GAN取得的进步也很好地表明了已经发生的事情，以及即将发生的事情。一幅画胜过千言万语。我有一种感觉，2019年的进步比几年前迅猛得多。 

1 BigGan

BigGan扩展了生成性对抗性网络（GAN），允许用户在巨大的可视数据库上进行训练，并生成新的可视图像。该系统的核心是两个神经网络，即生成器和鉴别器。生成器创建新的视觉效果，并试图说服鉴别器它是真实的图像。而鉴别器将生成的图像与其“经验”对照，并将其作为“未通过”发送回生成器。这种反复的相互作用会始终持续下去，直到双方达成某种“共识”。尝试使用这款BigGAN功能，用户可以使用分类条件采样并创建例如山谷之类的图像：

图2：BigGAN生成的山谷图像

如你所见，BigGan仍然属于弱人工智能（Weak AI）。该网络不知道时钟是什么，它们只是知道，这个东西会是什么样子：“圆形”，“有字符和箭头”。我认为AI解释世界的尝试与柏拉图的形式与思维理论有明显的相似之处：在柏拉图看来，思维或形式是物质事物的元物理本质。物质的东西不是原作，而只是思维或形式的仿制品。

2 BigGAN蜕变

我们可以更进一步，BigGAN不仅仅能生成带标签的图像，我们还可以使用它和插值函数来合并和变形东西。在BigGAN的情况下，生成的图像A转换为生成图像B是可能的，尽管它们在语义上是不同的。使用这些设置，你可以把约克夏犬变成航天飞机，这种方法开启了前所未有的可能性，甚至超越了人类的想象。你甚至可以制作出渐变性更强的画面，并将它们组合成动画素材。

图3：狗狗变成了航天飞机

3风格转换

StyleGAN允许另一种类型的图像修改——风格转换，即图像A的风格被转移到图像B中。目前有各种各样基于深度学习的免费和付费应用程序，可以把你的图像转换成世界艺术大师的艺术作品。我用各种艺术家的风格转换了我的用户图片，得到了令人信服的结果。

有人可能很熟悉风格转换功能，因为Towards Data Science提供了许多关于这个主题的很棒的文章。艺术家基尼·科根（Gene Cogan）将风格转移运用到迪斯尼的《爱丽丝梦游仙境》茶会场景)中，并将17个著名的艺术作品的风格转移到动画中。最近，StyleGAN2进入人们的视线，其图像质量得到了提高。此外，新的图像修改方式也成为可能。例如，StyleGAN投影，与任何可能的图像中的目标图像对齐。

4风格转换的创意运用：绘画的深度协调性

有些艺术家和开发者使用风格转换功能来进行创造性的图像处理。这个想法非常简单：1）以目标图像B为例；2）将其风格转换为要构建到B中元素；3）结合与享受。该方法允许的艺术用途，例如用于数字图像拼贴中的风格转移。基尼·科根（Gene Cogan）在自拍照中使用风格转换功能，将自己植入到世界艺术史中。

5Comixify，将视频转换为故事板

华沙科技大学的研究人员都对人工智能和漫画艺术着迷，为此他们把自己的热情结合到一个惊人的项目中。1）该模型利用智能视频摘要对视频进行分析；2）视频片段中的场景由深度学习定义的、最具美学影响的帧分隔；3）对图像的特定风格化进行了风格转换；4）选定的帧被放入故事板或漫画布局中。

我是塔尔科夫斯基（Tarkovsky）电影的超级粉丝，所以我很想看看这部超级版《潜行者》会发生什么。结果令人震惊，特别是如果你知道并且喜欢这部电影，你会发现画面的选择是多么令人惊讶。它实际上描绘了《潜行者》的核心思想，却没有破坏电影。

6 CycleGAN，无输入输出对的图像到图像转换

当BigGAN在预先训练的基础上生成新图像，StyleGAN在两个图像之间传输样式时，CycleGAN使用单个图像将其样式或特征转换成不同的东西。实际上，这是一个不配对的图像到图像转换，使用的是周期一致的对抗网络。1） 图像由GAN进行分析包括模式和目标检测)；2）应用预先训练好的特征修改；3）与“1”中的图像相同，“2”实现了新的视觉效果。

CycleGAN在不引用其他图像的情况下更改图像的样式和视觉特征。它不仅可以把一个预先训练好的艺术家风格转化成一张照片，也可以将一幅画修改成逼真的照片，使用预先训练的分割特征知识。你甚至可以在“马与斑马”之间进行转换。对我来说最重要的是，深度学习使图像的可修改性达到了一个新的高度，适合艺术用途。但危险同样存在，比如滥用情况。

7StyleGAN训练绘画

_C0D32_在reddit上训练StyleGAN使用kaggle提供的24k艺术数据集。通过他修改的代码，产生了各种风格的新艺术作品。也就是说，StyleGAN用预先训练过的艺术风格尝试创作原创艺术品。有趣的是：即使你用这个模型得到了无数独特的艺术品，但只要有一些艺术史的知识，你就可以猜到，哪些风格、艺术运动甚至艺术家在新的图像中闪耀着光芒。

8 pic2pix：图像到图像转换

Pix2pix是由菲利普·伊索拉（Phillip Isola）等人开发的，并在2017年迅速走红。由条件对抗网络完成的图像转换，允许将人造涂鸦呈现为照片级的图像。

这肯定不只是有趣的草图转换：通过预定义的设置，用户可以将航拍照片转换为地图，将日光照片转换为夜景照片等。条件对抗网络检测模式并将其转换为所需的主题你必须定义目标图像任务)。网络针对特定的标记图像数据集进行训练。

英伟达通过GauGan将这种方法提高到了另一个水平，这是他们在AI Playground进行的实验之一。你可以使用分段驱动草图：每种颜色都应用于特定的对象或材质。转换后生成新图像具有类似CycleGAN的功能，可在各种视觉功能之间切换。

9 pix2pix、face2face、DeepFake以及Ctrl+Shift+Face

深度学习的世界充满了实验。人们跳出思维束缚，这是深度学习最鼓舞人心的地方，也是通用人工智能最鼓舞人心的地方。吉恩·科根Gene Cogan)用动态的Pix2pix进行了实验：在这种情况下，来源不是草图，而是网络摄像头他的脸)，目标是根据特朗普的照片进行训练。

这些实验启发了研究人员，开发face2face程序。face2face是个模仿德国总理面部表情的Pix2Pix演示程序。1）face2face模型了解面部特征/地标；2）扫描面部特征的摄像头输入；3）它最终把这些输入变成了另一张脸。

后真相时代的另一个前沿已经到来，现在我们不仅可以修改图像，还可以修改移动的图像。就像流行即时通讯应用上的AR应用程序一样，人工智能以完美的方式解释视频片段并对其进行修改。像Ctrl+Shift+Face这样的艺术家将这种方法完善到了令人难以置信的水平：他在face2face帮助下转换了邪教电影中演员的顽皮面孔。

这种实现在以下方面具有多种可能性：电影制作人可以在试镜前与演员进行实验。他们还可以本地化电影，以便更好地同步各种语言，就像Synthesia对大卫·贝克汉姆David Beckham)所做的那样。

现在想象一下使用AI驱动的语言翻译和语音合成进行国际视频会议的这些可能性。艺术家们可以创作出颠覆性和超现实主义的“Being John Malkovich”之类的杰作。

逝去的人也可以复活。最好的例子是歌手Hibari Misora，他在一年一度的日本新年电视活动NHK Kōhaku Uta Gassen上表演了新歌，即使她30年前就去世了。在AI的帮助下重建视觉，用Voaloid模拟语音。

但深度换脸（DeepFake）的新途径是开放的。还记得ZAO吗，这是一款深度换脸搞笑应用程序：可以将普通人的脸换到名人身上，比如莱昂纳多·迪卡普里奥（Leonardo DiCaprio）。 

10三维肯·伯恩斯效应

这款由西蒙·尼古拉斯（Simon Nikolaus）开发的模型可以将单幅图像转换为跟踪镜头。该模型识别背景，模拟深度，用内容敏感的修复来填充缺失的区域，添加新的角度。简而言之，只需一张图像，你就可以生成空间3D视频片段。

11ArtBreeder：不限量生成艺术品

乔尔·西蒙（Joel Simon）将BigGAN和其他模型应用到用户友好的Web应用程序ArtBreeder中。你有许多不同的可能性来创建和修改面孔、风景、通用图像等。Artbreder同时在一个生动的社区中成长和发展，在这个社区中，用户和开发者正在进行持续的对话。

12DeOldify，黑白照片的脱旧彩色化

DeOldify是由詹森·安蒂科（Jason Antic）创建并发布的。这个项目的任务是对旧图像和胶片进行彩色化和修复。DeOldify使用通过两个神经网络生成器和鉴别器之间的迭代交互作用就像ArtBreeder中的那样)，生成性对抗性网络。

但与上个模型不同的是，DeOldify中的图像不会以其形式修改或生成。GAN的力量带来了颜色，生成器将颜料应用到它训练过的识别对象上，而鉴别器则试图批评颜色的选择。当然，这些颜色不会重复原来的调色板。但它使历史照片充满活力，使它们与我们的时代格格不入。

13由AI提供动力的VR

AI驱动的VR是可能的。实际上，这是英伟达一年前发布的新闻，而且非常有前景。在这里，城市和视觉都是在谷歌街景上训练的，所以VR城市体验是通过深度学习模型重建的。

为了进行培训，研究团队在装有cuDNN加速PyTorch深度学习框架的DGX-1上使用了NVIDIA Tesla V100 GPU，以及来自Cityscapes和Apolloscapes数据集的数千个视频。你可以想象这种方法的所有潜力：“从头开始”逼真的城市模拟，帮助城市发展，交通管理和物流，重塑视频游戏前景。

14Runway ML

Runway是个终极应用程序，它使用各种ML/DL模型来满足不同的需求。它可以翻译Image2Text，在图像之后生成文本使用GPT-2)，检测照片和视频片段中的对象，还可以将各种模型组合成连锁反应，而且是免费的。