可生成高清视频的 Stable Diffusion 来了！分辨率提升 4 倍，超分算法来自腾讯，支持 Colab 在线试玩

它可以更有效地消除低分辩率图像中的振铃和 overshoot 伪影；

面对真实风景图片，能更逼真地恢复细节，比如树枝、岩石、砖块等。

原理方面，研究人员引出了高阶退化过程来模拟出更真实全面的退化，它包含多个重复的经典退化过程，每个又具有不同的退化超参：

下图为 Real-ESRGAN 进行退化模拟的示意图：

采用的是二阶退化，具体可分为在模糊（blur）、降噪（noise）、resize、JPGE 压缩几个方面。

到训练环节，Real-ESRGAN 的生成器用的是 RRDBNet，还扩展了原始的 ×4 ESRGAN 架构，以执行 resize 比例因子为 ×2 和 ×1 的超分辨率放大。

想要单独使用这种超分算法也不是问题。

在 GitHub 上下载该模型的可执行文件，Windows / Linux / MacOS 都可以，且不需要 CUDA 或 PyTorch 的支持。

下好以后只需在终端执行以下命令即可使用：

./realesrgan-ncnn-vulkan.exe -i input.jpg -o output.png

值得一提的是，Real-ESRGAN 的一作 Wang Xintao 是图像 / 视频超分辨率领域的知名学者。

他本科毕业于浙江大学本科，香港中文大学博士（师从汤晓鸥），现在是腾讯 ARC 实验室（深圳应用研究中心）的研究员。

此前曾登顶 GitHub 热榜的项目 GFPGAN 也是他的代表作。

One More Thing

前两天，大谷老师也发布了用 Stable Diffusion 生成了一组少女人像，效果非常奈斯。

Stable Diffusion 还能玩出哪些新花样？你不来试试吗？

Colab 试玩：

https://colab.research.google.com/github/nateraw/stable-diffusion-videos/blob/main/stable_diffusion_videos.ipynb

GitHub 地址：

https://github.com/nateraw/stable-diffusion-videos

Hugging Face 授权：

https://huggingface.co/CompVis/stable-diffusion-v1-4

参考链接：

[1]https://twitter.com/_nateraw/status/1569315090314444802

[2]https://www.bilibili.com/video/BV1yd4y1g7Wz?spm_id_from=333.999.0.0