StyleGAN赋能视觉媒体艺术创作-工作流解析
发布时间:2023年08月29日 来源:易倍体育-易倍中国有限公司官网 浏览量:205


文中图片和部分资讯来自©LG OLED ARTtowardsdatascience



《人工智能山水图》使用人工智能算法,借助以往山水画艺术品生成的不断变化的新媒体山水画,模糊了物理世界和虚拟世界之间的界限。

在这部8k的影像中,使用人工智能风格的深度学习算法,从互联网上创作的数千幅东方写意水墨画中学习数万个像素数据点。然后,一个人工智能机器人被编程为自动绘制多种变化的风景画,从而在一个屏幕上绘制出一幅大型抽象视觉作品,描绘粒子的流动和变化。


2020年英伟达的StyleGAN2发布,该产品使得采用已有视觉材料创作新视觉作品的构思变得更加更加可行。当然,StyleGAN2产品只是工具,更有价值的是艺术家的思想。但是AI新技术的赋能,也促进了新媒体艺术的发展。

本文简单探讨通过已有视觉材料创作新视觉作品的基本过程。

1、收集图像素材

可以通过Python脚本可以完成从网络收集图像,这些图像属于公共领域,可以通过公共标记来确定收集的范畴,比如“山水画”。当然,这一步骤往往在艺术家的控制下完成,使得作品的元素更符合预期。


从网络搜集的山水图素材

2、图像预处理

StyleGAN模型学习的数据必须是一个方形的画面。而山水画的装裱形态不可能是一种模式,

因此需要预处理源图像。

移除框架:Python脚本查找并移除图像周围的装裱框架。通过MachineRay 2对画幅的纵横比进行修改:将图像调整大小为1024x1024GANs最适合调整大小为2的幂的方形图像,例如2= 1024

3、自适应鉴别器增强

StyleGAN2A的主要改进之一是在训练期间动态地改变图像增强的量。

如果没有足够的图像来训练GAN,可能会导致性能不佳,如过拟合、拟合不足或可怕的模型崩溃,即生成器重复相同的输出图像。解决这些问题的方法是图像增强,可以应用旋转、缩放、平移、颜色调整等变换,为训练集创建额外的图像。

新版StyleGAN具有一种名为自适应鉴别器增强(ADA)的功能,该功能在训练期间执行无泄漏图像增强。在01的范围内的新的超参数p确定在训练期间对真实图像和伪图像应用增强的程度和频率。

4、训练系统

可以采用Google Colab训练了系统。通过Nvidia Tesla V100 GPU,可运行高达14 teraFLOPS(每秒14万亿浮点运算)。可在需要时启用自适应鉴别器增强功能。将目标参数设置为0.7可防止p超过0.7,从而最大化动态增强,而不会将任何进一步的增强泄漏到最终图像中。

5、迁移学习

在不同的、更大的图像集上训练GAN,然后使用素材进一步训练模型来提高绘画的质量。这种技术被称为迁移学习。

6、生成图像

一旦完成了GAN的训练,就可以通过命令行生成图像。

设置参数trunc来改变图像中变化的数量。

“新媒体的视觉呈现可以用科技的形式将传统媒介加以组合,当与中国人文特色的内容,联系起来的时候,他就将这样一个单纯视效变换的逻辑提升到了一个新的档次。”

------浙江易倍体育-易倍中国有限公司官网有限公司运用三维场景模拟,空间定位以及光学动捕,自动融合显示计算,特效合成编辑、特效逻辑编辑等技术,以专业文化娱乐行业为主要深耕方向,为客户提供动态投影映射、灯光以及视频内容追踪、视频内容互动、舞台创意集成在内的各类舞台创意视觉及音频易倍体育-易倍中国有限公司官网。