1

人工智能眼中的梵高

艺术和科学像两个轮子,平行地解释人与自然,从不共襄盛举。最开始出现的图腾、神话、宗教,都是艺术的能指。太阳是阿波罗、月亮是嫦娥,东西方都在用艺术解释世界。紧接着科学发展起来,太阳是核聚变、月亮是卫星,重新解释了世界,昂扬的世界。但是到了一战,繁荣的科学却带来了尸横遍野。每三个人中,一个没了,一个残废了,只剩一个人形单影只。这时,人们又向艺术求助,通过文学、绘画、哲学来解释人类应该何去何从。

非常喜欢高晓松的这段文字。如果要再加一句,那就应该是:人工智能的崛起掀起了用科学探索艺术的潮流,借助AI来模仿艺术风格作画就是其中最杰出的工作之一。

模仿的艺术风格Pastiche源自法语,意思是仿照大师艺术品风格来创作艺术品。尽管这种方法已经在音乐和文学等艺术领域被使用了很长一段时间,直到最近才将大众的注意力吸引到了绘画上。

科学与艺术中,我们描述了艺术风格迁移算法,即借助卷积神经网络\(\theta\),通过优化算法得到Pastiche,其内容与内容图像\(C\)接近而风格与风格图像\(S\)类似。

内容接近是用内容损失(Content Loss)来衡量,即给定内容图片与Pastiche在某个特定卷积层的特征图像的Euclidean Distance:

\begin{equation}
\mathcal{L}_C (p) = \sum_{i \in C} \frac{1}{U_i} \parallel \theta_i (p) – \theta_i (c) \parallel_2^2
\end{equation}

风格类似是用风格损失(Style Loss)来度量,是给定风格图片与Pastiche在多个卷积层的特征图像的Frobenius Norm:

\begin{equation}
\mathcal{L}_S(p) = \sum_{j \in S} \frac{1}{U_j} \parallel G(\theta_j (p)) – G(\theta_j (s)) \parallel_F^2
\end{equation}

其中,\(G\)是向量化特征图像的Gram Matrix:

\begin{equation}
G_{ij} = \sum_{k} F_{ik} F_{jk}
\end{equation}

整体的损失函数是两者的加权:

\begin{equation}
\mathcal{L} = \alpha \mathcal{L}_C (p) + \beta \mathcal{L}_S(p)
\end{equation}

内容损失相对好理解,但是风格损失就不那么直观了。本质上,风格损失是特征图像的二阶统计特性,Gram Matrix得到特征图像的相关性,哪些是同时出现的、哪些是此消彼长的,而对角线元素还体现了单个特征,同时又摒弃了空间信息,所以Gram Matrix非常适合表示风格。据说Gatys尝试过更高阶统计,但是效果不明显便作罢了。Li从理论上证明了风格差异与Maximum Mean Discrepancy等价,所以风格迁移实际上就是分布对齐的过程,Gram Matrix等价于二阶多项式核,其他类型的核也取得了不错的效果。

通过损失函数,可以把Pastiche的制作变为优化问题,用Keras预训练的VGG模型来计算损失和梯度,通过scipy.optimize.minimize来优化,得到的结果就是Pastiche了。

比较有意思的就是超参数的调整。对于印象主义先驱的梵高,\(\beta\)比\(\alpha\)大很多同时调整风格损失中多个卷积层的权重,就能得到不错的效果。

《树根和树干》表达了生命里各种力量的缠斗,惊人情绪能量以及颜料的释放,画笔仿佛因为旺盛的创作力而微微颤抖,使得静谧的科技园也变得一片欣欣向荣:

《麦田里的乌鸦》是梵高作品中最令人震慑的一幅画,表现出来的狂暴、激烈、充满压倒性的情绪,有不可抗拒的感情因素,感染了秋天畅春园里的一片金黄,笔触都栩栩如生,色彩也在颤抖、脉动、摇曳:

《星夜》展示了一片灵魂动荡的领域,满天星斗下面是宁静祥和的村庄,火焰燃烧般地司柏树直冲云霄,祥和的太平洋、万座毛、野草突然变得生机勃勃而躁动不安了:

梵高热爱自然,有着能够发现美的心灵,感情激烈又纯粹,却被生活处处折磨。

Starry starry night
Paint your palette blue and gray
Look out on a summer’s day
With eyes that know the darkness in my soul
Shadows on the hills
Sketch the trees and the daffodils
Catch the breeze and the winter chills
In colors on the snowy linen land
Now I understand
What you tried to say to me
How you suffered for your sanity
How you tried to set them free
They would not listen they did not know how
Perhaps they’ll listen now

Don Mclean的Vincent对此给出完美的诠释。

以上代码在百度深度学习服务上调试通过。



张 琪

One Comment

发表评论

电子邮件地址不会被公开。 必填项已用*标注