日本face tracking&mapping 艺术实践
发布时间:2022年02月22日 来源:易倍体育-易倍中国有限公司官网 浏览量:621

     浙江易倍体育-易倍中国有限公司官网有限公司撰稿

     文中图片和部分资讯来自©w0w.co.jpmaxon

想象一下剧场,演员们可以在不离开舞台的情况下实时改变他们的化妆和他们的角色,这对于舞台演出,会创造出多少惊人的效果。在浅井信一(Nobumichi Asai)拍摄的一段名为Omote的新视频中,该团队对face tracking和mapping做了进一步、更精确的测试。该项目使用动作捕捉技术和投影mapping技术,实现了令人印象深刻的准确度。人脸被扫描,然后变成一系列令人惊叹的数字艺术面具,即使在人脸移动时,mapping也能正确工作。视觉效果范围从数字化的胭脂和一些眼线效果,到一个完整动画形象

       1、花鳥風月 Kacho Fugetsu

 

 

      这部作品的主题是自然之美。日文单词kacho fugetsu”来源于花(ka)、鸟(cho)、风(fu)和月亮(getsu),旨在唤起日本自然宝藏的美丽、多样性和和谐。人类曾经作为自然的一部分生活,在其令人振奋的美学中过着精神生活。通过电子化妆艺术的媒介,这件作品概括了这样一种理念,即这种自然之美包含了一套审美价值观和一种日本应该引以为豪的认同感。除了现有的技术外,这项工作还引入了一款新设计的4K/240P投影仪,以进一步改善皮肤和化妆品的细腻感觉以及动态运动感。

 

     

       Asai Nobumichi(WOW)担任“kagami”和“Kacho Fugetsu”的创意和技术总监,负责项目的规划和开发。Tomizawa也参与了“连接颜色”的合作,负责化妆艺术。美丽的化妆艺术为魔兽世界的CG动画提供了一个基础,在这个基础上,魔兽世界的CG动画将唤起大自然的活力和运动。音乐由哈蒂斯·诺伊特(hatis noit)提供,使用的调色盘完全由来自大自然的声音组成。hatis noit利用她的家乡北海道的声音、平原上的风声、流水声、鸟鸣声等,从自己的记忆中创造了一个声音景观。

 

 

 

       人脸映射技术已经存在,通常用于营销活动。但我想专注美和化妆艺术的表达,而不是技术噱头。但这需要更高的技术精度。投影的细微不匹配会破坏效果-- Nobumichi Asai 

       该团队还想向世界展示日本的美丽。 “当我把日本美学、哲学和美德的定义映射到一张脸上时,我想到了我小时候看到的以山口早子为主角的化妆品广告。在我看来,日本女性有着迷人的、空灵的、复杂的、独一无二的品质。为了传达日本的美丽,我特别关注这些特质,并选择了Sekimizu女士作为我们的模特,而不是其他更具结构特征和大双眼皮的人。

 

 

 

      整个系统由Paul Lacroix和Asai Nobumichi创建和开发。从技术上讲,实时跟踪项目是非常困难的。以前没有人做过,所以我们必须从头开始。这个过程很复杂,用传感器捕捉、处理数据、创建CG效果图,以及使用投影仪。正确的同步也是一项挑战,需要修复延迟,并确保投影技术具有最大的精度,以使面部和视觉效果匹配。

      针对该项目,采用OptiTrack光学感器进行快速响应,并开发了C++程序。为了减少延迟,重新进行了系统数据集成设计,最终创造了惊人的效果。 

 

 

 

        2、KAGAMI

        Asai的另一项创新工作是kagami/Real Time Face Generator,这是一个类似于3D镜子的装置,参与者可以通过3D扫描仪扫描自己的面部,但只有通过5000个小型电机驱动杆构建的3D复制品才能实时显示。然后,三维人脸上会投影一系列图像。

 

 

 

 

       Asai的最新作品展示了这项技术的快速、令人印象深刻的发展。在IORI(祈祷)中,Asai与东京大学的研究人员合作创建了一个系统,可以实时绘制快速移动的人脸。该大学团队设计了一台投影仪,可以每秒1000帧的速度投射图像,并将其与Asai的面部跟踪技术相结合,创造出一种可以以惊人的速度实时改变舞者面部的表演。

       这项工作是魔兽世界和Kao公司的一个项目团队合作的结果,他们的灵感来自“OMOTE”项目。从计划到完成,花了一年时间制作。它是在今年9月成立的高科拉布博物馆(COCOLAB museum)展出的。

 

 

     “kagami”在日语中的意思是一面镜子“kagami/Real-Time Face Generator”是一款以“3D镜像”为特色的装置,能够在三维空间中复制人脸。

 

 

       该装置的面部扫描仪扫描参与者的面部,计算机将扫描结果转换为3D建模数据。在这些数据的基础上,大约5000根杆被马达向前移动,实时生成一个3D面。然后,这张脸就变成了一张以“Kacho Fugetsu”为主题的画布,这在日语中是自然之美的意思,电子化妆艺术将牵牛花、竹子、蝴蝶、翠鸟、朱鹭、日落、樱花、月亮等投射到它的表面。

 

 

      

      此外,这个领域吸引了更多关注技术的媒体艺术家,但我觉得过分强调技术可能会削弱表达能力。我的科学背景和我在[表达]形式上的广泛工作给了我正确的平衡。当外来或多样的事物融合时,新的价值观就会产生-- Nobumichi Asai

      3、Connected Colors 

 

 

       2016年初,东京的视觉设计工作室WOW制作了“连接颜色”,这是一个结合了动画3D图形、投影贴图和现场表演的项目。这段视频是为英特尔全球推广活动制作的,名为“令人惊叹的体验”。英特尔要求来自世界各地的创新者为该活动创作艺术品,并选择艺术家浅井信一创建一个人脸mapping项目。

 

 

 

 

 

 

     “英特尔推广的每个项目都有不同的主题。‘互联色彩’的主题灵感来自互联世界和英特尔的‘物联网’概念。互联世界有两个方面,一个是积极的方面,为人们的生活带来效率、优化、和谐和共生,另一个是积极的方面。”ide认识到需要操作规则和管理。我想让这个项目的信息质疑技术的使用,并决定创作一幅艺术作品,表达连接的积极方面。 

 

 

        内容的制作与mapping的实施。

 

 

 

 

 

       通过cinema4进行face mapping simulation

     “当我们将技术聚焦于生命时,我们看到动物、植物和昆虫都基于相同的结构——基于DNA——并且都有不同的颜色。我使用了包括人类在内的所有生命形式的颜色主题,并将这些颜色联系起来。”----Asai

------浙江易倍体育-易倍中国有限公司官网有限公司运用三维场景模拟,空间定位以及光学动捕,自动融合显示计算,特效合成编辑、特效逻辑编辑等技术,以专业文化娱乐行业为主要深耕方向,为客户提供动态投影映射、灯光以及视频内容追踪、视频内容互动、舞台创意集成在内的各类舞台创意视觉及音频易倍体育-易倍中国有限公司官网。