2015年03期,《纺织导报》发表了《基于Kinect体感交互技术的3D服饰文化展示系统》研究成果论文,这是由广州新节奏与北京服装学院共同研究的成果,为了更好的向大众普及传统服饰文化,引起社会大众对中华传统服饰文化的广泛关注!
北京服装学院作为全国唯一一家以服装命名的学校,不管是在学术成果的研究上,还是中华服饰领域、人才领域贡献上,都是国内数一数二的专科院校,为了弘扬中华传统服饰文化,北京服装学院于2014年携手新节奏引入N-show 3D体感互动系统,借助体感技术、3D及AR增强现实将中华历代服饰、民族服饰、奥运服饰生动形象地展示在公众前,给传统服饰带来全新的展示方式。
本系统除了虚拟试衣之外,还可以利用文字、图片、视频等多媒体形式全面介绍不同服饰背后所蕴藏的文化背景,是集教育性、娱乐性、互动性于一体的服饰文化展示平台。让人们体验到独特新颖的虚拟试穿乐趣时,也学习到与之相应的服饰文化知识,真正达到科技普及传统服饰文化。这种创新的3D服饰文化展示平台,赋予了传统文化蓬勃的生命力,得到《科技日报》、光明网等媒体的关注及报道!
原文链接:http://www.texleader.com.cn/summary/3993.html
原文如下:
摘要:为弘扬传统服饰文化,本文融合体感交互技术与增强现实技术,设计并实现了基于Kinect体感设备的3D服饰文化展示系统。不同于以往商业行为中的虚拟试衣镜,系统更注重中华传统服饰文化的普及,包括国粹箐华历代服饰、少数民族服饰、奥运主题服饰在内的多个主题将给使用者带来全新的用户体验。
关键词:体感交互;Kinect;服饰文化;虚拟试衣镜
中图分类号:TS941.6 文献标志码:B
Kinect-based 3D Costume Culture Display System
Abstract: To carry forward traditional costume culture, a Kinect-based 3D costume culture display system was designed based on somatosensory interactive technology and Augmented Reality (AR( technology. Different from virtual mirror for commercial use, the system pays more attention to the popularization of Chinese traditional costume culture. The costumes, which are displayed under several themes such as Ancient Costumes, Ethnic Costumes and Costumes for the Olympic Games, would give viewers a completely new experience.
Key words: somatosensory interaction; Kinect; costume culture; virtual mirror
近年来,弘扬中华传统服饰文化受到社会各界的广泛重视。服装所展示的不仅是品牌、款式和色彩,同时也是一个国家的文化符号。然而,令人遗憾的是,不知从何时起,国人曾经引以为豪的中式服装已经渐渐淡出了人们的视线,在工作和生活中我们所能接触到的是清一色的西式服装。对于华夏衣裳五千年的发展历史,人们更是知之甚少。虽然介绍传统服饰文化的书籍不少,例如:吴欣著《中国消失的服饰》、楼慧珍著《中国传统服饰文化》等,但这类学术著作专业性较强,更适合业内研究者及高等院校教学使用,并不适合向广大公众做科普宣传。
与此同时,博物馆中珍贵的服饰藏品受到展品保护的限制,也只能是让参观者透过橱窗对展品做简单了解,学习过程缺少娱乐性和互动性,因此对服饰文化的传播效果不够理想。
为了更好地普及传统服饰文化,本课题借助增强现实技术,体感交互技术,将中华历代服饰、民族服饰、奥运服饰生动形象地展示在公众面前。人们可以一边体验虚拟试穿的乐趣,一边学习与之相对应的服饰文化知识,真正做到科学普及传统服饰文化。本系统由北京服装学院、北京科普发展中心、广州新节奏智能科技有限公司三方联合完成。
1 研究思路和方法
1.1 体感交互技术
体感交互起源于游戏行业,特指用户通过身体运动和身体感受等方式完成人机交互。早期的体感交互必须借助昂贵的数据手套、3D头盔等硬件才能实现。直到最近,随着实时深度摄像机技术与体感交互算法的日渐成熟,特别是Microsoft Kinect与ASUS Xtion PRO的相继发布,体感交互技术已显露出它在电子娱乐、互动教育、医疗辅助、机械视觉等实际应用中的巨大潜力。
本系统所选用的体感设备是微软开发的Kinect,它有 3个不对称的镜头,中间的镜头是RGB彩色摄像头,用于实时捕获彩色图像;左右两边镜头则分别为红外投影机和红外摄像头,它们通过发射与接收红外线来提供深度信息。系统借助Kinect体感交互设备不仅可以轻松获得场景中的所有视频信息,还可以通过检测用户的动作判断其操作意图,例如,用户挥动手臂代表需要更换观看的内容,手在某个位置2 s以上的停留则代表选定某件服装,准备试穿等等。换句话说,Kinect实现了“你就是遥控器”的全新用户体验,消除了以往使用者与操作对象之间的隔阂,提高了整个展示系统的沉浸感与体验度。
1.2 增强现实技术
增强现实技术(Augmented Reality,简称AR),是虚拟现实技术的延伸。它将计算机生成的虚拟物体、场景或系统提示信息实时融合到真实世界中,从而增强用户对现实世界感知的程度。近期,由于AR技术在会展、设计、出版、娱乐等领域所发挥出的重要作用,它已被《时代周刊》列为当前最具活力和前景的十大技术之一。
系统中对于增强现实技术的应用如图 1 所示,其中图1(a)为博物馆中实际展出的珍贵服饰;图1(b)为系统硬件设备,位于屏幕上方的Kinect彩色摄像头可以获得现实世界中的真实影像;图1(c)为用户通过显示设备观察到的虚拟试穿效果。此时,不论用户如何动作,服装都像真正穿在人身上一样,不会出现偏移或者穿透的现象,即使试穿者转身或者跳跃,虚拟服装也会表现出很好的随动特征,从而带给用户较好的交互体验感。
1.3 系统工作流程
系统实现过程分准备阶段、制作阶段、实现及测试阶段 3 部分进行,具体工作流程如图 2 所示。在前期的准备工作中最关键的是确定好系统展示方案,既要确定展示内容、明确作品风格、设计具体栏目,也要对每个子栏目的具体内容予以规划。在资料搜集整理阶段则要借助网络及专业的资料库全方位获得与展示主题相关的各类资料。在具体制作阶段,可分为二维和三维两个小组同时开展,二维部分主要应用平面设计软件完成用户界面设计,服装模型的贴图制作等;三维部分则使用专业三维建模软件建立服装模型,并进行骨骼绑定、灯光设计、材质编辑等一系列工作。最终所有信息汇总到“体感3D服饰文化展示系统”,完成系统测试工作。
2 服饰文化展示系统的设计与实现
2.1 系统功能设计
不同于以往商业行为中的“3D虚拟试衣镜”,系统不仅包含虚拟试衣功能,还利用文字、图片、视频等多媒体形式全面介绍了不同服饰背后所蕴含的文化背景,是集教育性、娱乐性、互动性于一体的服饰文化展示平台。展示系统在国内实属首例,具体功能见表 1。
系统设计了历代服饰、民族服饰、奥运服饰 3 个栏目,每个栏目又包含 8 个子栏目,子栏目的选择需要考虑时间顺序及服饰文化的丰富程度。目前,系统已经整合了大量的文字、图片资源,但视频及虚拟试穿部分还有待进一步加强。由于服装自身的特性,留传于世的多为百年之内的作品,年代久远的难免品相不佳,需要利用计算机图形学做大量的后期处理工作,这也充分体现了课题在艺术与技术上的融合。
2.2 用户界面设计
为突出传统服饰文化这一主题,展示系统在用户界面设计上保持了中国风的特色,在主界面及二级界面中均采用了对称的布局方式(图 3)。主界面中的四个栏目由上而下依次排列,清晰明了,不同栏目之间通过硬朗的线条及模糊的云朵予以连通,体现看似不同的主题之间又有着千丝万缕的联系。二级界面均采用了插画的表现方式,用简单的线条勾勒出不同服饰的造型特征,清新淡雅的颜色刚好与各自的主题相一致。
体感交互系统不同于一般的图形界面系统,毕竟手势控制不如鼠标的操作更加精确到位,因此系统在用户界面的设计上,既要确保较好的视觉表现力,同时还要易于Kinect体感设备的识别与控制。考虑以上特点,系统采用面积较大的矩形按钮完成交互任务,用户只需要站在设备前1.5 ~ 3.0 m范围之内,系统就可以自动识别出双手的位置,若用户将手停留在某个按钮上 2 s以上即表示确定进入该栏目。
2.3 服装模型建立
三维服装模型的建立是系统实现的关键,通常一个服装模型的制作需要经历如下步骤:
(1)确定展品(有实物最佳 ,否则需要较为详尽的图片资料作为辅助);
(2)搜集资料(对实物进行多角度拍摄,整理相应文字、图像等资料作为背景知识介绍);
(3)三维服装模型制作(使用3ds Max及CLO专业服装建模软件完成,保存为fbx格式);
(4)制作贴图(利用步骤(2)拍摄的照片,借助Photoshop软件完成,保存为jpg格式);
(5)模型格式转换(使用Unity3D游戏引擎,将步骤(3)、(4)中的文件合成为u3d格式)。
(6)上传模型至3D体感形象搭配系统后台数据库。展示系统开机后会检测到数据的更新,通过无线网络可以下载数据库中的服装模型。
系统在建立三维服装模型过程中需要特别注意的是,由于系统对于虚拟服装的渲染为实时操作,计算量极大,因此必须控制每个服饰作品的服装面数小于3 000,否则将会影响到用户体验时的感受。为了尽量减少服装模型中的面数,系统采用以贴图效果代替复杂几何造型的原则,同时,多层的服装也仅仅通过贴图中的阴影效果来实现,从而确保所有服装在用户试穿时均有流畅的表现。
2.4 系统实现效果
2014年9月,在全国科普日北京主场活动中,基于Kinect体感交互技术的3D服饰文化展示系统在中国科技馆与广大民众见面,上千名参观者亲身体验了系统中的48套服饰作品,《科技日报》、光明网等媒体对系统进行了报道。图 4 为系统在现场展出时的效果。
3 结语
服饰作为一种文化形态,贯穿于中国古代各个历史时期,也成为中华传统文化的重要组成部分。科技带给服饰全新的展现形式,更赋予传统文化更加蓬勃的生命力,本课题旨在使用科技最前沿的增强现实技术、体感交互技术,全方位地向广大公众展示灿烂的华夏服饰及其背后蕴藏的丰富文化背景,提高国人的服饰文化修养,增强民族自豪感。
参考文献
[1] Saffer D.Designing for interaction creating innovative application and devices[M].2nd Edition.Berkeley:New Riders Press,2009.
[2] 韩云,钟圣伦,叶正圣.基于视角无关转换的深度摄像机定位技术[J],物理学报,2014,63(7):1-9.
[3] Shotton J,Fitzgibbon A,Cook M.Real-time human pose recognition in parts from single depth images[A].Proc.Computer Vision and Pattern Recognition:IEEE Press[C],2011:1297-1304.
[4] 余涛.Kinect 应用开发实战:用最自然的方式与机器对话[M].北京:机械工业出版社,2013.
[5] 罗斌,王涌天,沈浩.增强现实混合跟踪技术综述[J],自动化学报,2013,39(8):1185-1201.
[6] Virtual Fitting Room. http://fits.me [OL](2015-1-20).