文摘

我们提出一个系统,自动生成肖像绘画为目的的人类情感关怀。我们的系统包括两个部分:一个智能手机应用程序和服务器。智能手机应用程序允许用户拍照一整天而获得smartwatch穿由用户的心率。服务器收集照片和心率并显示自动肖像绘画程式化的照片的最激动人心的时刻。在系统中,用户可以回忆一天的兴奋和快乐的时刻通过欣赏相应图纸和治愈情感。样式照片作为肖像绘画,我们采用nonphotorealistic呈现(NPR)方法,包括肖像练习曲因袭提议。最后,我们的系统演示了通过用户研究的有效性。

1。介绍

物联网(物联网)经历了飞速发展后,智能手机的普及和可穿戴传感器设备。由于这种情况下,物联网已经成为在我们的生活中几乎无处不在,广泛的支持方面我们的幸福。特别是在医疗方面,许多应用程序(例如,苹果HealthKit)基于物联网开发和使用。然而,这样的应用程序通常只关注身体保健。因此,情感和精神卫生保健应用程序的需求正逐渐增加。

我们提出一个系统开发的目的是照顾用户的情绪;该系统自动生成和显示用户的肖像素描利用物联网。在此系统中,当用户需要使用智能手机照片一整天,最令人兴奋的肖像自动选择是基于用户的心率从smartwatch配备心率传感器。选中的照片然后呈现为肖像绘画使用nonphotorealistic呈现各种风格(NPR)技术在服务器位于用户的主。最后,当用户返回家里,程式化的肖像素描显示在一个数码相框,连接到服务器。因此,用户还可以回忆最令人兴奋的和一天中最快乐的时刻通过欣赏相应图纸和治愈自己的情绪。

本研究的主要贡献如下。首先,我们提出一个IoT-based申请人类情感护理如前所述。这是通过使用NPR技术,旨在获得审美形象。这项研究不仅表明,NPR emotion-aware应用程序可以利用而且使用物联网技术可以进一步扩大。第二,我们提出一种新颖的肖像格式化方法受Henri de图卢兹的练习曲,主要是使风格化的面部区域而抽象代表别人。在这项研究中,我们的系统使用自动程式化的肖像绘画关心人类的情感。选择性聚焦和表达格式化过程中面部区域,因此,扮演着一个关键角色,使生成的图纸表达表情代表最激动人心的时刻。最后,进行用户研究中,我们表明,我们的系统让用户感觉更好之后回忆最激动人心的时刻的天欣赏我们系统生成的图纸。通过用户研究中,我们也确认格式化方法提出了生成结果合理像Henri de图卢兹的练习曲。

本文的其余部分组织如下。节2,我们提供相关的物联网应用工作的概述和艺术格式化方法。接下来,我们描述我们的系统自动和远程生成肖像使用物联网技术在部分图纸3。然后我们提出我们的肖像格式化方法4。节5,我们目前的实验结果及其评价。最后,在节6,我们的方法,我们总结和未来发展的空间。

2。相关工作

由于移动设备的普及,物联网的范围(物联网)技术已迅速扩大。这使得物联网技术在我们的生活中几乎无处不在,它广泛支持方面我们的幸福。在这方面,很多研究专注于各种物联网应用程序。医疗保健,1,2)开发的应用程序监视心率测量的心率传感器smartwatch和为用户提供个性化信息的心脏保健没有去医院或药店获得医生的诊断。对于健身,应用活动跟踪与健身设施像跑步机和骑自行车健身获取准确的数据,如运动距离、速度、和slopeness,追踪这些智能手机显示个人锻炼计划被广泛使用(3,4]。然而,尽管身体健康越来越浓的兴趣,情感护理的研究很少。在本文中,我们的目标是开发一个系统对人类情感的关怀。为此,我们利用因袭技术。

艺术形象格式化是一种技术,旨在将原始图像转化成艺术形象与特定的风格(5]。早期的研究在艺术形象因袭6,7)关注表达绘画风格通过生成画笔描边。研究中,笔触的属性如方向、大小和结构主要是设法使风格化原始图像。与此同时,一些研究集中在表达特定的艺术风格。梵高的绘画风格是模仿通过操纵画笔描边的属性(8,9),以及修点彩派的模拟采用颜色并置理论(10]。这些研究进行了针对在模仿印象派画家的绘画风格,因为他们使用的笔触是非常独特的。在本文中,我们针对生成图卢兹的肖像练习曲是在18世纪著名的印象派画家之一。

3所示。远程肖像生成和显示系统对人类情感的关怀

3.1。系统概述

系统提出了由一个移动应用程序部分包括智能手机应用程序和smartwatch和服务器部分包括服务器和数码相框。在我们的框架中,用户每天穿着smartwatch,肖像照片通过使用我们的智能手机应用程序。拍照时,应用程序也获取心率从smartwatch并将其发送到服务器位于用户的主。然后,服务器使风格化的照片肖像绘画与给定的样式如果他们认为最激动人心的时刻基于心率的那一天。当用户返回家里,服务器显示图纸通过使用数码相框,并通过欣赏这些图纸和回忆的时刻,用户体验的一个情感愈合。我们介绍每个部分的细节在接下来的两个部分。

3.2。移动应用程序获取一部分照片和心率

用户的照片是一天中获得通过使用智能手机和smartwatch配备心率传感器,传感器内置摄像头,深度知觉。当用户需要使用智能手机的照片,我们的智能手机应用程序(图1)同时获得用户的心率从smartwatch信息,向服务器发送照片和心率。在这项研究中,我们使用三星齿轮年代这是smartwatch配备心率传感器和集成我们的Android开发的智能手机应用程序环境。

我们的系统主要旨在生成肖像绘画。因此,输入照片划分成不同区域,如面部区域和背景使系统获得更好的质量的图纸。要做到这一点,我们段输入照片通过使用Google的探戈的深度知觉,这是一个增强现实的计算平台。图2显示了执行过程,在联想伤健2职业,这是一个智能手机在这项研究中,支持探戈。探戈的三维表面重构的照片通过深度传感器和运动传感器。从表面上看,我们寻找伟大的深度和找到边界框的中心,它检测到的脸的照片。通过使用这两个点作为种子,然后我们进行分水岭分割深度域对象从背景中分离。可选地,我们还提供半自动分割使用上面提到的种子和种子用户选择头发和身体。最后,分割的结果是把输入照片和发送到服务器中使用肖像图生成过程在以下部分中描述。

3.3。服务器生成和显示部分肖像绘画

当接收到照片的分割结果和心率、服务器,位于用户的主法官是否这张照片是最激动人心的时刻。在这项研究中,我们把这张照片合并最高心率最激动人心的时刻。因此,服务器呈现肖像画作只有收到照片的心率高于先前收到的照片。对于肖像绘画的风格,我们提供油画,蜡笔画,铅笔素描,和肖像练习曲,节中描述4。使用这四个样式,服务器生成肖像图纸和保存它们,直到一个新的照片对应于一个更激动人心的时刻。服务器监控用户的位置,计算在使用GPS智能手机。当用户在一个预定义的距离从服务器,服务器最后显示数码相框上的肖像素描连接到它。

本文假设系统用于家用。因此,建议使用低功耗设备作为实际应用服务器的系统。为此,我们使用了树莓π2 B +和骆驼PF1710IPS服务器和数码相框,分别如图3。当用户赞赏我们的最终图纸,交互,让用户浏览并选择首选图纸由红外遥控器提供。要做到这一点,我们获取红外遥控信号的22销的覆盆子π。

4所示。肖像格式化方法

本研究旨在使用户能够欣赏画像画各种样式来激发他们的兴趣。为了达到这个目标,算法设计需要不同的风格。就像前面提到的2,大量的格式化方法。其中,我们采用Seo等人的绘画渲染算法(11使用中风纹理数据库。在他们的研究中,每一个笔触纹理,捕获从一个玻璃板,艺术家描绘,存储在他们的中风纹理数据库和用于生成笔触渲染过程。这个时候,如果数据库被替换为另一个由不同介质的笔触,产生的画的风格是因此改变。在这种方式中,我们使用三个媒介(即。,oil paint, pastel, and pencil) to provide each style (Figure4)。

在这项研究中,我们关注生成肖像绘画使用由用户在一天中最激动人心的时刻。因此,传达别人的面部表情与抽象表示有时是更有效的给用户留下了深刻的印象。除了上面提到的款式,我们提出一个肖像因袭Henri de图卢兹的练习曲的启发,主要是使风格化的面部区域而抽象地表示。如图5图卢兹,使得许多肖像练习曲。他的练习曲风格的主要特征表现为简化除了面部区域。在他的练习曲,背景通常是消除。只有面对部分详细描述虽然大多数的身体部分简化为几行。通过这种方式,我们为代表的身体和边缘提取简化操纵它们模仿他使用的线。然后,我们油漆刷中风在面部区域主要是让用户专注于面部表情。我们提出算法的细节在以下部分。

4.1。肖像练习曲因袭

图6展示了我们的肖像练习曲因袭的过程。这个过程分为三个步骤。第一步是线处理。在这一步中,我们从输入图像中提取边缘并将它们合并到长简单的线条。下一步是地区加工;等我们把输入图像分成几个地区的脸,头发,身体,和背景。最后一步是渲染处理。在这一步中,我们呈现线条和笔触。

以下4.4.1。行处理

在这一步中,我们关注的表达简单的行显示在图卢兹的画像练习曲,尤其是对于身体的表情。生成简化线路,我们首先从输入图像中提取边缘,vectorize他们。在这项研究中,基于流程的不同高斯(FDoG)过滤12)是用于提取边缘。如图7过滤后的结果是一个光栅图像,包括厚边缘。因此,vectorizing边缘得到简化的线条是必要的。为了达到这个目标,我们首先利用稀疏算法存在1个像素宽的边缘(图7(d))。然后我们使用跟踪算法在边缘检测和跟踪每个点用3×3内核如图8。在图中,跟踪从边的终点(a)和沿边缘收益(罪犯)。在(a)的情况下,(b)和(c),下一个边缘点只有一个候选人还没有跟踪。(d)然而,在案例中,两个候选人,所以选择一个使简单的边缘是必需的。为了解决这个问题,我们选择的角度区别是最小化通过向量的内积计算边缘点和候选点进行跟踪。

如果有超过一个像素是切断边缘(图9(一个)),它将不会被追溯到一行(图9 (b)),因为内核只覆盖相邻的邻居像素。为了解决这个问题,我们合并邻近线考虑它们之间的距离和方向(图9 (c))。如果每个端点的两条线之间的距离和下面的区别他们的方向是预定义的阈值,我们将它们合并到一行。本文通过实验,阈值距离和方向设置为默认值5和15°,分别。

分离的线段中,我们选择长,只有用他们强大的线段的长度和平均梯度值来表示抽象的总体结构。图10显示线段和一个直方图代表他们的长度和数量。我们获得一个阈值,将它们分成长短线段的应用——聚类算法与 直方图。在图中,长长的队伍(蓝色)和短线条除以使用的阈值设置为32。以同样的方式,我们把线段分成强和弱线通过梯度强度。在我们的方法中,强烈的线条更容易被探测到的地区详细表达如的脸是必要的。这两条线是用来表达每一节中分别输入图像的一部分4.1.3。

4.1.2。区域处理

表达每个地区分别根据该地区是什么,它需要将输入图像划分为区域和标签。如图5图卢兹的练习曲主要可以分为脸,头发,身体,和背景的光环。就像前面提到的3所示。2,我们获得这些地区利用深度知觉和用户帮助。

在图卢兹的练习曲,他简要地描述面部组件(如眉毛,眼睛,鼻子,嘴,用简单的线条,而不是彩色的画笔描边。为了表达这一点,我们只画线对应于这些组件。为了实现这一点,我们从输入图像中提取77脸地标通过主动形状模型(ASM)。然后我们构造一个距离地图在面部组件生成的连接如图的地标11。最后,我们将使用地图的距离超出范围线。

光环区域的背景,我们代表后面的背光的脸。在图卢兹的练习曲,光环常常被表示为直接孵化具有任意方向的线或头部的轮廓。表达这个,我们计算修改流映射的方向是由混合流方向通过ETF (12)和任意方向如图12。

4.1.3。呈现线条和笔触

在绘制线条和笔触之前,我们创建一个矩形的背景使用磨木浆纸纹理显示在图卢兹的练习曲。然后我们呈现的顺序排队时间过长,晕,脸,头发,面部组件。如图13,我们通过以下步骤:使每一行首先创建一个三角形带网后,梯度方向;然后用颜色样本从输入图像网格所在地;最终我们地图预定义的线纹理从图卢兹的练习曲。

我们画线执行使用先前获得的长和强大的线段。呈现线条与不同的宽度,我们调整宽度通过以下方程: 在哪里和输入图像的宽度和高度,平均梯度强度的区域通过线段,然后呢控制线路的最大宽度。图14显示了线产生的调整 。

对每个区域分别呈现笔触执行。我们详细描述的脸和头发,但身体和光环。要做到这一点,我们安排刷间隔狭窄和缺乏脸上和头发上。另一方面,对身体和光环,刷之间的间距扩大,安排了长度长。

后呈现在整个面部地区的笔触,我们画面部组件中定义的部分4.1.2转达的面部表情。为了达到这个目标,我们首先呈现更多薄刷面部区域,然后画出相对应的边缘面部组件。图15显示了结果没有和面部组件。如图,面部组件面部表情传达更好。

图16展示了我们的肖像练习曲渲染结果。如图,我们的方法主要集中在输送时面部表情代表其他的抽象。节5。2,我们评估结果通过用户研究的相似性图卢兹的练习曲。

5。实验结果

图17显示了生成的画像画我们的系统。正如上面提到的,我们的系统会生成4个风格的肖像绘画的最激动人心的照片,允许用户选择首选的结果显示系统的数码相框。在图中,每个标记结果代表了图纸由用户选择输入的照片。如果用户不执行描述的可选的半自动分割部分3所示。2,只有面部区域和背景是有区别的;因此,我们的肖像练习曲不是生成的。我们注意到的结果不包含肖像练习曲对应这种情况下结果。如图所示,系统生成的图纸最激动人心的时刻。我们可以观察到,系统呈现面部区域比别人更详细。这是因为我们的智能手机应用程序输入照片分为脸和其他部分半自动地并分别用它们来呈现每个部分。

在接下来的两个部分,我们表明,我们的系统让用户感觉更好的回忆的最激动人心的时刻天后通过欣赏图纸我们系统生成并显示画像练习曲格式化方法生成结果相当类似于图卢兹的练习曲。

5.1。系统的评价

我们假设一个用户需要照片一整天,回家后使用我们的系统,该系统安装。然而,我们在办公室安装了该系统在大学里和用户进行研究。我们给每个参与者一个智能手机,我们的应用程序被安装和smartwatch,演示了设备工作的他们,让他们自由地把肖像照片包含自己整天戴着手表。然后我们让他们参观办公室,演示了数码相框工作对他们来说,最后让他们欣赏原始照片和图纸生成的。参与者包括19个本科和研究生的学生没有任何美术方面的专长。当他们欣赏照片和图纸上显示数码相框,我们检查这风格他们选择并检查是否执行半自动分割后的照片。然后我们问他们关于未来三个问题。(1)你认为你觉得更好的欣赏后图纸吗?(2)你同意的图纸对应中最激动人心的时刻你带走了什么?(3)你认为图纸表示的情绪和氛围的时刻拍摄好吗? For the answers, we use the following scale: 1 = strongly disagree, 2 = disagree, 3 = neutral, 4 = agree, and 5 = strongly agree. In addition, we asked them to give reasons and any feedback.

图(18日)显示了参与者选择的样式。在实验中,参与者可以选择多种风格包括原始照片显示他们。否则,他们也可以选择的样式来显示所有的人。如图,在19个参与者,15人选择他们喜欢的风格;其他的选择。对于参与者选择的风格,照片,油画、蜡笔画,铅笔画画,和肖像练习曲被选出15日13日8日2和7次。在这个时候,我们注意到肖像练习曲并没有为7例,半自动分割生成没有执行。结果表明,参与者大多是首选的原始照片。在图纸中,油画最喜欢的风格在我们的系统。在这方面,参与者回答说,最初的照片是很容易辨认。 They also answered that oil painting was the most familiar style among what we provided. Meanwhile, pencil drawing was chosen only twice. They also mentioned that this was because facial detail was not depicted well in our pencil drawings.

图18 (b)显示问题1的答案。答案3到5不等,其平均值为3.74。从这个结果,我们确认之后,他们大多觉得更好的欣赏我们系统生成图纸。

图18 (c)显示了第二个问题的答案。从2到5的答案分布,平均值为3.37。这是最糟糕的分数在我们三个问题。我们假设这是因为我们的系统依赖于心率来选择最激动人心的时刻。例如,参与者回答2 =不同意图19其中输入张照片拍摄运动后,我们可以假设心率是受到运动的影响而不是情感。在这方面,我们提出这个问题的可能的解决方案6。

最后,图18日(d)显示了回答问题3。答案从3到5不等。其平均值得分3.95,这是最好的分数在我们的实验。尤其是比分参与者选择我们的肖像练习曲作为他们首选的风格之一是4.42。我们分析,这是因为该算法有效地转达了面部表情通过关注主要表达的面部区域而代表其他的抽象。

一起,我们确认我们的系统生成肖像绘画传达有效的情绪时刻拍摄的用户感觉更好的欣赏图纸后,虽然图纸不符合最激动人心的时刻。除了选择题答案,参与者的反馈如下:提供的风格过于有限;肖像练习曲看起来不完整;铅笔绘画缺乏详细的描述;分割过程是麻烦的;不仅最好的时刻,还可以显示其他的时刻;智能手机应用程序耗尽电池太快。对于这些,我们还建议几个解决方案部分6。

5.2。评价肖像练习曲呈现

风格的肖像练习曲我们提出了部分4所示。1,我们也进行了用户研究。31日参与实验的参与者包括19节5。1包括本科和研究生的学生没有在美术方面的专业知识。我们向他们展示6肖像作品(图20.)包括图卢兹的练习曲和让他们选择的作品风格是类似于我们的练习曲肖像图结果。我们允许多项选择问题,因此58选择。图20.显示了艺术品和参与者的选择的数量。如图,图卢兹的作品被选为最相似的一个肖像因袭,由28个参与者选择。埃德加德加的作品,Eduard Vuillard Berthe Morisot,文森特•梵高和马奈选择13日,10日,3,3,分别和1的参与者。从这个结果,我们确认我们的肖像练习曲格式化生成方法生成的图纸非常类似于图卢兹的艺术品,我们的目标。参与者主要选择了图卢兹的艺术品,德加,和Vuillard说线条样式,光环效应,选择性的抽象,和不完全相似特征被发现在我们的图纸。另一方面,参与者选择Morisot和梵高解释说,用于面部区域的中风的结果类似于艺术品。

我们还要求参与者图卢兹多么相似的艺术品和我们的最终图纸。答案,我们使用相同的规模与部分5。1。图21显示了结果。答案是广泛分布的从1到5,平均值为3.32。尽管参与者选择了图卢兹的作品风格最与我们类似,但他们评估的分数不是很高时结果是直接与他的艺术作品。在这方面,他们提到的那幅画nonfacial部分和使用更抽象的线条被要求模仿他的作品。

6。结论和未来的工作

在这项研究中,我们提出了一个系统,自动生成肖像绘画为目的的人类情感关怀。系统中,我们的智能手机应用程序启用用户拍照一整天而获得smartwatch穿由用户的心率。与此同时,服务器收集的照片和心率并显示自动肖像绘画程式化的照片的最激动人心的时刻。使用该系统,用户可以回忆一天的兴奋和快乐的时刻通过欣赏相应图纸和治愈情感。样式照片肖像绘画,我们采用NPR的方法,包括肖像练习曲因袭提议。最后,我们的系统通过用户研究和提出格式化方法进行评估。

我们收集了一些想法对未来从用户研究参与者的反馈工作。如前所述,参与者回答,生成的图纸我们的系统偶尔不符合最激动人心的时刻。我们分析这是由于我们的系统完全依靠心率来判断。为了解决这个问题,我们将使用情感识别面部表情。此外,参与者还提到,半自动分割是麻烦的。提供更多更好的用户体验,我们将采用自动分割和标签使用语义识别的方法。我们也相信,这将有利于代表更多的地区用自己的风格来增强我们的肖像练习曲因袭。

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突有关的出版。

确认

作者感谢用户的参与者的研究论文。这项工作是由韩国国家研究基金会(NRF)授予由韩国政府资助(MSIT)(没有。nrf - 2017 r1a2b4007481)和Chung-Ang大学研究资助在2017年。