第一句子网 - 唯美句子、句子迷、好句子大全
第一句子网 > 虚拟交互的方法 装置 电子设备及存储介质与流程

虚拟交互的方法 装置 电子设备及存储介质与流程

时间:2018-10-12 10:25:10

相关推荐

虚拟交互的方法 装置 电子设备及存储介质与流程

本公开涉及通信技术领域,尤其涉及一种虚拟交互的方法、装置、电子设备及存储介质。

背景技术:

随着网络视频直播的不断发展,用户对直播的需求越来越高。例如,用户在做视频直播时希望有身临其镜的感觉。为了实现该需求,目前出现了虚拟形象直播。虚拟形象直播可以在终端侧生成虚拟场景,该虚拟场景中包括参与直播的各用户的虚拟形象。

虚拟形象直播可以应于视频会议。参与会议的人员包括主会议人员和旁听会议人员。服务器接收主会议人员对应的终端发送的主会议人员的视角朝向,向各旁听会议人员对应的终端发送该视角朝向,各旁听会议人员对应的终端基于该视角朝向生成虚拟场景,该虚拟场景包括各参与会议的人员的虚拟形象。

由于旁听会议人员对应的终端基于主会议人员的视角朝向生成虚拟场景,该虚拟场景显示的视角是主会议人员的观看视角,与旁听会议人员的观看视角不符,导致虚拟交互的真实性较低。

技术实现要素:

本公开提供一种虚拟交互的方法、装置、电子设备及存储介质,以至少解决相关技术中虚拟交互的真实性较低的问题。本公开的技术方案如下:

根据本公开实施例的第一方面,提供虚拟交互的方法,所述方法应用于服务器,包括:

创建用户群组,所述用户群组包括多个用户,所述多个用户中的每个用户对应的设备中包括所述用户群组对应的第一显示界面,所述第一显示界面包括所述每个用户对应的虚拟形象;

接收用户群组中的每个用户的用户信息;

向所述用户群组中的任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,所述用户集合包括所述用户群组中的除所述任意用户之外的各其他用户,以使所述设备根据所述任意用户的用户信息在所述用户群组的第一显示界面中驱动所述任意用户的虚拟形象,根据所述用户集合中的各用户的用户信息在所述用户群组的第一显示界面中驱动所述用户集合中的各用户的虚拟形象,以及根据所述任意用户的用户信息将所述第一显示界面转换成显示视角与所述任意用户的观看视角相同的第二显示界面。

可选的,所述创建用户群组之后,还包括:

接收用于加入所述用户群组的请求消息,所述请求消息包括所述待加入用户的用户信息和虚拟形象;

向所述待加入用户对应的设备发送所述第一显示界面和所述用户群组中的各用户的用户信息和虚拟形象,以使所述待加入用户对应的设备在所述第一显示界面中根据所述待加入用户的用户信息显示所述待加入用户的虚拟形象,以及根据所述各用户的用户信息显示所述各用户的虚拟形象;

向所述任意用户对应的设备发送所述待加入用户的用户信息和虚拟形象,以使所述任意用户对应的设备根据所述待加入用户的用户信息在所述第一显示界面中显示所述待加入用户的虚拟形象。

可选的,所述用户的用户信息包括所述用户的声音信息、所述用户在所述第一显示界面中的第一位置信息、所述用户的面部朝向信息、所述用户的面部表情信息、所述用户的动作信息或所述用户的身体朝向信息中的至少一个。

根据本公开实施例的第二方面,提供一种虚拟交互的方法,所述方法应用于第一用户的设备,所述第一用户是用户群组中的任意用户,所述设备显示有所述用户群组的第一显示界面,所述第一显示界面包括所述用户群组中的每个用户的虚拟形象,包括:

获取第一用户的用户信息;

接收所述用户群组中的除所述第一用户之外的各其他用户的用户信息;

根据所述第一用户的用户信息在所述第一显示界面中驱动所述第一用户的虚拟形象以及根据所述各其他用户的用户信息在所述第一显示界面中驱动所述各其他用户的虚拟形象;

根据所述第一用户的用户信息,将所述第一显示界面转换成显示视角与所述第一用户的观看视角相同的第二显示界面。

可选的,所述第一用户的用户信息包括所述第一用户面部朝向信息和所述第一用户在所述第一显示界面中的第一位置信息,

所述根据所述第一用户的用户信息,将所述第一显示界面转换成显示视角与所述第一用户的观看视角相同的第二显示界面,包括:

根据所述面部朝向信息和所述第一位置信息生成空间转换矩阵,所述空间转换矩阵为世界坐标系和目标坐标系之间的转换关系,所述世界坐标系是所述第一显示界面所在的坐标系,所述目标坐标系的坐标原点为所述第一位置信息对应的位置,所述目标坐标系的一个坐标轴的朝向与所述第一用户的面部朝向相同;

根据所述空间转换矩阵将所述第一显示界面中的每个像素点转换到所述目标坐标系中,得到所述第二显示界面。

可选的,所述第一用户的面部朝向信息包括所述第一用户面部在世界坐标系中的俯仰角、偏航角和滚动角,

所述根据所述面部朝向信息和所述第一位置信息生成空间转换矩阵,包括:

根据所述第一用户面部的滚动角、俯仰角和偏航角生成面部朝向向量,所述面部朝向向量的方向平行于所述目标坐标系的z轴;

根据所述第一用户面部的滚动角生成第一方向向量,以及根据所述第一方向向量和所述面部朝向向量生成第二方向向量,所述目标坐标系的y轴平行于所述第一方向向量,x轴平行于所述第二方向向量;

根据所述第一位置信息、所述面部朝向向量、所述第一方向向量和所述第二方向向量生成空间转换矩阵。

可选的,获取所述第一位置信息,包括:

在检测到所述第一用户的空间位置发生变化时,采集所述第一用户的移动距离和移动方向;

根据上一次获取的所述第一用户的第二位置信息、上一次接收的所述用户群组中的各其他用户的第二位置信息、所述第一用户的移动距离和移动方向,确定所述第一位置信息。

可选的,所述获取第一用户的用户信息之前,还包括:

在所述第一用户添加到所述用户群组时,接收所述用户群组中当前存在的至少一个用户的用户信息和虚拟形象;

根据所述至少一个用户的虚拟形象和用户信息确定所述第一用户的初始位置信息和初始朝向信息;

根据所述第一用户的初始位置信息、初始朝向信息和所述至少一个用户的用户信息,在所述第一显示界面中显示所述第一用户的虚拟形象和所述至少一个用户的虚拟形象。

可选的,所述根据所述至少一个用户的虚拟形象和用户信息确定所述第一用户的初始位置信息和初始朝向信息,包括:

根据所述第一用户在所述第一显示界面中占用的区域大小、所述至少一个用户在所述第一显示界面中的第一位置信息和占用的区域大小确定所述第一用户在所述第一显示界面中的初始位置信息;

根据所述初始位置信息和所述用户群组中的距离所述初始位置最近的用户的位置信息获取所述第一用户的初始朝向信息。

根据本公开实施例的第三方面,提供一种虚拟交互的装置,所述装置应用于服务器,包括:

创建单元,被配置为创建用户群组,所述用户群组包括多个用户,所述多个用户中的每个用户对应的设备中包括所述用户群组对应的第一显示界面,所述第一显示界面包括所述每个用户对应的虚拟形象;

接收单元,被配置为接收用户群组中的每个用户的用户信息;

发送单元,被配置为向所述用户群组中的任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,所述用户集合包括所述用户群组中的除所述任意用户之外的各其他用户,以使所述设备根据所述任意用户的用户信息在所述用户群组的第一显示界面中驱动所述任意用户的虚拟形象,根据所述用户集合中的各用户的用户信息在所述用户群组的第一显示界面中驱动所述用户集合中的各用户的虚拟形象,以及根据所述任意用户的用户信息将所述第一显示界面转换成显示视角与所述任意用户的观看视角相同的第二显示界面。

可选的,所述接收单元,还被配置为接收用于加入所述用户群组的请求消息,所述请求消息包括所述待加入用户的用户信息和虚拟形象;

所述发送单元,还被配置为向所述待加入用户对应的设备发送所述第一显示界面和所述用户群组中的各用户的用户信息和虚拟形象,以使所述待加入用户对应的设备在所述第一显示界面中根据所述待加入用户的用户信息显示所述待加入用户的虚拟形象,以及根据所述各用户的用户信息显示所述各用户的虚拟形象;

所述发送单元,还被配置为向所述任意用户对应的设备发送所述待加入用户的用户信息和虚拟形象,以使所述任意用户对应的设备根据所述待加入用户的用户信息在所述第一显示界面中显示所述待加入用户的虚拟形象。

可选的,所述用户的用户信息包括所述用户的声音信息、所述用户在所述第一显示界面中的第一位置信息、所述用户的面部朝向信息、所述用户的面部表情信息、所述用户的动作信息或所述用户的身体朝向信息中的至少一个。

根据本公开实施例的第四方面,提供一种虚拟交互的装置,所述装置应用于第一用户的设备,所述第一用户是用户群组中的任意用户,所述装置显示有所述用户群组的第一显示界面,所述第一显示界面包括所述用户群组中的每个用户的虚拟形象,包括:

获取单元,被配置为获取第一用户的用户信息;

接收单元,被配置为接收所述用户群组中的除所述第一用户之外的各其他用户的用户信息;

驱动单元,被配置为根据所述第一用户的用户信息在所述第一显示界面中驱动所述第一用户的虚拟形象以及根据所述各其他用户的用户信息在所述第一显示界面中驱动所述各其他用户的虚拟形象;

转换单元,被配置为根据所述第一用户的用户信息,将所述第一显示界面转换成显示视角与所述第一用户的观看视角相同的第二显示界面。

可选的,所述第一用户的用户信息包括所述第一用户面部朝向信息和所述第一用户在所述第一显示界面中的第一位置信息,

所述转换单元,被配置为:

根据所述面部朝向信息和所述第一位置信息生成空间转换矩阵,所述空间转换矩阵为世界坐标系和目标坐标系之间的转换关系,所述世界坐标系是所述第一显示界面所在的坐标系,所述目标坐标系的坐标原点为所述第一位置信息对应的位置,所述目标坐标系的一个坐标轴的朝向与所述第一用户的面部朝向相同;

根据所述空间转换矩阵将所述第一显示界面中的每个像素点转换到所述目标坐标系中,得到所述第二显示界面。

可选的,所述第一用户的面部朝向信息包括所述第一用户面部在世界坐标系中的俯仰角、偏航角和滚动角,

所述转换单元,被配置为:

根据所述第一用户面部的滚动角、俯仰角和偏航角生成面部朝向向量,所述面部朝向向量的方向平行于所述目标坐标系的z轴;

根据所述第一用户面部的滚动角生成第一方向向量,以及根据所述第一方向向量和所述面部朝向向量生成第二方向向量,所述目标坐标系的y轴平行于所述第一方向向量,x轴平行于所述第二方向向量;

根据所述第一位置信息、所述面部朝向向量、所述第一方向向量和所述第二方向向量生成空间转换矩阵。

可选的,所述获取单元,被配置为:

在检测到所述第一用户的空间位置发生变化时,采集所述第一用户的移动距离和移动方向;

根据上一次获取的所述第一用户的第二位置信息、上一次接收的所述用户群组中的各其他用户的第二位置信息、所述第一用户的移动距离和移动方向,确定所述第一位置信息。

可选的,所述装置还包括:确定单元和显示单元,

所述接收单元,还被配置为在所述第一用户添加到所述用户群组时,接收所述用户群组中当前存在的至少一个用户的用户信息和虚拟形象;

所述确定单元,被配置为根据所述至少一个用户的虚拟形象和用户信息确定所述第一用户的初始位置信息和初始朝向信息;

所述显示单元,被配置为根据所述第一用户的初始位置信息、初始朝向信息和所述至少一个用户的用户信息,在所述第一显示界面中显示所述第一用户的虚拟形象和所述至少一个用户的虚拟形象。

可选的,所述确定单元,被配置为:

根据所述第一用户在所述第一显示界面中占用的区域大小、所述至少一个用户在所述第一显示界面中的第一位置信息和占用的区域大小确定所述第一用户在所述第一显示界面中的初始位置信息;

根据所述初始位置信息和所述用户群组中的距离所述初始位置最近的用户的位置信息获取所述第一用户的初始朝向信息。

根据本公开实施例的第五方面,提供一种虚拟交互的系统,所述系统包括如第三方面所述的装置和如第四方面所述的装置。

根据本公开实施例的第六方面,提供一种电子设备,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现上述的虚拟交互的方法。

根据本公开实施例的第七方面,提供一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述的虚拟交互的方法。

根据本公开实施例的第八方面,提供一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述的虚拟交互的方法。

本公开的实施例提供的技术方案至少带来以下有益效果:

获取第一用户的用户信息以及接收服务器发送的用户集合中和各用户的用户信息,该用户集合包括用户群组中的除第一用户之外的各其他用户,根据第一用户的用户信息在第一显示界面中显示第一用户的虚拟形象,以及根据该用户集合中的各用户的用户信息,在第一显示界面中显示该用户集合中的各用户的虚拟形象。其中第一显示界面是世界坐标系下显示界面,根据第一用户的用户信息将第一显示界面转换显示视角与第一用户观看视角相同的第二显示界面,从而增加了虚拟交互的真实感和沉浸感。

应当理解的是,以上的一般描述和后文的细节描述仅是示例性和解释性的,并不能限制本公开。

附图说明

此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理,并不构成对本公开的不当限定。

图1是根据一示例性实施例示出的一种系统架构示意图;

图2是根据一示例性实施你示出的一种创建用户群组的方法的流程图;

图3是根据一示例性实施例示出的一种活动平面的结构示意图;

图4是根据一示例性实施你示出的一种加入用户群组的方法的流程图;

图5是根据一示例性实施例示出的一种虚拟交互的方法的流程图;

图6是根据一示例性实施例示出的另一种虚拟交互的方法的流程图;

图7是根据一示例性实施例示出的一种虚拟交互的装置的框图;

图8是根据一示例性实施例示出的另一种虚拟交互的装置的框图;

图9是根据一示例性实施例示出的一种电子设备结构示意图。

具体实施方式

为了使本领域普通人员更好地理解本公开的技术方案,下面将结合附图,对本公开实施例中的技术方案进行清楚、完整地描述。

需要说明的是,本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象,而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换,以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反,它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。

本公开所涉及的用户信息可以为经用户授权或者经过各方充分授权的信息。

参见图1,本公开实施例提供的一种网络架构,该网络架构包括服务器和该服务器创建的用户群组中的各用户对应的设备。

该用户群组包括多个用户,该多个用户中的每个用户对应的设备中包括该用户群组对应的第一显示界面,第一显示界面包括每个用户对应的虚拟形象。

可选的,该用户群组可以是视频会议或视频直播间等。用户对应的设备可以包括虚拟现实技术(virtualreality,vr)传感器等。

对于该用户群组中的任意用户,该任意用户对应的设备可以周期性地采集该任意用户的用户信息,并向用户群组发送该任意用户的用户信息。

服务器接收用户群组中的每个用户的用户信息;对于该用户群组中的任意用户,向该任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,该用户集合包括该用户群组中的除该任意用户之外的各其他用户。

该任一用户对应的设备根据该任意用户的用户信息在第一显示界面中驱动该任意用户的虚拟形象,根据用户集合中的各用户的用户信息在第一显示界面中驱动用户集合中的各用户的虚拟形象,以及根据任意用户的用户信息将第一显示界面转换成显示视角与任意用户的观看视角相同的第二显示界面。

图2是根据一示例性实施例示出的一种创建用户群组的流程图,如图2所示,该方法用于图1所示的网络架构中,该方法的执行主体为第一用户对应的第一设备,第一用户创建该用户群组的用户,包括以下步骤。

在步骤201中,第一设备获取待创建的用户群组的第一显示界面、第一用户的形象配置信息和用户信息,第一设备为第一用户对应的设备。

第一用户为创建该用户群组的用户。该用户信息包括第一用户的虚拟形象在第一显示界面中的初始位置信息和初始朝向信息。该形象配置信息包括第一用户的虚拟形象和第一用户在第一显示界面中占用的区域大小。

第一显示界面是一个3d空间,第一显示界面用于显示该用户群组中的用户的虚拟形象。第一显示界面包括活动平面和天空盒,活动平面为承载该用户群组中的用户的虚拟形象的平台,天空盒是第一显示界面的背景,天空盒可以是背景图像。

在本步骤,第一设备获取第一显示界面的实现过程,可以为:

第一用户在创建用户群组时可以选择显示界面,第一设备获取被选择的显示界面作为该用户群组的第一显示界面。在实现时,第一设备可以从服务器下载不同风格的显示界面,向第一用户显示不同风格的显示界面,第一用户可以选择一种风格的显示界面。第一设备获取被选择的显示界面。或者,

第一用户在当前之前已创建过其他用户群组,且服务器将第一用户的用户标识和第一用户上一次创建的用户群组对应的显示界面对应保存在用户标识与显示界面的对应关系中。在本步骤中,第一设备根据第一用户的用户标识从服务器中获取对应的显示界面作为该用户群组的第一显示界面。

在本步骤,第一设备获取形象配置信息的实现过程,可以为:

首先,第一设备获取第一用户的形象信息,第一用户的形象信息可以包括虚拟形象的脸型、下巴形状、眼睛的大小、头发的形状、颜色、躯体的轮廓和尺寸以及搭配的服饰等信息。

可选的,在第一用户创建用户群组时,第一设备可以采集第一用户的身体信息,该身体信息可以包括第一用户的脸型、发型、头发颜色、下巴形状、服饰、身体的轮廓和尺寸等信息。第一设备获取与第一用户的身体信息相匹配的形象信息作为第一用户的形象信息。或者,第一设备显示匹配的形象信息,以便第一用户对该形象信息进行修改,获取被修改的形象信息作为第一用户的形象信息。或者,第一用户在当前之前已创建过其他用户群组,且第一设备保存第一用户上一次创建的用户群组时获取的形象信息。在本步骤中,第一设备可以获取保存的形象信息作为第一用户的形象信息。

然后根据第一用户的形象信息生成的第一用户的虚拟形象以及确定第一用户的虚拟形象在第一显示界面中占用的区域大小。

可选的,第一用户的形象信息中包括虚拟形象的躯体的尺寸,该尺寸可以反应该虚拟形象的腰围、胸围或臀围等中的至少一个,第一设备根据该尺寸可以确定第一用户的虚拟形象在第一显示界面中占用的空间区域的半径或直径,得到第一用户的虚拟形象在第一显示界面中占用的区域大小。

对于获取第一用户的用户信息的操作,第一设备可以在第一显示界面的活动平面中随机选择一个位置作为第一用户的初始位置信息或选择预设的位置作为第一用户的初始位置信息。预设的位置可以为该活动平面的中心位置等。例如,参见图3,活动平面可以被划分成多个格子,可以在该活动平面中随机选择一个格子,将该格子对应的位置信息作为第一用户的初始位置信息。或者,选择预设的格子,将预设的格子所在的位置信息作为第一用户的初始位置信息,预设的格子可以为活动平面的中心格子。

第一设备可以将预设的朝向信息作为第一用户的初始朝向信息,该初始朝向信息可以是第一用户的面部朝向信息或躯体朝向信息等中至少一个。

在步骤202中,第一设备向服务器发送创建请求消息,该创建请求消息包括该用户群组的第一显示界面、第一用户的用户标识、形象配置信息和用户信息。

该创建请求消息用于请求服务器创建用户群组,服务器创建用户群组的详细实现过程将在后续图6所示的实施列进行详细说明。

可选的,第一设备根据第一用户的初始位置信息和初始朝向信息在第一显示界面中显示第一用户的虚拟形象。

在实现时,第一设备在第一显示界面中,根据第一用户的初始位置信息和第一用户的虚拟形象占用的区域大小确定第一用户的虚拟形象占用的区域。在该区域内根据第一用户的初始朝向信息显示第一用户的虚拟形象。

第一用户创建用户群组后,其他用户可以加入该用户群组,对于需要加入该用户群组的任一个其他用户,为了便于说明称该其他用户为第二用户。参见图4,第二用户加入该用户群组的流程可以如下:

在步骤301中,第二设备向服务器发送获取请求消息,该获取请求消息包括该用户群组的群组标识。

第二设备可以获取到服务器中的各用户群组的群组标识,第二用户需要加入某个用户群组,可以选择该用户群组,第二设备获取第二用户选择的该用户群组的群组标识。

该获取请求消息用于请求服务器获取并发送该用户群组的第一显示界面、该用户群组中的n个用户的形象配置信息和用户信息,n为大于0的整数。

在步骤302中,第二设备接收该用户群组的第一显示界面、该用户群组中的n个用户的形象配置信息和用户信息,以及获取第二用户的形象配置信息。

第二用户的形象配置信息包括第二用户的虚拟形象和第二用户的虚拟形象在第一显示界面中占用的区域大小。

在本步骤中,第二设备获取第二用户的形象信息,以及基于第二用户的形象信息生成第二用户的虚拟形象以及设置第二用户的虚拟形象占用的区域大小。

第二设备获取第二用户的虚拟形象和第二用户的虚拟形象占用的区域大小的方式与第一设备获取第一用户的虚拟形象和第二用户的虚拟形象占用的区域大小的方式相同,在此不再详细说明。

在步骤303中,第二设备根据第二用户的虚拟形象占用的区域大小、该用户群组中的n个用户的形象配置信息和用户信息获取第二用户的用户信息。

第二用户的用户信息包括第二用户在第一显示界面中的初始位置信息和初始朝向信息。

在本步骤中,第二设备根据该用户群组中的各用户在第一显示界面中的位置信息和占用的区域大小,确定该该用户群组中的各用户在第一显示界面中的占用区域,进而确定第一显示界面中剩余的空闲区域。第二设备根据第二用户占用的区域大小、该用户群组中的各用户的位置信息和区域大小,通过如下第一公式从空闲区域中确定第二用户的初始位置信息。

第一公式为:

在第一公式中,p为该空闲区域中的任一个位置信息,该位置信息为(x,y),pi为该用户群组中的第i个用户的位置信息,该位置信息为(xi,yi),d为预设距离,用于表示任意两用户之间的距离,bi为第i个用户占用的区域大小,b为第二用户占用的区域大小,n为该用户群组中的用户数目。

在本步骤中,将空闲区域中的任一个位置信息带入第一公式,在该位置信息满足第一公式所示的条件时,将该位置信息作为第二用户的初始位置信息。

第二设备根据第二用户的初始位置信息和该用户群组中的各用户的位置信息,从该用户群组中的各用户中选择与第二用户距离最近的一个用户的位置信息。根据选择的位置信息和第二用户的初始位置信息,按如下第二公式确定第二用户的初始朝向信息。

第二公式为:

在第二公式中,是一个向量,表示第二用户的初始朝向信息。p为第二用户的初始位置信息,其坐标为(x,y),p′为选择的用户的位置信息,其坐标为(x′,y′)。

在步骤304中,第二设备向服务器发送添加请求消息,该添加请求消息包括该用户群组的群组标识、第二用户的用户标识、形象配置信息和用户信息。

该添加请求消息用于请求服务器将第二用户添加到该用户群组,服务器将第二用户添加到该用户群组的详细实现过程将在后续图6所示的实施例进行详细说明。

可选的,第二设备根据第二用户的用户信息在第一显示界面中显示第二用户的虚拟形象,以及根据该用户群组中的各用户的用户信息在第一显示界面中显示该用户群组中的各用户的虚拟形象。

可选的,第二设备根据第二用户的位置信息和第二用户占用的区域大小在第一显示界面中显示第二用户的虚拟形象,以及根据该用户群组中的各用户的位置信息和占用的区域大小在第一显示界面中显示该用户群组中的各用户的虚拟形象。

对于加入该用户群组后的任一用户,该用户可以在该用户群组中进行视频直播,详细实现过程参见如下图5所示实施例。

图5是根据一示例性实施例示出的一种虚拟交互的方法的流程图,在该方法中,对于用户群组中的任意用户,为了便于说明称该任意为第一用户,第一用户可以与用户群组中的其他用户进行交互。参见图5,该方法执行主体为第一用户对应的第一设备,包括:

在步骤401中,第一设备获取第一用户的用户信息。

第一用户的用户信息包括第一用户的声音信息、第一用户在第一显示界面中的第一位置信息、第一用户的面部朝向信息、第一用户的面部表情信息、第一用户的动作信息或第一用户身体朝向信息中的至少一个。

对于第一用户的第一位置信息,第一设备可以采集第一用户的当前空间位置,根据保存的上一次采集的空间位置和该当前空间位置确定第一用户的空间位置是否发生变化。在确定出发生变化时,根据保存的上一次采集的空间位置和该当前空间位置确定第一用户的移动距离和移动方向。根据第一用户的第二位置信息、该用户群组中的每个其他用户的第二位置信息、第一用户的移动距离和移动方向,确定当前第一用户在第一显示界面中的第一位置信息,第一用户的第二位置信息是上一次获取的第一用户在第一显示界面中的位置信息,其他用户的第二位置信息是上一次获取的其他用户在第一显示界面中的位置信息。

第一设备还将保存的上一次采集的空间位置替换为该当前空间位置。

在确定出没有发生变化时,直接将上一次获取的第一用户在第一显示界面中的第二位置信息作为第一位置信息。

第一设备包括vr传感器,第一设备可以采用vr传感器采集到第一用户的面部朝向信息、第一用户的面部表情信息、第一用户的动作信息或第一用户身体朝向信息等。

第一设备包括麦克风或声音传感器,第一设备可以采用麦克风或声音传感器采集第一用户的声音信息。

第一用户的面部朝向信息包括第一用户面部在世界坐标系中的俯仰角、偏航角和滚动角。

在步骤402中,第一设备向服务器发送该用户群组的群组标识、第一用户的用户标识和第一用户的用户信息。

对于该用户群组中的每个其他用户对应的设备,该设备采集该其他用户的用户信息,向服务器发送该用户群组的群组标识,该其他用户的用户标识和该其他用户的用户信息。

其中,对于第一用户,服务器周期性地获取最近一次接收的用户集合中的各用户的用户信息,向第一设备发送该用户集合中的各用户的用户信息,该用户集合包括该用户群组中的除第一用户之外的各其他用户。

在步骤403中,第一设备接收该用户集合中的各用户的用户信息。

该用户集合中的各用户的用户信息包括该用户的声音信息、该用户在第一显示界面中的第一位置信息、该用户的面部朝向信息、该用户的面部表情信息、该用户的动作信息或该用户身体朝向信息中的至少一个。

在步骤404中,第一设备根据第一用户的用户信息在第一显示界面中驱动第一用户的虚拟形象,以及根据该用户集合中的各用户的用户信息在第一显示界面中驱动该用户集合中的各用户的虚拟形象。

在本步骤中,第一设备根据第一用户的第一位置信息和占用的区域大小,确定在第一显示界面中第一用户的虚拟形象占用的区域。在该区域内根据第一用户的面部朝向信息、第一用户的面部表情信息、第一用户的动作信息或第一用户身体朝向信息中的至少一个显示第一用户的虚拟形象,以及对第一用户的声音信息进行播放。对于该用户集合中的每个用户的虚拟形象的显示过程,和第一用户的虚拟形象的显示过程相同,在此不再一一说明。

在第一显示界面中,每个用户的面部朝向分别与每个用户的面部朝向信息指向的方向相同。

在步骤405中,第一设备根据第一用户的用户信息对第一显示界面进行转换,得到第二显示界面,第二显示界面的显示视角与第一用户的观看视角相同。

本步骤可以通过如下4051至4054的操作来实现。该4051至4054的操作,分别为:

4051:第一设备根据第一用户面部的俯仰角和偏航角,确定方向与第一用户面部朝向相同的面部朝向向量,该面部朝向向量的方向平行于目标坐标系的z轴。

面部朝向向量为v1=(-cosα·sinβ,sinα,cosα·cosβ),α为该俯仰角,β为偏航角。

目标坐标系的第一坐标轴可以为z轴。

4052:根据第一用户面部的滚动角和该面部朝向向量生成第一方向向量,根据第一方向向量和该面部朝向向量生成第二方向向量。

其中,目标坐标系的y轴平行于第一方向向量,目标坐标系的x轴平行于第二方向向量。

其中,用v1表示面部朝向向量,确定的第一方向向量为u1=(sin(r),cos(r),0),以及确定的第二方向向量w1=u1×v1,r为该滚动角。

4053:根据第一用户的第一位置信息、面部朝向向量、第一方向向量和第二方向向量生成空间转换矩阵。

生成的空间转换矩阵为:

在该空间转换矩阵中p1为第一用户的第一位置信息。

4054:根据该空间转换矩阵将第一显示界面中的每个像素点转换到该目标坐标系中,得到第二显示界面。

对于该用户集合中的每个用户对应的设备,同第一设备一样执行上述305和306的操作得到第二显示界面。

在本公开实施例中,第一设备采集第一用户的用户信息,以及接收服务器发送的用户集合中的各用户的用户信息,用户集合包括用户群组除第一用户之外各其他用户,根据第一用户的用户信息在第一显示界面中驱动第一用户的虚拟形象,根据该用户集合中的各用户的用户信息在第一显示界面中驱动该用户集合中的每个用户的虚拟形象。其中第一显示界面是世界坐标系下显示界面,然后根据第一用户面部的俯仰角和偏航角生成面部朝向向量,该面部朝向向量的方向平行于目标坐标系的z轴。根据第一用户面部的滚动角和该面部朝向向量生成第一方向向量和第二方向向量,目标坐标系的y轴平行于第一方向向量,目标坐标系的x轴平行于第二方向向量。再根据第一用户的第一位置信息、面部朝向向量、第一方向向量和第二方向向量生成空间转换矩阵,根据空间转换矩阵将第一显示界面中的每个像素点转换到目标坐标系中,得到第二显示界面。使得第二显示界面的显示视角与第一用户的面部朝向一致,即与第一用户的观看视角一致,从而增加了虚拟交互的真实感和沉浸感。另外,用户信息中可以包括用户的面部表情信息、动作信息、身体朝向信息等至少一个,这样基于该用户信息驱动的虚拟形象会有随着用户的面部表情的变化、肢体或身体的变化,增一步增加了真实感和沉浸感。用户信息还可以包括用户的声音信息,这样第一设备还可以播放该声音信息,便于用户之间进行高效地交流。

图6是根据一示例性实施例示出的一种虚拟交互的方法的流程图,如图6所示,该方法用于图1所示的网络架构中,该方法的执行主体为服务器,包括以下步骤。

在步骤501中,服务器创建用户群组,该用户群组中的用户对应的设备中包括该用户群组对应的第一显示界面,第一显示界面包括该用户群组中的用户对应的虚拟形象。

在本步骤中,服务器接收创建请求消息,该创建请求消息包括用户群组的第一显示界面、第一用户的用户标识、形象配置信息和用户信息。为该用户群组分配群组标识,保存该创建请求消息包括的该用户群组的第一显示界面、第一用户的用户标识、形象配置信息和用户信息,如此实现创建用户群组。

服务器可以接收第一用户对应的第一设备发送的创建请求消息,第一用户为请求创建该用户群组的用户。第一设备发送创建请求消息的实现过程,可以参见上述图2所示的实施例中相关内容,在此不详细说明。

在本步骤中,服务器将该群组标识和第一显示界面对应保存在群组标识与显示界面的对应关系,将该群组标识、第一用户的用户标识和第一用户的形象配置信息对应保存在群组标识、用户标识与形象配置信息的对应关系。以及将该群组标识、第一用户的用户标识和第一用户的用户信息对应保存在群组标识、用户标识与用户信息的对应关系中。

在执行完本步骤之后,服务器还可以执行如下5011至5014的操作让除第一用户之外的其他用户加入该用户群组。该5011至5014的操作分别为:

5011:服务器接收第二设备发送的获取请求消息,该获取请求消息包括该用户群组的标识,根据该获取请求消息向第二设备发送该用户群组的第一显示界面、该用户群组中的各用户的形象配置信息和用户信息。

第二设备为第二用户对应的设备,第二用户为任意需要加入该用户群组的用户。

可选的,服务器根据该获取请求消息携带的该用户群组的群组标识,从群组标识与显示界面的对应关系中获取该用户群组对应的第一显示界面。根据该用户群组的群组标识,从群组标识、用户标识与形象配置信息的对应关系中获取该用户群组中的各用户的形象配置信息。根据该用户群组的群组标识,从群组标识、用户标识与用户信息的对应关系中获取该用户群组中的各用户的用户信息。服务器向第二设备发送该用户群组的第一显示界面、该用户群组中的各用户的形象配置信息和用户信息。

5012:服务器接收第二设备发送的添加请求消息,该添加请求消息包括该用户群组的群组标识、第二用户的用户标识、形象配置信息和用户信息。

其中,第二设备在接收到该用户群组的第一显示界面、该用户群组中的各用户的形象配置信息和用户信息后,获取第二用户的形象配置信息和用户信息,再向服务器发送该添加请求消息。第二设备获取第二用户的形象配置信息和用户信息的详细实现过程可以参见图4所示实施例中的相关内容,在此不再详细说明。

5013:服务器将第二用户的用户信息和虚拟形象发送给该用户群组中的n个用户中的每个用户对应的设备,该n个用户为该用户群组中当前包括的用户,n为大于或等于1的整数。

该n个用户中的每个用户对应的设备根据第二用户的用户信息,在第一显示界面中显示第二用户的虚拟形象。

5014:服务器保存该添加请求消息包括该用户群组的群组标识、第二用户的用户标识、形象配置信息和用户信息。

可选的,服务器接收该添加请求消息后,将该群组标识、第二用户的用户标识和第二用户的形象配置信息对应保存在群组标识、用户标识与形象配置信息的对应关系。以及将该群组标识、第二用户的用户标识和第二用户的用户信息对应保存在群组标识、用户标识与用户信息的对应关系中。

在步骤502中,服务器接收该用户群组中的每个用户的用户信息。

可选的,服务器接收该用户群组的群组标识,该用户群组中的每个用户的用户标识和用户信息。

对于该用户群组中的任意用户对应设备,该设备可以采集该任意用户的用户信息,向服务器发送该用户群组的群组标识,该任意用户的用户标识和用户信息。

在本步骤中,服务器接收该用户群组的群组标识、该任意用户的用户标识和用户信息。根据该用户群组的群组标识和该任意用户的用户标识,在群组标识、用户标识与用户信息的对应关系中将该任意用户的用户信息更新为接收的用户信息。如此在服务器只保存该任意用户最近一次发送的用户信息,可以减小占用服务器的存储资源。

在步骤503中,对于该用户群组中的任意用户,服务器获取最近一次接收的用户集合中的各用户的用户信息,向第一设备发送该用户集合中的各用户的用户信息,该用户集合包括该用户群组中的除该任意用户之外的各其他用户。

服务器可以周期性地从群组标识、用户标识与用户信息的对应关系获取该用户群组中的每个用户的用户信息。对于任意用户,向该任意用户对应的设备发送该用户群组中的除该任意用户以外的各其他用户的用户信息。

该任意用户对应的设备根据该任意用户的用户信息在第一显示界面中驱动该任意用户的虚拟形象,根据该用户集合中的各用户的用户信息在第一显示界面中驱动该用户集合中的各用户的虚拟形象,以及根据该任意用户的用户信息将第一显示界面转换成显示视角与该任意用户的观看视角相同的第二显示界面。该设备实现的详细过程可以参见图5所示实施例中的相关内容,在此不再详细说明。

在本公开实施例中,服务器可以接收用户群组中的每个用户的用户信息;向用户群组中的任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,以使该设备根据任意用户的用户信息在第一显示界面中驱动任意用户的虚拟形象,根据用户集合中的各用户的用户信息在第一显示界面中驱动用户集合中的各用户的虚拟形象,以及根据任意用户的用户信息将第一显示界面转换成显示视角与任意用户的观看视角相同的第二显示界面,从而增加了虚拟交互的真实感和沉浸感。

图7是根据一示例性实施例示出的一种虚拟交互的装置600框图。参照图7,该装置600可以部署在上述任一实施例中的服务器中,包括创建单元601、接收单元602和发送单元603,

创建单元601被配置为创建用户群组,所述用户群组包括多个用户,所述多个用户中的每个用户对应的设备中包括所述用户群组对应的第一显示界面,所述第一显示界面包括所述每个用户对应的虚拟形象;

接收单元602被配置为接收用户群组中的每个用户的用户信息;

发送单元603被配置为向所述用户群组中的任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,所述用户集合包括所述用户群组中的除所述任意用户之外的各其他用户,以使所述设备根据所述任意用户的用户信息在所述用户群组的第一显示界面中驱动所述任意用户的虚拟形象,根据所述用户集合中的各用户的用户信息在所述用户群组的第一显示界面中驱动所述用户集合中的各用户的虚拟形象,以及根据所述任意用户的用户信息将所述第一显示界面转换成显示视角与所述任意用户的观看视角相同的第二显示界面。

可选的,所述接收单元602,还被配置为接收用于加入所述用户群组的请求消息,所述请求消息包括所述待加入用户的用户信息和虚拟形象;

所述发送单元603,还被配置为向所述待加入用户对应的设备发送所述第一显示界面和所述用户群组中的各用户的用户信息和虚拟形象,以使所述待加入用户对应的设备在所述第一显示界面中根据所述待加入用户的用户信息显示所述待加入用户的虚拟形象,以及根据所述各用户的用户信息显示所述各用户的虚拟形象;

所述发送单元603,还被配置为向所述任意用户对应的设备发送所述待加入用户的用户信息和虚拟形象,以使所述任意用户对应的设备根据所述待加入用户的用户信息在所述第一显示界面中显示所述待加入用户的虚拟形象。

可选的,所述用户的用户信息包括所述用户的声音信息、所述用户在所述第一显示界面中的第一位置信息、所述用户的面部朝向信息、所述用户的面部表情信息、所述用户的动作信息或所述用户的身体朝向信息中的至少一个。

在本公开实施例中,接收单元接收用户群组中的每个用户的用户信息,对于用户群组中的任意用户,发送单元向该用户群组中的任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,该用户集合包括用户群组中的除任意用户之外的各其他用户,以使所述设备根据任意用户的用户信息在用户群组的第一显示界面中驱动任意用户的虚拟形象,根据用户集合中的各用户的用户信息在用户群组的第一显示界面中驱动用户集合中的各用户的虚拟形象,以及根据任意用户的用户信息将第一显示界面转换成显示视角与任意用户的观看视角相同的第二显示界面,从而增加了虚拟交互的真实感和沉浸感。

图8是根据一示例性实施例示出的一种虚拟交互的装置700。参照图8,该装置700可以部署在第一用户的设备,第一用户是用户群组中的任意用户,所述装置显示有用户群组的第一显示界面,第一显示界面包括用户群组中的每个用户的虚拟形象,包括:获取单元701、接收单元702、驱动单元703和转换单元704。

获取单元701被配置为获取第一用户的用户信息;

接收单元702,被配置为接收所述用户群组中的除所述第一用户之外的各其他用户的用户信息;

驱动单元703被配置为根据所述第一用户的用户信息在所述第一显示界面中驱动所述第一用户的虚拟形象以及根据所述各其他用户的用户信息在所述第一显示界面中驱动所述各其他用户的虚拟形象;

转换单元704被配置为根据所述第一用户的用户信息,将所述第一显示界面转换成显示视角与所述第一用户的观看视角相同的第二显示界面。

可选的,所述第一用户的用户信息包括所述第一用户面部朝向信息和所述第一用户在所述第一显示界面中的第一位置信息,

所述转换单元704,被配置为:

根据所述面部朝向信息和所述第一位置信息生成空间转换矩阵,所述空间转换矩阵为世界坐标系和目标坐标系之间的转换关系,所述世界坐标系是所述第一显示界面所在的坐标系,所述目标坐标系的坐标原点为所述第一位置信息对应的位置,所述目标坐标系的一个坐标轴的朝向与所述第一用户的面部朝向相同;

根据所述空间转换矩阵将所述第一显示界面中的每个像素点转换到所述目标坐标系中,得到所述第二显示界面。

可选的,所述第一用户的面部朝向信息包括所述第一用户面部在世界坐标系中的俯仰角、偏航角和滚动角,

所述转换单元704,被配置为:

根据所述第一用户面部的滚动角、俯仰角和偏航角生成面部朝向向量,所述面部朝向向量的方向平行于所述目标坐标系的z轴;

根据所述第一用户面部的滚动角生成第一方向向量,以及根据所述第一方向向量和所述面部朝向向量生成第二方向向量,所述目标坐标系的y轴平行于所述第一方向向量,x轴平行于所述第二方向向量;

根据所述第一位置信息、所述面部朝向向量、所述第一方向向量和所述第二方向向量生成空间转换矩阵。

可选的,所述获取单元701,被配置为:

在检测到所述第一用户的空间位置发生变化时,采集所述第一用户的移动距离和移动方向;

根据上一次获取的所述第一用户的第二位置信息、上一次接收的所述用户群组中的各其他用户的第二位置信息、所述第一用户的移动距离和移动方向,确定所述第一位置信息。

可选的,所述装置还包括:确定单元和显示单元,

所述接收单元,还被配置为在所述第一用户添加到所述用户群组时,接收所述用户群组中当前存在的至少一个用户的用户信息和虚拟形象;

所述确定单元,被配置为根据所述至少一个用户的虚拟形象和用户信息确定所述第一用户的初始位置信息和初始朝向信息;

所述显示单元,被配置为根据所述第一用户的初始位置信息、初始朝向信息和所述至少一个用户的用户信息,在所述第一显示界面中显示所述第一用户的虚拟形象和所述至少一个用户的虚拟形象。

可选的,所述确定单元,被配置为:

根据所述第一用户在所述第一显示界面中占用的区域大小、所述至少一个用户在所述第一显示界面中的第一位置信息和占用的区域大小确定所述第一用户在所述第一显示界面中的初始位置信息;

根据所述初始位置信息和所述用户群组中的距离所述初始位置最近的用户的位置信息获取所述第一用户的初始朝向信息。

在本公开实施列中,获取单元获取第一用户的用户信息以及接收单元接收服务器发送的用户集合中和各用户的用户信息,该用户集合包括用户群组中的除第一用户之外的各其他用户,显示单元根据第一用户的用户信息在第一显示界面中显示第一用户的虚拟形象,以及根据该用户集合中的各用户的用户信息,在第一显示界面中显示该用户集合中的各用户的虚拟形象。其中第一显示界面是世界坐标系下显示界面,转换单元根据第一用户的用户信息将第一显示界面转换显示视角与第一用户观看视角相同的第二显示界面,从而增加了虚拟交互的真实感和沉浸感。

关于上述实施例中的装置,其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述,此处将不做详细阐述说明。

参见9示出了一个示例性实施例提供的电子设备800的结构框图。该电子设备800可以是上述任意实施例中的用户群组中的用户对应和设备。该电子设备800可以是便携式移动终端,比如:智能手机、平板电脑、笔记本电脑或台式电脑。电子设备800还可能被称为用户设备、便携式终端、膝上型终端、台式终端等其他名称。

通常,电子设备800包括有:处理器801和存储器802。

处理器801可以包括一个或多个处理核心,比如4核心处理器、8核心处理器等。处理器801可以采用dsp(digitalsignalprocessing,数字信号处理)、fpga(field-programmablegatearray,现场可编程门阵列)、pla(programmablelogicarray,可编程逻辑阵列)中的至少一种硬件形式来实现。处理器801也可以包括主处理器和协处理器,主处理器是用于对在唤醒状态下的数据进行处理的处理器,也称cpu(centralprocessingunit,中央处理器);协处理器是用于对在待机状态下的数据进行处理的低功耗处理器。在一些实施例中,处理器801可以在集成有gpu(graphicsprocessingunit,图像处理器),gpu用于负责显示屏所需要显示的内容的渲染和绘制。一些实施例中,处理器801还可以包括ai(artificialintelligence,人工智能)处理器,该ai处理器用于处理有关机器学习的计算操作。

存储器802可以包括一个或多个计算机可读存储介质,该计算机可读存储介质可以是非暂态的。存储器802还可包括高速随机存取存储器,以及非易失性存储器,比如一个或多个磁盘存储设备、闪存存储设备。在一些实施例中,存储器802中的非暂态的计算机可读存储介质用于存储至少一个指令,该至少一个指令用于被处理器801所执行以实现本公开中方法实施例提供的虚拟交互的方法。

在一些实施例中,电子设备800还可选包括有:外围设备接口803和至少一个外围设备。处理器801、存储器802和外围设备接口803之间可以通过总线或信号线相连。各个外围设备可以通过总线、信号线或电路板与外围设备接口803相连。具体地,外围设备包括:射频电路804、触摸显示屏805、摄像头806、音频电路807、定位组件808和电源809中的至少一种。

外围设备接口803可被用于将i/o(input/output,输入/输出)相关的至少一个外围设备连接到处理器801和存储器802。在一些实施例中,处理器801、存储器802和外围设备接口803被集成在同一芯片或电路板上;在一些其他实施例中,处理器801、存储器802和外围设备接口803中的任意一个或两个可以在单独的芯片或电路板上实现,本实施例对此不加以限定。

射频电路804用于接收和发射rf(radiofrequency,射频)信号,也称电磁信号。射频电路804通过电磁信号与通信网络以及其他通信设备进行通信。射频电路804将电信号转换为电磁信号进行发送,或者,将接收到的电磁信号转换为电信号。可选地,射频电路804包括:天线系统、rf收发器、一个或多个放大器、调谐器、振荡器、数字信号处理器、编解码芯片组、用户身份模块卡等等。射频电路804可以通过至少一种无线通信协议来与其它终端进行通信。该无线通信协议包括但不限于:万维网、城域网、内联网、各代移动通信网络(2g、3g、4g及5g)、无线局域网和/或wifi(wirelessfidelity,无线保真)网络。在一些实施例中,射频电路804还可以包括nfc(nearfieldcommunication,近距离无线通信)有关的电路,本公开对此不加以限定。

显示屏805用于显示ui(userinterface,用户界面)。该ui可以包括图形、文本、图标、视频及其它们的任意组合。当显示屏805是触摸显示屏时,显示屏805还具有采集在显示屏805的表面或表面上方的触摸信号的能力。该触摸信号可以作为控制信号输入至处理器801进行处理。此时,显示屏805还可以用于提供虚拟按钮和/或虚拟键盘,也称软按钮和/或软键盘。在一些实施例中,显示屏805可以为一个,设置电子设备800的前面板;在另一些实施例中,显示屏805可以为至少两个,分别设置在电子设备800的不同表面或呈折叠设计;在再一些实施例中,显示屏805可以是柔性显示屏,设置在电子设备800的弯曲表面上或折叠面上。甚至,显示屏805还可以设置成非矩形的不规则图形,也即异形屏。显示屏805可以采用lcd(liquidcrystaldisplay,液晶显示屏)、oled(organiclight-emittingdiode,有机发光二极管)等材质制备。

摄像头组件806用于采集图像或视频。可选地,摄像头组件806包括前置摄像头和后置摄像头。通常,前置摄像头设置在电子设备8的前面板,后置摄像头设置在电子设备8的背面。在一些实施例中,后置摄像头为至少两个,分别为主摄像头、景深摄像头、广角摄像头、长焦摄像头中的任意一种,以实现主摄像头和景深摄像头融合实现背景虚化功能、主摄像头和广角摄像头融合实现全景拍摄以及vr(virtualreality,虚拟现实)拍摄功能或者其它融合拍摄功能。在一些实施例中,摄像头组件806还可以包括闪光灯。闪光灯可以是单色温闪光灯,也可以是双色温闪光灯。双色温闪光灯是指暖光闪光灯和冷光闪光灯的组合,可以用于不同色温下的光线补偿。

音频电路807可以包括麦克风和扬声器。麦克风用于采集用户及环境的声波,并将声波转换为电信号输入至处理器801进行处理,或者输入至射频电路804以实现语音通信。出于立体声采集或降噪的目的,麦克风可以为多个,分别设置在电子设备800的不同部位。麦克风还可以是阵列麦克风或全向采集型麦克风。扬声器则用于将来自处理器801或射频电路804的电信号转换为声波。扬声器可以是传统的薄膜扬声器,也可以是压电陶瓷扬声器。当扬声器是压电陶瓷扬声器时,不仅可以将电信号转换为人类可听见的声波,也可以将电信号转换为人类听不见的声波以进行测距等用途。在一些实施例中,音频电路807还可以包括耳机插孔。

定位组件808用于定位电子设备800的当前地理位置,以实现导航或lbs(locationbasedservice,基于位置的服务)。定位组件808可以是基于美国的gps(globalpositioningsystem,全球定位系统)、中国的北斗系统或俄罗斯的伽利略系统的定位组件。

电源809用于为电子设备800中的各个组件进行供电。电源809可以是交流电、直流电、一次性电池或可充电电池。当电源809包括可充电电池时,该可充电电池可以是有线充电电池或无线充电电池。有线充电电池是通过有线线路充电的电池,无线充电电池是通过无线线圈充电的电池。该可充电电池还可以用于支持快充技术。

在一些实施例中,电子设备800还包括有一个或多个传感器810。该一个或多个传感器810包括但不限于:加速度传感器811、陀螺仪传感器812、压力传感器813、指纹传感器814、光学传感器815、接近传感器816以及vr传感器817等。

加速度传感器811可以检测以电子设备800建立的坐标系的三个坐标轴上的加速度大小。比如,加速度传感器811可以用于检测重力加速度在三个坐标轴上的分量。处理器801可以根据加速度传感器811采集的重力加速度信号,控制触摸显示屏805以横向视图或纵向视图进行用户界面的显示。加速度传感器811还可以用于游戏或者用户的运动数据的采集。

陀螺仪传感器812可以检测电子设备800的机体方向及转动角度,陀螺仪传感器812可以与加速度传感器811协同采集用户对电子设备800的3d动作。处理器801根据陀螺仪传感器812采集的数据,可以实现如下功能:动作感应(比如根据用户的倾斜操作来改变ui)、拍摄时的图像稳定、游戏控制以及惯性导航。

压力传感器813可以设置在电子设备800的侧边框和/或触摸显示屏805的下层。当压力传感器813设置在电子设备800的侧边框时,可以检测用户对电子设备800的握持信号,由处理器801根据压力传感器813采集的握持信号进行左右手识别或快捷操作。当压力传感器813设置在触摸显示屏805的下层时,由处理器801根据用户对触摸显示屏805的压力操作,实现对ui界面上的可操作性控件进行控制。可操作性控件包括按钮控件、滚动条控件、图标控件、菜单控件中的至少一种。

指纹传感器814用于采集用户的指纹,由处理器801根据指纹传感器814采集到的指纹识别用户的身份,或者,由指纹传感器814根据采集到的指纹识别用户的身份。在识别出用户的身份为可信身份时,由处理器801授权该用户执行相关的敏感操作,该敏感操作包括解锁屏幕、查看加密信息、下载软件、支付及更改设置等。指纹传感器814可以被设置电子设备800的正面、背面或侧面。当电子设备800上设置有物理按键或厂商logo时,指纹传感器814可以与物理按键或厂商logo集成在一起。

光学传感器815用于采集环境光强度。在一个实施例中,处理器801可以根据光学传感器815采集的环境光强度,控制触摸显示屏805的显示亮度。具体地,当环境光强度较高时,调高触摸显示屏805的显示亮度;当环境光强度较低时,调低触摸显示屏805的显示亮度。在另一个实施例中,处理器801还可以根据光学传感器815采集的环境光强度,动态调整摄像头组件806的拍摄参数。

接近传感器816,也称距离传感器,通常设置在电子设备800的前面板。接近传感器816用于采集用户与电子设备800的正面之间的距离。在一个实施例中,当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变小时,由处理器801控制触摸显示屏805从亮屏状态切换为息屏状态;当接近传感器816检测到用户与电子设备800的正面之间的距离逐渐变大时,由处理器801控制触摸显示屏805从息屏状态切换为亮屏状态。

vr传感器817可以采集用户在世界坐系中的空间位置,采集用户的面部信息、肢体信息等。

本领域技术人员可以理解,图9中示出的结构并不构成对电子设备800的限定,可以包括比图示更多或更少的组件,或者组合某些组件,或者采用不同的组件布置。

本公开提供了一种存储介质,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行上述任意实施例提供的虚拟交互的方法。

本公开提供了一种计算机程序产品,当其在计算机上运行时,使得计算机执行上述任意实施例提供的虚拟交互的方法。

本公开提供了一种虚拟交互的系统,所述系统包括如图7所述实施列的装置和如图8所述实施例的装置。

本领域技术人员在考虑说明书及实践这里公开的发明后,将容易想到本公开的其它实施方案。本公开旨在涵盖本公开的任何变型、用途或者适应性变化,这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的,本公开的真正范围和精神由下面的权利要求指出。

应当理解的是,本公开并不局限于上面已经描述并在附图中示出的精确结构,并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

技术特征:

1.一种虚拟交互的方法,其特征在于,所述方法应用于服务器,包括:

创建用户群组,所述用户群组包括多个用户,所述多个用户中的每个用户对应的设备中包括所述用户群组对应的第一显示界面,所述第一显示界面包括所述每个用户对应的虚拟形象;

接收用户群组中的每个用户的用户信息;

向所述用户群组中的任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,所述用户集合包括所述用户群组中的除所述任意用户之外的各其他用户,以使所述设备根据所述任意用户的用户信息在所述用户群组的第一显示界面中驱动所述任意用户的虚拟形象,根据所述用户集合中的各用户的用户信息在所述用户群组的第一显示界面中驱动所述用户集合中的各用户的虚拟形象,以及根据所述任意用户的用户信息将所述第一显示界面转换成显示视角与所述任意用户的观看视角相同的第二显示界面。

2.根据权利要求1所述的方法,其特征在于,所述创建用户群组之后,还包括:

接收用于加入所述用户群组的请求消息,所述请求消息包括所述待加入用户的用户信息和虚拟形象;

向所述待加入用户对应的设备发送所述第一显示界面和所述用户群组中的各用户的用户信息和虚拟形象,以使所述待加入用户对应的设备在所述第一显示界面中根据所述待加入用户的用户信息显示所述待加入用户的虚拟形象,以及根据所述各用户的用户信息显示所述各用户的虚拟形象;

向所述任意用户对应的设备发送所述待加入用户的用户信息和虚拟形象,以使所述任意用户对应的设备根据所述待加入用户的用户信息在所述第一显示界面中显示所述待加入用户的虚拟形象。

3.一种虚拟交互的方法,其特征在于,所述方法应用于第一用户的设备,所述第一用户是用户群组中的任意用户,所述设备显示有所述用户群组的第一显示界面,所述第一显示界面包括所述用户群组中的每个用户的虚拟形象,包括:

获取第一用户的用户信息;

接收所述用户群组中的除所述第一用户之外的各其他用户的用户信息;

根据所述第一用户的用户信息在所述第一显示界面中驱动所述第一用户的虚拟形象以及根据所述各其他用户的用户信息在所述第一显示界面中驱动所述各其他用户的虚拟形象;

根据所述第一用户的用户信息,将所述第一显示界面转换成显示视角与所述第一用户的观看视角相同的第二显示界面。

4.根据权利要求3所述的方法,其特征在于,所述第一用户的用户信息包括所述第一用户面部朝向信息和所述第一用户在所述第一显示界面中的第一位置信息,

所述根据所述第一用户的用户信息,将所述第一显示界面转换成显示视角与所述第一用户的观看视角相同的第二显示界面,包括:

根据所述面部朝向信息和所述第一位置信息生成空间转换矩阵,所述空间转换矩阵为世界坐标系和目标坐标系之间的转换关系,所述世界坐标系是所述第一显示界面所在的坐标系,所述目标坐标系的坐标原点为所述第一位置信息对应的位置,所述目标坐标系的一个坐标轴的朝向与所述第一用户的面部朝向相同;

根据所述空间转换矩阵将所述第一显示界面中的每个像素点转换到所述目标坐标系中,得到所述第二显示界面。

5.根据权利要求4所述的方法,其特征在于,所述第一用户的面部朝向信息包括所述第一用户面部在世界坐标系中的俯仰角、偏航角和滚动角,

所述根据所述面部朝向信息和所述第一位置信息生成空间转换矩阵,包括:

根据所述第一用户面部的滚动角、俯仰角和偏航角生成面部朝向向量,所述面部朝向向量的方向平行于所述目标坐标系的z轴;

根据所述第一用户面部的滚动角生成第一方向向量,以及根据所述第一方向向量和所述面部朝向向量生成第二方向向量,所述目标坐标系的y轴平行于所述第一方向向量,x轴平行于所述第二方向向量;

根据所述第一位置信息、所述面部朝向向量、所述第一方向向量和所述第二方向向量生成空间转换矩阵。

6.根据权利要求4所述的方法,其特征在于,获取所述第一位置信息,包括:

在检测到所述第一用户的空间位置发生变化时,采集所述第一用户的移动距离和移动方向;

根据上一次获取的所述第一用户的第二位置信息、上一次接收的所述用户群组中的各其他用户的第二位置信息、所述第一用户的移动距离和移动方向,确定所述第一位置信息。

7.一种虚拟交互的装置,其特征在于,所述装置应用于服务器,包括:

创建单元,被配置为创建用户群组,所述用户群组包括多个用户,所述多个用户中的每个用户对应的设备中包括所述用户群组对应的第一显示界面,所述第一显示界面包括所述每个用户对应的虚拟形象;

接收单元,被配置为接收用户群组中的每个用户的用户信息;

发送单元,被配置为向所述用户群组中的任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,所述用户集合包括所述用户群组中的除所述任意用户之外的各其他用户,以使所述设备根据所述任意用户的用户信息在所述用户群组的第一显示界面中驱动所述任意用户的虚拟形象,根据所述用户集合中的各用户的用户信息在所述用户群组的第一显示界面中驱动所述用户集合中的各用户的虚拟形象,以及根据所述任意用户的用户信息将所述第一显示界面转换成显示视角与所述任意用户的观看视角相同的第二显示界面。

8.一种虚拟交互的装置,其特征在于,所述装置应用于第一用户的设备,所述第一用户是用户群组中的任意用户,所述装置显示有所述用户群组的第一显示界面,所述第一显示界面包括所述用户群组中的每个用户的虚拟形象,包括:

获取单元,被配置为获取第一用户的用户信息;

接收单元,被配置为接收所述用户群组中的除所述第一用户之外的各其他用户的用户信息;

驱动单元,被配置为根据所述第一用户的用户信息在所述第一显示界面中驱动所述第一用户的虚拟形象以及根据所述各其他用户的用户信息在所述第一显示界面中驱动所述各其他用户的虚拟形象;

转换单元,被配置为根据所述第一用户的用户信息,将所述第一显示界面转换成显示视角与所述第一用户的观看视角相同的第二显示界面。

9.一种电子设备,其特征在于,包括:

处理器;

用于存储所述处理器可执行指令的存储器;

其中,所述处理器被配置为执行所述指令,以实现如权利要求1至6中任一项所述的虚拟交互的方法。

10.一种存储介质,其特征在于,当所述存储介质中的指令由电子设备的处理器执行时,使得所述电子设备能够执行如权利要求1至6中任一项所述的虚拟交互的方法。

技术总结

本公开关于一种虚拟交互的方法、装置、电子设备及存储介质,属于通信领域。所述方法包括:创建用户群组,用户群组中的每个用户对应的设备中包括第一显示界面,第一显示界面包括每个用户对应的虚拟形象;接收用户群组中的每个用户的用户信息;向任意用户对应的设备发送最近一次接收的用户集合中的每个用户的用户信息,用户集合包括用户群组中的各其他用户,以使设备根据任意用户的用户信息在第一显示界面中驱动任意用户的虚拟形象,根据用户集合中的各用户的用户信息在第一显示界面中驱动用户集合中的各用户的虚拟形象,将第一显示界面转换成显示视角与任意用户的观看视角相同的第二显示界面。本公开能够增加虚拟交互的真实感和沉浸感。

技术研发人员:马里千;张博宁;张国鑫;黄旭为;刘晓强

受保护的技术使用者:北京达佳互联信息技术有限公司

技术研发日:.11.12

技术公布日:.02.25

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。