文摘

解决现有的广播拍摄系统的复杂性和可重复性的局限性,一个新的广播拍摄系统。特别是,对韩国音乐广播,射击序列阶段和照明安装,彩排,生产照明效果,和主要拍摄;然而,这个序列是复杂的,涉及多个人。我们开发了一个自动射击系统可以产生同样的效果尽可能序列的最小数目的人因为COVID-19 un-tact的时代已经出现。发达系统包括一个模拟器。在开发阶段使用模拟器,在排练期间,舞者的动作获得使用超宽频和二维(2 d)激光雷达传感器。插入获得运动数据的开发阶段,相机效果产生使用虚拟摄像机安装在发达模拟器。相机的效果由锅、董事和变焦相机倾斜产生闪电效果而评估虚拟的运动虚拟舞台上的舞者。在这项研究中,四个相机使用,三是用于相机锅,倾斜,和变焦控制,第四个被用作固定相机全景。视频拍摄执行根据锅,倾斜和缩放值的三个摄像机和切换器的数据。 Only the video of dancers recorded during rehearsal and that produced by the lighting director via the existing broadcast filming process is overlapped in the developed simulator to assess lighting effects. The lighting director assesses the overlapping video and then corrects parts that require to be corrected or emphasized. The abovementioned method produced better lighting effects optimized for music and choreography compared to existing lighting effect production methods. Finally, the performance and lighting effects of the developed simulator and system were confirmed by shooting using K-pop using the pan, tilt, and zoom control plan, switcher sequence, and lighting effects of the selected camera.

1。介绍

在今天的COVID-19流行时代,un-tact文化出现,防止病毒的传播,而不是人与人之间的联系(1]。因此,un-tact文化如远程办公、视频会议、在线订购有根深蒂固在我们的生活中2]。这些un-tact文化,文化生活产生了重大影响,尤其是体育和表演。表演,如音乐会、音乐剧,戏剧已经执行non-face-to-face通过在线广播。在运动的情况下,游戏是没有观众,但是网上广播是通过各种网络平台成为可能3,4]。在线表演和节目产生重大影响人们的情感关怀,尤其是那些已经厌倦了大流行的限制(5]。然而,随着un-tact时代,在线表演可以观看和享受在家工作时,然后访问这些表演增加了,因为他们可以以更低的成本比离线性能(6]。然而,技术方面如声音和情感,可以感知领域不可避免地减少。在相机的情况下,例如,观众就无法体验阶段的感受,因为他们依赖于安装摄像头观看演出。此外,虽然票价降低了工人的数量动员离线和在线性能几乎没有减少,导致经济损失生产商(7- - - - - -9]。为了弥补这些局限,许多广播电台或研究团队正在开发和使用自动相机拍摄系统,如相机系统,校准、锅、倾斜和变焦控制方法(10- - - - - -15]。尤其是对现实娱乐和体育节目,如奥运会、相机连接到机器人或控制辅助系统(16,17)能够锅、倾斜和变焦自动视频,因此更换相机的人(18- - - - - -24]。然而,这种拍摄技术简单地跟踪一个人或控制摄像机使用远程控制装置,如操纵杆,是有限度的表演和广播只使用这种技术(25,26]。此外,由于上述系统简单地控制相机中使用性能,它是有限的广播任务要求等各种广播系统切换器,音乐,灯光,和其他系统。为了弥补这些限制,我们开发了一个自动拍摄系统,它可以产生相同的拍摄结果现有离线表演或广播系统使用最小数量的人在大流行的时代。开发的系统可以控制和生产从排练到声音,射击和照明。开发系统包括四个部分,如图1。

首先,有一个阶段校正部分,创建一个虚拟阶段使用模拟器基于一个实际的阶段。第二,有一个运动采集单元获得运动的演员在舞台上排练。第三,有一个模拟器单位使用获得运动数据来创建一个相机操作计划使用模拟器。第四,舞者在彩排的视频是重叠的视频镜头只有一个空的舞台上灯光效果,这重叠的视频是用来评估照明效果。最后,我们的系统包含一个集成控制部分,上面的数据传输和控制模拟器产生实际的硬件。是控制系统的上述部分使用统一在一个集成控制系统程序。开发系统模仿现有的韩国音乐广播序列。舞台设备的一般顺序设置,彩排,灯光效果生产,主要拍摄之后。用于验证的歌一首被称为红色天鹅绒的红色味道在韩国流行音乐,和业余舞者被用于编排。

整个系统配置如图2,所有硬件控制通过模拟器实现为统一在主电脑。首先,在安装摄像机、超宽频2 d激光雷达,和照明,摄像机的位置和阶段通过校准过程。硬件安装完成后,彩排。当进行排练,超宽频和2 d激光雷达是用于获得运动线和IDs的舞者。使用获得运动数据,用户创建一个计划,倾斜,变焦镜头。当相机控制计划完成后,建立一个屏幕开关切换计划。此外,用户计划看视频记录在彩排时灯光效果。灯光效果计划完成时,只有空荡荡的舞台上灯光效果再次拍摄,然后排练视频和照明视频是重叠的。用户纠正时机的灯光效果时需要修正或重点复查重叠的图像。最后,当灯光效果的计划完成后,主要拍摄的开始。 The main PC controls not only the start signal but also all hardware necessary for the main shooting. When the main shooting starts, the 2D LiDAR checks the positions of the dancers and compensates if they are outside the set error range and controls the dancers to be located in the center of the screen as much as possible. The above contents are written in detail for each part below.

2。材料和方法

2.1。校准和人类数据阶段

总的来说,音乐广播的第一步是设置了舞台。相机的位置和照明按照大小和形状的确定阶段,所以先阶段执行安装。在这项研究中,舞台灯光,摄像机,大小和形状都由总经理决定。在学校礼堂为舞台,舞台的大小,只有部分被指定使用。用于拍摄阶段的形状是长方形的。

首先,超宽频锚安装在一个正方形的四条边的阶段,如图3(一个)。然后,摄像机安装在所需的位置。然后,把二维(2 d)激光雷达传感器安装在舞台的中心。在这项研究中,四个相机使用,三是结合锅倾斜单位(PTU)控制pan-tilt-zoom配置。因为剩下的全景相机是固定相机,也没有PTU安装。在安装摄像机和2 d激光雷达传感器,如图4(一)的大小,测量阶段使用激光测距仪。测量后阶段,每个顶点的距离和角度阶段所有相机和2 d激光雷达传感器测量和输入模拟器来模拟虚拟舞台和照相机,如图3 (b)。相机的位置是使用一个简单的三角函数和欧氏距离计算方程使用阶段坐标和舞台和摄像机之间的角度27,28]。

完成后摄像头和传感器安装,以及虚拟舞台和相机安装在模拟器上完成,进行舞蹈排练收购舞者的动作。两个传感器被用来获取舞者的动作。所使用的传感器是一个超宽频传感器和一个2 d激光雷达传感器。对于每一个传感器,Decawave MDEK1001开发工具包和生病的lms101 - 10000模型。第一个传感器是一个超宽频传感器识别演员。因为每个超宽频传感器都有一个惟一的ID,它是最优识别多个演员在舞台上。此外,虽然超宽频传感器提供位置数据,这些数据并非用于获取运动线在这项研究中,因为运动误差是10厘米29日,30.]。然而,如果有一个损失的位置数据使用2 d激光雷达传感器,位置数据被用于修正。由于超宽频错误的局限性,许多研究正在进行融合的超宽频和激光雷达传感器(31日- - - - - -33]。超宽频传感器连接到背心的肩;在排练期间,演员穿传感器贴在背心(图4 (b))进行识别而在舞台上表演。第二传感器,2 d激光雷达传感器用来获得演员的运动(34,35]。一个2 d激光雷达传感器安装在舞台的中心获取演员在舞台上的运动。上面的2 d激光雷达传感器安装1 m的舞台地板,演员可以扫描从骨盆的腰。此外,当演员来回重叠或消失的扫描区域,很难获得演员运动数据,使用超宽频的位置数据获取传感器是用来弥补演员运动数据丢失。此外,位置数据补偿,2 d激光雷达传感器的坐标系统是同步的超宽频传感器。获取演员运动数据后,进行数据过滤使用曲线拟合的方法,这是一个数据后处理方法。最后获得的运动模拟器的输入数据和加载在已经创建虚拟舞台上。

2.2。模拟器

当演员的运动数据获得通过模拟器虚拟加载阶段和彩排,创建一个编辑器或董事相机计划基于他们的经验。相机计划由两部分组成。第一部分是控制相机的锅,倾斜,和变焦配置,第二个创建一个切换计划,选择摄像机的视频在多个摄像机之间传播。

相机生成计划计划创建一个相机一部分通过改变锅,相机的倾斜和放大配置所需的一边看彩排视频和虚拟舞台上演员的运动对每个相机在模拟器上。相机计划开发这样的键盘,操纵杆用户可以方便地使用我们的开发系统。因为运动数据获得在排练2 d数据,很难创建一个倾斜计划创建一个相机只模拟。为了弥补这些局限,如图5,实际的演练与模拟器阶段同步视频。看实际排练视频时,导演将能够评估当倾斜相机和创建一个倾斜的计划。预置功能是为了方便开发生产的相机的计划。预置功能包括特写、破产,腰,膝盖,全景,追踪一个人。每一个镜头追踪选择的演员创造者,和相机的锅,倾斜,变焦可以改变根据镜头的类型。特别是,如果选中了两个演员拍摄全景预设,可以创建一个场景,相机的锅,倾斜,和缩放变化每两个演员的运动。在创建每个相机的锅、倾斜和变焦计划,镜头切换计划最后创建视频传输。生产者选择的场景视频将终于在单位时间或传输帧在看相机计划模拟四个摄像头。生产者可以随时切换摄像头或框架,并可以修改切换计划。最后,锅、倾斜、变焦和切换器的计划值相机传输统一计划。 The produced data is loaded from the Unity-based broadcasting control system and prepared to control the camera, PTU, lighting control panel, switcher (Blackmagic ATEM 1 M/E Advanced Panel and Blackmagic ATEM 1 M/E Production Studio 4 k), and recording equipment (Blackmagic Duplicator 4 k and Blackmagic HyperDeck Studio 4 k Pro) at the same time.

2.3。相机控制

平移、倾斜和放大值产生的每个相机使用PTU的模拟器与摄像机之间的传输和放大控制每个锅和倾斜控制按照命令的主要程序。FLIR的d - 100 e产品是用于PTU,和索尼的z - 280用于摄像机。PTU是固定的,坐在一个三脚架和相机是固定安装在PTU。PTU的运动是基于摄像机的平移和倾斜值获得使用模拟器。然而,上述值运动数据通过现有的彩排。因此,当使用上述的主要性能是拍摄数据,所得值之间出现错误和实际拍摄的图像,除非演员排练表现完全一样。解决上述限制,演员的位置使用2 d激光雷达传感器获得的数据被用于补偿。当一个错误发生时通过比较已经获得运动数据与当前2 d激光雷达传感器数据,当前二维激光雷达传感器数据用于最小化错误捕捉的图像。

2.4。灯光控制

董事在现有音乐广播节目,照明生产灯光效果,听音乐,和产生的灯光效果是基于他或她的经验。因为这个方法创建灯光效果只有通过导演的经验,听音乐,这些影响不考虑演员的运动。为了克服这个限制,照明生产方法开发系统的第一个生产彩排的时候看视频拍摄时灯光效果。第二,照明效果是一个空的舞台上和视频。第三,灯光效果与舞者同时评估通过重叠的彩排和照明视频模拟器。评估后,董事照明可以反复修改的部分需要被纠正,这样可以创建灯光效果比详细生产方法与现有的照明。

3所示。结果与讨论

3.1。校准和人类数据阶段

计算阶段和相机位置与实际值相比,这是使用激光测量的角度和距离测量装置。相机的位置从的起源阶段测量X, Y, Z坐标的值使用激光测量装置。比较结果表明,只有一个平均误差发生的3 - 5厘米;因此,上述值不是不适合成像。五个舞者跳舞的音乐红色天鹅绒的红色气息,韩国流行音乐之一,舞者的运动数据。音乐是3分钟和25年代长,虽然舞蹈的音乐,五个舞者穿着UWB-attached背心,和他们的识别和运动线使用2 d激光雷达传感器获得。运动数据组成一个ID和X和Y坐标为每个舞者和存储在一个循环30 Hz。存储的运动数据过滤使用数据后处理方法,即。曲线拟合,实现清洁运动数据,如图6。

3.2。模拟器

在彩排获取的运动数据使用超宽频和2 d激光雷达传感器和位置的计算阶段和相机都被转移到虚拟发达阶段模拟器。在这项研究中,四个相机使用,三是用于控制相机锅,倾斜,和放大配置,第四个是安装最远的中心阶段,作为一个固定的全景相机。直接在模拟器中,导演计划通过观察模拟器上的人物移动,倾斜,按时间顺序每个相机的变焦模拟器如图7(一)- - - - - -7 (c)。因为相机用于全景不控制摄像机的平移和倾斜,导演设置放大值所需的视图只通过设置放大。

当锅、倾斜和放大的计划所有相机都完成,最后切换器执行任务。切换任务决定了这四个摄像头作为最终输出图像随着时间的推移,如图7 (d)。最后,当切换任务完成后,数据,包括平移、倾斜,每个相机放大值和切换器值,提取,然后将这些数据用于相机控制。在图的视频S1三个摄像头,显示了相机顶部视图切换器的计划,和实际比较录像拍下模拟器,模拟器的基础。此外,在模拟器上,预设功能被开发,这样用户可以很容易地移动相机。发达预设功能包括特写,胸部,腰,膝盖,全景跟踪一个人,和组镜头跟踪组。特别是,射击是一个预设函数创建的组强调开发系统的优点。放大或缩小是发达国家为应对运动的两个选定的舞者和启用跟踪。如图8,放大价值变化,两人之间的距离变化可以评估使用预设功能。此外,它是这样,摄像机自动跟踪运动的两个人。在图的视频S2使用预设显示模拟器的工作场景,模拟视频使用预设组镜头,实际上比较视频拍摄。

作为未来的工作,我们计划增加更多不同的预设和相机拍摄技术通过反射相机的经验。此外,我们认为,用户应考虑系统环境和界面,等等,为用户创建更容易也更身临其境的相机使用模拟器计划和阶段。特别是,如果根据叙事空间的设计,已广泛应用于虚拟现实、游戏、使用,预计它将成为一个更现实的模拟器,因为用户可以组合相机计划和阶段的影响在一个实际的工作室36,37]。

3.3。相机控制

每个相机的pan-tilt-magnification价值根据时间创建在模拟器上运行的起始信号的集成控制系统。相机的pan-tilt-magnification配置控制的基础上pan-tilt-magnification数据中创建模拟器。然而,在排练一个演员在舞台上的地位,在实际的性能不能完全匹配。因此,绑定到一个错误发生在拍摄只使用模拟数据。为了解决这个限制,在这项研究中,演员的位置误差纠正使用2 d激光雷达传感器数据在此性能。所有摄像机校准是定位在演员使用数据中心的使用2 d激光雷达传感器获得。确认的结果修正,左、右方向的运动数据在舞台上。相机是跟随一个人在模拟器上使用获取的运动数据。使用相机的人跟踪生产计划仿真器和2 d激光雷达传感器校正。此外,摄影师的性能有超过五年经验的比较与现有系统使用相同的相机捕捉相同的运动在同一位置,如图9。在图S3详细,摄影师和开发系统显示比较视频记录的跟踪一个人继续同样的课程。

的定量比较跟踪捕获的视频,这是决定人类是否定位在屏幕的中心。作为评价方法,整个图像捕获每个100帧来确定多远一个身体的中心偏离中心的屏幕上。从评价结果,如图10,开发了系统的跟踪性能优于36%的摄影师。像素的中心之间的距离被定义为一个人的身体和人的中心像素的形象。即使评估整个视频,视频通过摄影师经常出现偏离中心的屏幕上,有时甚至从屏幕上消失了。发达系统,然而,一个人稳定集中在屏幕上,也没有的情况下,一个人从屏幕上消失。

3.4。灯光控制

在现有的音乐广播生产照明效果,只有照明主任创建灯光效果根据他/她的经验和感知,同时听音乐。因为这灯光效果不考虑歌手或演员的运动和舞蹈,它是微不足道的。特别是,舞台上独奏或当它应该强调,很难创建一个灯光效果,只要听音乐。为了解决这个限制,照明效果模拟器开发。发达灯光效果模拟器第一舞者在彩排的视频记录。第二,在看和听的视频和音乐舞蹈演员拍摄彩排期间,创建灯光效果。只有在照明导演创造了灯光效果他们以同样的方式记录下来。此时,使用的相机在排练期间应该有相同的位置,角度和放大值作为彩排期间使用的相机。只有视频记录的舞者和灯光效果是用来重叠使用重叠的两个视频技术发达模拟器,如图11。

照明导演手表重叠的视频,确保舞者,音乐,照明良好和谐。区域的灯光效果,需要修正或重点纠正。修改后的照明效果re-shot和评估现有舞者重叠的彩排的视频。上述一系列过程可以重复按董事照明的要求。

如果使用照明的照明效果是纠正重叠技术,可以获得许多影响,如图12。因为舞者的位置是未知的,照明效果产生广泛如图片所示数据的重叠12(一)12(d)。然而,因为新创建的照明效果重叠后可以知道舞者的位置,它可以证实,更合适的灯光效果是由照明关注舞者站的位置。如上所述,与现有的照明效果的方法,仅仅依赖音乐,灯光效果产生的位置和编排在看舞者使用重叠技术,使生产更加活泼多彩的灯光效果。在图的视频S4视频展示了一个比较之前和之后的重叠。

3.5。用户评价

射击性能测试时,相机董事和5照明董事被邀请。每一个导演都是导演至少有5到12年的经验在每个字段。所有董事看拍摄的顺序设置在模拟器上,实际上处理模拟器,进行下面的调查(表1和2)。至于调查,两项调查准备相机监督和照明监督。

每个两项调查由16项,总分为112分。相机董事做了一个仿真器和自动射击系统的综合评价,以及照明灯光覆盖的导演做了一个综合评价。首先,评价结果的五个摄像机记录董事平均101.8分112分。总的来说,我给高分UI和系统配置。然而,他们觉得虚拟的形象阶段组成的虚拟舞台上的舞者和一个矩形表示了一种不同于现实生产相机的计划,所以他们中的大多数给了得分低于其他物品。作为额外的意见,这是说相机的锅,倾斜,和缩放与模拟器与实际同步相机,所以方便写一个相机的计划。此外,它是评估更有效的领域不仅为演出,还与一个固定的顺序如新闻或家庭购物。

照明导演给了平均108.2分112分。总的来说,我很满意照明覆盖技术。作为额外的意见,现有的照明效果生产过程只听音乐,和照明导演想象,使照明效果。然而,在生产使用照明叠加技术的情况下,评估工作是容易产生和适当的影响因为灯光效果是同时观看视频通过排练。此外,它是评估作为一个优势能够提前体验实际的阶段使用照明叠加的效果。

4所示。结论

开发一个新系统来弥补人工方法的局限性彩排录像,相机控制、切换控制、生产广播射击和照明效果。在图的视频S5被使用最后开发系统。拍摄时使用此系统开发,射击误差可以减少到五分之一相比现有的劳动力,同时保持或改善视频质量。发达的生产指令系统是基于在韩国音乐广播。发达系统处理锅、倾斜和放大控制计划的摄像头和屏幕切换的切换控制计划使用虚拟舞台发达模拟器根据工作表后获得的运动舞蹈演员在排练。上述生产过程迭代允许董事照明轻松添加和修改一个最佳的相机和切换器控制计划。生产照明效果,只有在排练排练舞蹈的视频记录,视频制作提前照明导演是重叠的。照明主任纠正的部分需要修正通过重叠的再确认过程视频,只有灯光视频转录和重叠与现有的彩排视频评估修改后的照明效果。重复上述操作可以很容易地根据需要由照明导演产生音乐的最佳照明效果。根据撰写数据,当拍摄这个性能,所有相机和切换器照明自动定向和拍摄。因为所有摄像机的控制计划是基于彩排时自动创建的视频拍摄,舞者的位置可能会改变在主要性能。 When this occurs, 2D LiDAR sensor position data are used for real-time correction to place the actors in the center of the current camera screen. Finally, the performance of the developed system was confirmed by five amateur dancers performing the song “Red Flavor” by Red Velvet among K-pop. In the future, we plan to test and use the developed system in various fields such as news or talk shows; we will add a preset function to acquire high-quality videos. Moreover, we are attempting to overcome several shortcomings limiting online performances by increasing the number of cameras of various types to convey as much realism of the stage as possible.

数据可用性

使用的数据来支持本研究的发现可以从相应的作者。

的利益冲突

作者宣称没有利益冲突。

确认

这项研究是由文化部,体育、旅游(MCST)和韩国创意内容文化机构(谈及软)技术(CT) 2020年研发计划,这工作是支持的要点在2022年由要点研究项目拨款。

补充材料

S1。见补充材料视频1为图7的进一步解释。S2。见补充材料视频2进行进一步的解释图8。S3。见补充材料视频3图9和图10的进一步解释。S4。见补充材料视频4图12的进一步解释。S5。见补充材料视频5为进一步开发系统的解释。(补充材料)