舞蹈数字动作库及分析系统

—Dance Lab V1.0

荣获“2022年度中国电子视像行业协会科技创新奖-技术奖       

 

一、项目简介

“舞蹈数字动作库及分析系统[Dance Lab]V1.0”及线上版本为2020年北京市科技类课题“基于光学运动捕捉技术的舞蹈动作分析和实时渲染研究——以藏族舞蹈为例”成果。该课题为期三年(2021-2023),项目编号KM202010051001。项目负责人:吴振,北京舞蹈学院舞台美术系副教授。

2021年7月15日—7月23日,我们邀请西藏大学高原罗尔旦和桑嘎卓玛教授、非物质文化男子藏族热巴舞传承人索朗亚次到北京舞蹈学院运动捕捉实验室进行了藏族男子舞蹈动作的采集、捕捉、整理、分析、保存,并研发“舞蹈数字动作库及分析系统—Dance LabV1.0”(软著登字第8342332号,登记号:2021SR1619706.)在保护非物质文化遗产的同时让更多的人了解学习和爱上民族文化。

该项目以西藏藏族男子热巴舞蹈为例运用光学运动捕捉技术进行动作采集和分析舞蹈动作,并根据藏族舞蹈的特点创作虚拟角色和场景,搭建实时渲染系统,通过整合完成软件的编写。使其有利于舞蹈教学和编创,有利于数据的捕捉,演员的表演,内容的拓展。

一期将著作权软件以数字出版物形式出版。同时VR版本在Steam平台发表,使全世观众都可以通过VR眼镜沉浸式学习男子热巴藏族舞蹈。并通过后续项目采集其他非物质文化遗产舞蹈(例如新疆非遗舞蹈,安徽花鼓吨等等)不断扩充数据库。最后出版纸质版《舞蹈数字动作库及分析系统—Dance LabV1.0白皮书》。

二、总体框架

1. 选取经国家级非物质文化遗产代表性藏族男子热巴舞蹈,邀请藏族非物质文化传承人采集动作数据,通过生物力学分析软件进行运动分析,将运动捕捉系统与测力台相连,进行力学分析,以图像和量化数据等方式呈现。用于在舞蹈教学中科学的纠正学生动作。

broken image

2. 结合光学运动捕捉技术和游戏引擎搭建符合民族舞蹈创作、教学要求的实时渲染系统,将捕捉的动作数据导入编写好的库中,编写成软件并作为模板。 该软件除了能够捕捉民族舞蹈动作,在实时渲染系统中直观的体现(通过虚拟的角色和场景),也可以将捕捉好的动作数据加载给虚拟角色,进行动作回放,运动分析、力学分析数据也能够直观体现。

broken image

3. 运用信息技术使不同地域的观众也可以戴上 VR 眼镜在虚拟空间近距离观看学习民族舞蹈,著作权软件以数字出版物形式出版。

三、采集内容

第一部分——仪式

1. 洗礼

2. 敬灵

3. 热谐(念白)

第二部分——纯舞短句

4. 恰嘎(三点鼓)

5. 蹦子三点鼓

6. 蹲转三点鼓

7. 六点鼓

8. 冈连(步态)九点鼓

9. 内外转圈九点鼓

10. 冈果(原地转圈)九点鼓

11. 连三九点鼓

第三部分——传统短句

12. 古冬仓措(九点鼓节奏)

13. 梅朵安羌姆

14. 松梅丙羌姆

此外还包括8段唱词(均已申请著作权):

1. 热巴“颂三界” (2020716-01)

2. “吉祥道谢”扎西祝福(2020716-02、03)

3.(前后不一)热巴“刀论”,(0-1分钟3遍)米热热巴道歌(2020716-04)

4. 米热道歌(3个不同旋律,1分14秒后)米热热巴与猎狗(2020716-05)

5. 热巴韵白(告语)无呼应,唱跳(2020716-06、07)

6. 热巴谐(歌舞)(2020716-08)

四、数字动作库及分析系统[Dance Lab]大事记 

  1. 2020年北京市科技类课题立项,该课题为期三年(2021-2023),项目编号KM202010051001。
  2. 2021年11月,完成“舞蹈数字动作库及分析系统Dance Lab V1.0”开发,软件著作权登记号:2021SR1619706。
  3. 2022年8月,完成 ““雪”热巴舞传承人索朗亚次数字人模型作品版权登记。登记号:国作登字-2022-F-10216906。
  4. 2022年12月,荣获“2022年度中国电子视像行业协会科技创新奖-技术奖”。
  5. 2023年6月,完成线上版本“舞蹈动作信息管理系统Dance Lab V2.0”开发。软件著作权登记号:2023SR0604211。
  6. 2024年4月,完成“AI数字人模块”开发。

五、DanceLab数智化AI教学系统 DanceLab-AI

1.AI数字人版本

broken image

1. 按F10键,设置音频输入

broken image

2. 按T键语音对话

2. DanceLab-AI数智化教学系统(数据库线下交互版本)

broken image

1. 进入登陆页面。

broken image

2. 点击“简介Introduction”观看访谈。

broken image

3. 观看数字表演,选择舞蹈内容。

broken image

4. 观看动作位置数据,点击动捕图标会出现用动捕设备驱动的数字人,目前支持诺亦腾动捕。

broken image

5. 点击AI图标,在对话框提问,AI回答问题。

broken image

6. 点击图片,观看创作花絮