运动与健康学院 - 山东体育学院 

你的位置:首页 > 学院新闻 > 正文

我院宋祺鹏教授团队与山东师范大学联合开发基于SGGC-Net的三维动作捕捉系统

发布者:jk
时间:2023-10-31

​山东体育学院运动与健康学院的宋祺鹏团队朱琳、沈培鑫联合山东师范大学信息科学与工程学院孙建德团队陈浩、董鹏程、郑泽楷,自主研发了一套基于SGGC-Net的三维动作捕捉系统。系统通过视频识别技术,自动甄别标记录像视频中的人体关键点可在保证采集数据可重复性与准确性的基础上,大幅缩短动作解析过程的人工处理时间。

生物力学研究中,通常选用三维动作捕捉系统采集受试者的运动学数据。其中,室内环境常用的vicon红外动作捕捉系统,其操作过程比较复杂,需要在受试者身上粘贴marker点;室外环境常用的SIMI系统,其操作简单,不需要粘贴marker点,但后期需要实验人员手动逐帧补点,工作量大、周期长;此外,基于人体姿态估计的无标记动作捕捉系统虽然可以提供高效的实时反馈,但这些算法的网络结构都较为复杂,参数量较多,致使检测速度过慢,难以贴合实际应用。

SGGC-Net是一种通过深度卷积神经网络实现的人体骨骼关键点检测网络,使用一个具有海量图像的数据集COCO训练而成。SGGC-Net是在HRNet的框架体系下重新设计的人体骨骼关键点检测网络,该网络框架更新设计了新的轻量级瓶颈模块以及残差模块,在保证精度的前提下降低了网络的参数,提高了对人体骨骼点检测的效率。这种深度卷积的训练模式一方面能摆脱场地限制,减少测试前粘贴Marker点的准备工作,另一方面能通过自动识别节省人力,提高动作捕捉的效率。

为了进一步检验SGGC-Net系统的可重复性与准确性。两团队以Vicon系统为参照标准,比较SGGC-Net系统和SIMI系统解析跑步机行走过程中上、下肢关节角度的信度和效度。

实验结果显示,在大多数指标中,与手动标注相比,SGGC-Net可重复性更高。在不同测量数据中,SGGC-Net多次处理结果的信度是更高的,SGGC-Net系统从海量数据中学习到的关节点定位位置比手动标注更为准确;除踝关节角度外,SGGC-Net系统解析大多数指标的效度比SIMI系统更好。手工解析时关节遮挡较多,而SGGC-Net基于海量训练数据,即使在有遮挡的情况下,也能对被遮挡的部分做出相对准确的估计。

山东体育学院硕士研究生朱琳作为第一作者,在《医用生物力学》杂志(北大核心,CSCD)发文,题为《基于SGGC-Net的动作捕捉系统解析行走步态的信度与效度》。该文验证了SGGC-Net系统解析人体运动的潜力,为其应用于体育与康复领域奠定了基础。

撰稿|朱 琳

摄影|朱 琳

编辑|王凌菲

排版|程俊达

初审|张国岭

审核|赵广丰

签发|隋 波

上一篇 下一篇