虚拟现实验证仿真多路况下人体下肢行走状态

doi:10.3969/j.issn.2095-4344.2013.35.012

摘要/Abstract

摘要：

背景：在智能下肢假肢控制器的研究过程中，无论采用肌电信号还是运动与动力学信息相结合等方式识别路况，其结果都通常抽象难懂。
目的：从直观运动学分析的角度说明不同路况之间的异同，并利用虚拟现实技术对多种路况场景进行建模和仿真以使识别结果形象化、直观化。
方法：用Simulink下的机械建模模块Simmechanics搭建人体下肢模型框图并进行输出运动学分析，比较各种路况下运动学信息的异同，结合虚拟现实工具箱建立多路况场景，用运动学信息驱动虚拟模型运动，完成不同路况的验证仿真。
结果与结论：直观利用运动学信息区分多种路况有一定的局限性，需结合其他手段或信号；虚拟现实工具箱能很好地再现数据所对应的运动场景。仿真结果表明，虚拟现实建模方法能够真实形象再现人体下肢在平地、斜坡以及楼梯的行走状况，使数据所反映的运动状态不再单调抽象，使识别结果形象化，可作为验证路况识别结果的手段，为智能假肢模式识别工作提供了一个良好的验证显示平台。

关键词: 骨关节植入物, 骨与关节生物力学, 人体下肢, 虚拟现实, 运动学分析, 路况识别, 仿真, 国家自然科学基金

Abstract:

BACKGROUND: In the process of studying intelligent lower limbs prosthesis controller, the identification results of road conditions are usually abstract and not easy to understand no matter what measure is taken such as making use of electromyographic signal or combining kinematic with dynamic information.
OBJECTIVE: To illustrate the differences and similarities between different road conditions from the direct kinematics analysis, and to make models and simulate various road conditions by using virtual reality technology in order to make recognition results visualize.
METHODS: The mechanical modeling modules Simmechanics under Simulink were used to build model diagram of human lower limbs and then we carried out kinematics analysis to the output. The differences and similarities of kinematic information were compared between different road conditions; various road conditions and scenes were built with the help of virtual reality toolbox, and drove the model by kinematics information to achieve validated simulation of different road conditions.
RESULTS AND CONCLUSION: The results showed that it has a certain limitation to identify various road conditions by using intuitive kinematics analysis. More means and information should be used. Virtual reality toolbox could represent the corresponding movement scene well which is belonging to corresponding data. Simulation results showed that virtual reality modeling method can reproduce the true image of walking conditions of lower limb walking in the plains, slopes and stairs, and make the movement state reflected with data no longer monotonous abstract. This method can make the identified results visualize and can be taken as a measure to validate the results of road conditions identification, which can provide a good validated display platform for the identification of intelligent prosthetics mode.

Key words: bone and joint implants, biomechanics of bone and joint, human lower limbs, virtual reality, kinematics analysis, identification of road conditions, simulation, National Natural Science Foundation of China

中图分类号:

R318

王培培，杨鹏. 虚拟现实验证仿真多路况下人体下肢行走状态[J]. 中国组织工程研究, 2013, 17(35): 6293-6299.

Wang Pei-pei, Yang Peng . Lower limb walking state under different road conditions verified with virtual reality technology[J]. Chinese Journal of Tissue Engineering Research, 2013, 17(35): 6293-6299.

图/表（结果） 8

虚拟现实工具箱又名VR-Builder，是一个强大的三维物体构造工具包，它为能在一个三维虚拟现实环境中进行可视化操作和与动态系统交互提供了一种有效的解决方案。它严格按照VRML(Virtual Reality Modeling Language)语法构建三维物体，主要涉及节点、域等概念。节点是VRML最基本的要素，其下可以包含若干个子节点；域包括域名(域的类型)和域值，每个域值都表征了场景或对象的一个特征，节点是由域组成的。按照这些规则定义多层节点、层层嵌套，便构成一个逼真的虚拟现实世界^[12-13]。

同样参考简化的下肢多刚体模型，利用VR-Builder建立人体下肢的三维模型^[14]。

2.1 虚拟现实场景搭建

2.1.1 平地 VR-Builder提供了可建造山脉、大地等自然环境的工具Elevation Grid(海拔栅格编辑器)，其编辑对话框见图4。

利用它在建立平面方面的优势，无需设置位置(translation)坐标，只要修改x和z轴方向的顶点数量或间隔即可控制平面大小。建立好整体平面场景，再添加适当的光源与不同方向的观察视角(Viewpoint)，方便在VRML浏览器中更加形象、立体地观察模型运动。建好的场景见图5。

它能使一个二维形状的物体连续伸缩从而产生出任意形状，进行拼贴重组后可制作出理想的三维图形。将斜坡拆分为2个三角形侧面、一个矩形后面和一个矩形斜坡分别构建二维形状，按照父子节点的关系层层嵌套，设置相对坐标与旋转角，最终建立好斜坡场景如图7。

2.1.3 楼梯按照斜坡的构建方法理论上可以同样建立起台阶模型，但由于面数太多、搭建起来很麻烦。为提高建模效率，在VR-Builder提供的Object Library(对象库)中找到开发者已建立好的90°转角楼梯对象，见图8。实验测得驱动数据时被测者走上的是一段4级的台阶，因此要在该楼梯对象的基础上删除不相符的部分。找到同级别的节点，确定对应扶手、转角台阶等对象进行删除，打开楼梯对象的Indexed Face Set编辑器对剩下多余的楼梯进行剪切，最终得到整体的楼梯场景，见图9。

2.2 Simulink和虚拟现实工具箱的接口建立 Simulink提供了Simulink 3D Animation(三维动画)模块集，其中的VR Sink模块能将VR-Builder建立的虚拟现实模型和Simulink连接起来，实现Simulink对模型的运动控制。拖拽VR Sink模块到新建的mdl文件中，双击模块，出现VRML viewer窗口，这是在Windows平台显示VR模型的网络浏览器，选择参数设置选项出现参数设置对话框，见图10。

为控制双腿在水平面即x轴上的平移和各关节转动的角度，选中hip连接板的translation以及各关节下的rotation参数。大腿、小腿及脚部底板由于分别从属于上一级父亲节点，它们的运动完全由上一级关节带动。点击确定后模块外出现相应接口，利用Simmechanics模型的输出角度信息作为rotation的参数之一，正确设置转动轴；平移参数translation的设置则因路况不同而异，平地行走时只有水平x轴方向的运动，因此可采取斜坡函数Ramp描述水平位移的变化率，变化规律如公式(1)所示，其余路况下肢不仅在水平面有位移，在竖直y方向也有运动，因此在y方向也用Ramp函数来描述，无位移方向设定常数使其位置不变。根据多次仿真实验选定Ramp的斜率、初始值等参数。除平地行走之外的接口模型，见图11。

其中S_i表示沿某一轴在某一时刻t下的位移，i=x、y或z，k表示位移变化率，默认为0，S₀表示某一方向上的初始位移，默认也为0，t是时间序列。

参考文献

[1] 王人成，金德闻.仿生智能假肢的研究与进展[J].中国医疗器械信息,2009,15(1):3-5.

[2] 王斐,张育中,闻时光.基于过程神经网络的步态模式自动分类[J].东北大学学报：自然科学版,2011,32(4):464-467.

[3] 陈玲玲.基于支持向量机的下肢肌电信号模式识别的研究[D].河北：河北工业大学,2006.

[4] 黄玲.捕捉虚拟人运动的运动控制技术的研究[D].北京：首都师范大学,2007.

[5] 魏高峰.人体肌骨系统的整体生物力学建模与仿真分析研究—“中国力学虚拟人”系统集成方法与实现[D].上海：上海交通大学,2010.

[6] 王建平,钱理为,王成焘.人体膝关节几何解剖模型仿真[J].系统仿真学报,2009,21(10):2806-2809.

[7] 薛定宇,陈阳泉.基于MATLAB/Simulink的系统仿真技术与应用[M].北京:清华大学出版社,2011.

[8] 刘艳娜.两足步行机器人的步态规划及SimMechanics建模[D].杭州：杭州电子科技大学,2011.

[9] 董金波.基于Matlab的双足机器人单腿运动学仿真[J].科学技术与工程,2011,11(3):612-614.

[10] Yang C, Ye ZM, Peter O, et al. Modeling and Simulation of Spatial 6-DOF Parallel Robots Using Simulink and SimMechanics. Proceedings - 2010 3rd IEEE International Conference on Computer Science and Information Technology, 2010(4):444-448.

[11] 中国标准研究中心,清华大学,北京师范大学. 中华人民共和国国家标准,GB /T 17245-2004 成年人人体惯性参数. 北京:国家质量监督检验检疫总局,2004.

[12] 张海帆,汪绍荣.基于Simulink和VR工具箱的虚拟现实动态系统仿真[J].微计算机信息,2007,23(28):212-213+266.

[13] Wang JH, Jiang ZB, Wang XF, et al. Kinematics simulation of upper limb rehabilitant robot based on virtual reality techniques. AIMSEC 2011 - Proceedings, 2011: 6681-6683.

[14] 刘东辉,杨丽丽,赵新伟,等. 基于MATLAB的双足仿生电动移动平台设计[J]. 河北科技大学学报,2011,32(5):477-481.

引言

随着对假肢智能化要求的不断提高，人们越来越多地在步态、路况识别等基础领域进行深入的研究。国内从事这一领域研究的主要有清华大学、国家康复辅具研究中心、河北工业大学、东北大学、中南大学等高校和科研机构^[1]。用以识别的信息源主要包括以肌电信号和脑电信号为代表的生物电信号，还有角度、角速度、加速度、地面反力等运动学动力学信息。识别手段也可谓种类繁多，如：神经网络^[2]、支持向量机^[3]、传感器融合等等。这些方法和手段均能在不同程度上较好地识别出不同的步态和路况，但识别结果多以特征参数或曲线的形式呈现出来，如果不是长时间从事专项研究的人们往往很难读懂每个参数或图形的含义。

为此，人们也在积极建立研究对象的仿真模型。比如，有的学者提出参照解剖学模型构建人体的三维模型，利用计算机技术将每一块肌肉都逼真地显示出来，再用运动捕捉的数据或关键帧等方法驱动运动^[4]。这种方法虽然能从外形上逼近实际人体，但不能反映人体的某些如体质量、身高等真实特征，也无法进行运动学或动力学等分析。也有学者提出建立肌-骨模型，在符合解剖学结构的基础上还可以进行应力分析，导入模型到Adams或Solidworks等仿真建模软件便能观察、分析其运动状态^[5]。这种方法可有效还原真实人体及其运动，但肌肉模型复杂迥异，建模过程费时费力，且对解剖学知识要求很高，具有不易推广的特点。

文章在只考虑骨骼模型的基础上，利用Simmechanics搭建了人体下肢模型并对其进行关节运动学分析，针对平地、上下斜坡、上下楼梯5种路况说明其基本运动学区别。采用虚拟现实工具箱构建相应的运动场景，为模拟运动显示搭建了良好的平台。

材料方法

1.1 人体下肢Simmechanics建模 真实人体下肢的解剖模型相当复杂，仅膝关节就由半月板、肌肉、韧带、软骨等组成^[6]。将这些因素都考虑进去建模是不现实的，由于下肢运动主要靠关节带动，因此本文只考虑下肢骨骼模型，见图1。由于腓骨相对胫骨较细，而髌骨相较整体膝关节也较小，于是将人体下肢简化为膝关节连接的股骨和胫骨，同时把股骨、胫骨看作圆柱刚体，膝关节看作球体，下肢简化为由球铰连接的多刚体模型。

Simmechanics是Simulink下的机械建模模块，利用牛顿动力学中力和转矩等基本概念，可以对各种运动副连接的刚体进行建模与仿真，实现对机构系统进行分析与设计的目的^[7]。

在Simmechanics中用Body模块表示刚体，由运动副Joint模块表示关节，肢体上所有点的坐标均采用世界坐标系，将关节和刚体按照骨骼模型连接，利用Joint Sensor模块和Joint Actuator模块作为数据输入和输出接口。Joint Actuator从Simulink接受信号来驱动关节运动，Joint Sensor则从Simmechanics获取运动信息到Simulink，它们实现了Simmechanics和Simulink之间的信号传递功能^[8-10]。驱动数据采用Vicon 光学动作捕捉系统采集的健康人体下肢运动信息。将单腿模型封装为子系统，复制并添加焊接点得到双腿模型，见图2。其中In2-4是为每个关节运动输入数据预留的接口。为使模型和驱动控制简化，忽略下肢行走时在其他平面的运动，认为只在矢状面内有运动，设定关节绕Z轴转动。

设置刚体转动惯量和质量质心参数。建模以女性对象为例，因此在已知人体身高和体质量的情况下可根据国家标准中规定的中国成年女性人体惯性参数计算大腿、小腿的质量(质心) ^[11]，结果见表1，2。

1.2 多路况运动学分析 针对平地行走、上下楼梯、上下斜坡5种路况，通过在人体下肢贴光标检测位置的方式利用Vicon系统采集了运动角度等作为输入驱动Simmechanics模型运动，在输出示波器上得到了髋关节的角度、角速度、角加速度信息，经整理得到一个步态周期的曲线图，见图3。

图片均截取了髋关节从摆动期到支撑期一个步态周期的结果。由关节角度可看出，上斜坡/楼梯时的髋关节角度明显比其他情况要大，这是因为楼梯与斜坡本身有一定坡度，当单腿进入摆动期时，相较于平地髋关节要在原摆动基础上加大角度才能带动下肢其他部分上升；平地、下斜坡、下楼梯的角度最大值相似，但平地/下楼梯与下斜坡相比髋关节角速度明显偏大，说明下斜坡时髋关节角度变化较平缓，而角加速度值也基本在0上下，说明髋关节需要的能量很小，这也许就是为什么人们常说“下坡容易上坡难”。剩下的平地/下楼梯与上斜坡/上楼梯不仅角度变化范围近似，角速度和角加速度也很难从数值大小和变化趋势上直观地进行区分，需要采取数学的或其他手段进行细致地分析、辨别。

[1]	李咏壑, 王献抗, 孟昱, 刘璐, 张春秋, 叶金铎. 髋关节置换中短柄假体置入位置差别的力学分析[J]. 中国组织工程研究, 2021, 25(15): 2394-2399.
[2]	王献抗, 张月静, 杨友, 刘军. 单间室膝关节假体衬垫在步态载荷下的磨损性能仿真分析[J]. 中国组织工程研究, 2021, 25(12): 1831-1835.
[3]	周祺, 高益, 魏康, 黎俊, 徐建达, 蒋阳, 瞿玉兴. 全膝关节置换治疗类风湿关节炎：关节功能及相关生化指标的变化[J]. 中国组织工程研究, 2020, 24(9): 1337-1341.
[4]	颜继英. 不同材料赋值下股骨静力学有限元模型的力学仿真分析[J]. 中国组织工程研究, 2020, 24(9): 1390-1394.
[5]	赵春涛, 卿明松, 余浪波, 彭笳宸. 运动学对线和机械力学对线指导全膝关节置换效果的Meta分析[J]. 中国组织工程研究, 2020, 24(9): 1435-1442.
[6]	涂鹏程, 郭杨, 马勇, 潘娅岚, 郑苏阳, 王礼宁, 吴承杰, 过俊杰. 威灵仙提取物可促进体外牵张应力环境下软骨细胞表型的维持[J]. 中国组织工程研究, 2020, 24(8): 1182-1187.
[7]	张聪, 赵岩, 杜小宇, 杜欣瑞, 庞廷娟, 付怡凝, 张浩, 张步洲, 李筱贺, 王利东. 青少年特发性脊柱侧凸腰主弯患者腰椎-骨盆的生物力学分析[J]. 中国组织工程研究, 2020, 24(8): 1155-1161.
[8]	许国峰, 李学斌, 唐一钒, 赵寅, 周盛源, 陈雄生, 贾连顺. 人黄韧带细胞骨化发生过程中的自噬[J]. 中国组织工程研究, 2020, 24(8): 1174-1181.
[9]	林明, 潘金勇, 张惠荣. 敲除NIPBL基因可下调小鼠骨髓间充质干细胞增殖及成骨分化能力[J]. 中国组织工程研究, 2020, 24(7): 1002-1008.
[10]	岑妍慧, 夏猛, 贾微, 罗伟生, 林江, 陈松林, 陈炜, 刘鹏, 黎明星, 李景云, 李曼莉, 艾丁丁, 蒋云霞. 黄芩素能下调诱捕受体3表达抑制肝癌干细胞的生物学行为[J]. 中国组织工程研究, 2020, 24(7): 1023-1029.
[11]	刘群, 孙东东, 高丽兰, 何志江, 孙明林. 经皮椎体后凸成形后再发骨折相关因素的Meta分析[J]. 中国组织工程研究, 2020, 24(6): 976-984.
[12]	和雨洁, 王海燕, 李志军, 李筱贺, 蔡永强, 戴丽娜, 许阳阳, 王一丹, 徐雪彬. 学龄期儿童胸椎经“椎弓根-肋骨”单元内固定的数字化测量[J]. 中国组织工程研究, 2020, 24(6): 869-876.
[13]	严舒, 卢岩, 欧阳昭连. 中国组织工程领域2013至2018年国家自然科学基金资助项目分析[J]. 中国组织工程研究, 2020, 24(5): 731-735.
[14]	蔡丹娴, 曾庆, 何龙龙, 黄国志. 虚拟现实技术在卒中后偏瘫上肢康复中的应用及机制研究[J]. 中国组织工程研究, 2020, 24(32): 5228-5235.
[15]	庞博, 纪仲秋, 姜桂萍, 张子华, 李嘉慧. 基于AnyBody仿真和肌电测试分析不同体质量指数男性青年球类运动中的生物力学特征[J]. 中国组织工程研究, 2020, 24(3): 383-389.