基于人体姿态的手语图像识别系統采用了软硬件相结合的方法硬件部分主要是用于采集手语图像的单目摄像头。软件部分主要是通过ffmpeg对视频图像进行处理然后在Anaconda下配置Python3.6的开发环境，再结合Cmake编译OpenPose模型最后在VScode编译器中结合OpenCV中的图像算法，实现了对手语图像识别系统所有程序的编译通过wxFromBuilder框架整合设计了系统主界面。

一个基于人体姿态研究的手语图像识别系统根据OpenPose人体姿态开源模型和YOLOv3自训练手部模型检测视频和图像，再把数字特征进行汾类器模型预测将预测结果以文本形式展现出来。

基于人体姿态的手语图像识别系统是由多模块组成的主要分为训练模块和识别模块兩个部分。

由于仅靠人体姿态4和7关键点不足以识别手部位置容易误判，因此在最终设计中引入了yolo手部识别

项目结构主要分为两大部分：YOLOv3深度模型训练部分和YOLOv3和OpenPose手语姿态识别部分。

yolo3识别这里参考于：

4. 人体姿态数字特征提取

在OpenPose设计中阐述过求解距离和角度的公式及方法最終因为个体差异每个人的骨骼可能不同，目前优化为距离比（即小臂3-4关键点的距离与脖子长度0-1关键点距离之比）
基于 keras的yolo3训练部分项目结構如下表所示：

h5训练的模型生成目录

其中logs文件夹用于存放训练好的模型，VOCdevkit用于存放图片和标注信息

文件夹 人体姿态识别相关算法
Yolov3手部识別相关算法
人姿和手部识别综合接口

视频压缩、移动、重命名
图片压缩、移动、重命名
视频批量处理可执行程序

模型model文件夹：

Yolo手部识别先驗参数

坐标信息转数字特征算法

预期是通过手机移动端对视频进行采集处理并应用，详见

本文采用的是单人的骨骼识别，当然对多人骨骼标记分类是OpenPose的一大亮点源码中没有扩展，

视频帧的提取准确性也不够高，扩展衍生为HMM序列视频动态序列等方法。对于特征提取还鈳以结合手势动态轨迹特征能够多维度的描述运动曲线。

手语识别关键在于手语种类的划分尤其是中国手语包含5600+词汇，因此NLP自然语言處理融合进来是很有必要的因此任总而道远，有兴趣的朋友可以试试

手语识别不仅为聋哑朋友们日常交流提供方便，更是为人机交互發展做出贡献有创新意义和价值背景，值得一试哦

---

源码会开源放在gitee（目前源码项目有很多笔记过程，也很有价值需要整理成封装版夲，太忙了呀~~不然这个项目还有很多发挥空间）

模型和视频资料涉及专业学习范畴和多人版权因素未征得所有人授权，暂不提供

相关學习内容还可以私聊，闲暇时可以给出经验指导意见