手势识别的目的是识别人体有意义的动作，在智能人机交互中至关重要。本文提出了一种基于三维卷积和卷积长短时记忆(LSTM)网络的多模态手势识别方法。该方法首先通过三维卷积神经网络学习手势的短期时空特征，然后在提取的短期时空特征的基础上，通过卷积LSTM网络学习长期时空特征。此外，我们评估了多模态数据之间的微调，我们发现，当没有预先训练的模型存在时，它可以被视为一种可选的技能，以防止过拟合。在ChaLearn LAP大规模孤立手势数据集(IsoGD)和Sheffield Kinect手势数据集(SKIG)上对该方法进行了验证。结果表明，该方法在IsoGD验证集上的识别准确率为51.02%，在SKIG验证集上的识别准确率为98.89%。 3d卷积，卷积LSTM，手势识别，多模态

-我们提出了一种基于多尺度和多模态深度学习的手势检测和定位方法。每一种视觉模式在特定的空间尺度上捕捉空间信息(比如上半身或手的运动)，整个系统在三个时间尺度上运行。我们技术的关键是一种培训策略，它利用以下几点:1)谨慎地初始化个体模式;ii)渐进融合，包括随机丢弃独立通道(称为ModDrop)，以学习交叉模态相关性，同时保持每个模态特定表示的唯一性。我们在“学习2014看人挑战赛”(ChaLearn 2014 Looking at People Challenge)的手势识别跟踪项目上展示了实验，在这个项目中，我们在17个团队中获得了第一名。在多个空间和时间尺度上融合多种模式可以显著提高识别率，使模型能够补偿单个分类器的误差以及单独通道中的噪声。此外，提出的ModDrop训练技术确保了分类器对一个或多个通道中的缺失信号的鲁棒性，从而从任意数量的可用模式中产生有意义的预测。此外，我们通过在相同的音频增强数据集上的实验，证明了所提出的融合方案对任意性质的模式的适用性。 手势识别，卷积神经网络，多模态学习，深度学习