公开数据集
视频行为识别流程
“Two-Stream Convolutional Networks for Action Recognition in Videos“
>[Paper][[Code]]Conference: NIPSYear: 2014Institute: OxfordAuthor: Karen Simonyan, Andrew Zisserman#
利用双路卷积神经网络，空域流处理图片，在每个视频样本中随机抽取一帧；时域流处理光流信息，对于空域中的每一帧图片，生成相应图片的光流信息，stack of flow， x和y方向级联成2L通道数的光流块；
处理的问题
- 处理光流信息中的相机抖动问题
”3D Convolutional Neural Networks for Human Action Recognition”
>[Paper][[Code]]
使用三维的卷积核，考虑时间维度的信息。
“Learning Spatiotemporal Features with 3D Convolutional Networks(C3D)”
>[Paper][[Code]]Conference:Year: 2015Institute: FaceBookAuthor: Du Tran, Lubomir Bourdev, Rob Fergus, Lorenzo Torresani, Manohar Paluri#
“Quo Vadis, Action Recognition? A New Model and the Kinetics Dataset(I3D)”
>[Paper][[Code]]Conference: CVPRYear: 2018Institute: DeepMindAuthor: Joao Carreira, Andrew Zisserman#
“Learning Spatio-Temporal Features with 3D Residual Networks for Action Recognition”
>[Paper][[Code]]Conference: ICCVYear: 2017Institute: AISTAuthor: JKensho Hara, Hirokatsu Kataoka, Yutaka Satoh#
“SlowFast Networks for Video Recognition”
>[Paper] [Code]Conference: ICCVYear: 2019Institute: FaceBookAuthor: Christoph Feichtenhofer, Haoqi Fan, Jitendra Malik, Kaiming He#
提出一种非利用光流信息的双路神经网络结构，用于处理慢速帧和快速帧的视频。
- Slow Pathway
用于处理慢速帧，提取空域中的静态语义信息。使用3D ResNet提取图像中的语义信息，不采用temporal downsampling，采用不同于C3D/I3D的非退化时间卷积（non-degenerate）。 - Fast Pathway
用于处理快速帧，提取时域中快速变化的运动信息。采用轻量级网络，降低通道容量，仅关注时域信息。 - Lateral Connections
Slow和Fast处理的是同一段视频的不同采样频率的视频片段。横向连接将双路特征进行融合。
处理的问题