视频异常检测

研究背景

深度学习模型的训练一般需要正负样本，但是在监控视频中绝大部分内容只包含正常事件信息，异常事件出现的频次很低，而且异常事件种类繁多，很难对异常事件给出一个清晰准确的定义。这就导致在模型训练的时候可用的训练样本多为正样本，即只包含正常事件的样本，甚至在大多数情况下，只有正样本可用。因此，监控视频中的异常事件检测任务大多数情况下只能视作单类别分类任务，学界的主要解决路线是首先建立正常事件的模型，不符合正常事件的样本即为异常事件。如何抽取正常事件的特征并构建有效的正常事件模型成为异常事件检测的关键。

常用数据集

服务器上已经下载了如下数据集，在/dataset/xxx 中

下载链接：http://101.32.75.151:8181/dataset/

• UCSD Ped2：96.9MB（.tar.gz大小，下同），训练集16个视频（以帧图像.jpg的形式存储）、测试集有12个视频、训练集中视频均为正常视频。

• CUHK Avenue：2GB，包含 16 个训练视频和 21 个测试视频，共有 47 个异常事件，包括投掷物体、闲逛和跑步。人的大小可能会因为相机的位置和角度而改变。均以帧.jpg形式，与UCSD Ped2类似。

• ShanghaiTech Campus (STC，注意还有一个同名数据集，是做行人计数的)：6.5GB，ShanghaiTech Campus 数据集包含 13 个场景，具有复杂的光照条件和摄像机角度。它包含 130 个异常事件和超过 270、000 个训练帧。此外，异常事件的像素级注释（仅仅测试集上标注）。训练集为.avi格式；测试集为帧图像.jpg，并有帧级标注和像素级标注。

• UCF-Crime：共有95GB，https://www.crcv.ucf.edu/chenchen/dataset.html，是一个包含 128 小时视频的大规模数据集。它由 1900 个长且未经剪辑的真实世界监控视频组成，包含 13 个现实异常，包括虐待、逮捕、纵火、袭击、道路事故、入室盗窃、爆炸、战斗、抢劫、射击、偷窃、入店行窃和故意破坏。
• UBnormal(CVPR 2022新的数据集)：15GB（为.zip包大小），https://github.com/lilygeorgescu/UBnormal，测试与训练数据均为.mp4格式，有全部标注，可以做监督学习。

以上数据集均在服务器上存在

研究进展调研

可能的方向

1、骨干网络（encoder）：C3D、I3D，or video transformer