李飞飞最新论文:弱监督动作标记的连接时序模型

斯坦福大学李飞飞等发表最新论文:弱监督动作标记的连接时序模型(Connectionist Temporal Modeling for Weakly Supervised Action Labeling)

摘要

我们提出了一种为视频中的动作进行标记的弱监督框架,在训练过程中所需要的只有行为动作发生的顺序。主要的挑战是在训练中,输入(视频)与标记(动作)序列之间的每一帧校准(per-frame alignments)都是未知的。我们通过引入 Extended Connectionist Temporal Classification(ECTC)框架高效地评估所有可能的校准,这一过程经由动态编程和明确地强制它们与帧到帧视觉相似之间的一致性来实现。这在没有时时监督的情况下,能保护模型不受视觉不一致或退化校准的干扰。当视频中的一些帧被解析注释时,我们进一步地将框架拓展到了半监督案例中。在每个视频只有不超过 1 %的帧被标记的情况下,我们的方法能够超过已有的半监督方法,并能得到与完全监督的方法相媲美的表现。

本文选自:arXiv.org,作者:De-An Huang、李飞飞、Juan Carlos Niebles,机器之心编译;

©机器之心,最专业的前沿科技媒体和产业服务平台,每日提供优质产业资讯与深度思考,欢迎关注微信公众号「机器之心」(almosthuman2014),或登录机器之心网站www.jiqizhixin.com  , 查看更多精彩内容。