近日，我校计算机与人工智能学院跨媒体计算与数字孪生团队青年教师欧阳君博士在图像视频处理方面取得了重要研究进展。成果“HARG: Hierarchical Adaptive Reasoning Graph for Activity Parsing”被多媒体信息处理领域顶级期刊《IEEE Transactions on Multimedia》（IEEE TMM，中科院一区Top，IF 9.7，CCF B类）接收。欧阳君博士为第一作者，论文的第一单位为武汉纺织大学。
文章链接：https://ieeexplore.ieee.org/document/11146692
视频行为识别是视频理解领域的核心研究方向，在公共安全监控、视频内容审核等现实场景中具有广泛的应用前景。然而，真实世界中的活动往往是复杂的，通常涉及多个行为者、多个目标以及它们之间随时间变化的复杂交互关系。为了解决这些难点，本研究提出了一种分层自适应推理图（HARG）方法，用于动态且精确地建模视频活动解析中的层次结构，即“目标层→原子动作层→行为层”。该方法通过设计目标推理图和原子动作推理图，实现了不同层级之间、多个行为主体之间的细粒度信息传递与推理。此外，研究还引入了自适应分割模块，用于弥合不同层级之间的语义鸿沟，支持从目标层级到原子动作层级的逐步推理。
图1 .行为层次结构
图2 .算法框架图
实验结果表明，本方法在两个主流活动解析数据集上性能优于已有最优方法，实现了对视频活动层次化建模与细粒度推理的有效统一。
近年来，在学校的大力支持下，计算机与人工智能学院大力引进高水平人才，采用多种举措为引进人才和团队的发展提供有力的科研保障。学院组建的跨媒体计算与数字孪生团队，相继在相关领域取得了一定的成果。