- 基于视听融合的说话人定位与跟踪技术
- - 作者：李一迪|责编:徐凡
  - 出版社：知识产权
  - ISBN：9787513099684
  - 出版日期：2025/11/01
  - 页数：203
- 售价：31.2

内容大纲
本书以多模态人机交互中的说话人定位与跟踪为核心，以视听融合理论与机器学习方法为基础，针对多模态异质性数据融合、多模态置信水平度量、跨模态监督、多层次信息交互、多模态多目标数据关联等问题进行了研究，旨在通过融合视觉与听觉信息的互补性，克服单模态感知的局限性，提升复杂环境下的定位精度与鲁棒性。
作者介绍
李一迪，太原理工大学计算机科学与技术学院副教授，2023年获北京大学博士学位，在计算机视觉与计算机听觉交叉融合的关键领域取得了显著的科研成果，在国际顶级学术会议和SCI期刊上发表论文多篇，主持国家级、省级科研课题多项，荣获国际计算机学会(ACM)太原分会新星奖。
目录
第1章  绪论
  1.1  研究背景与意义
  1.2  问题描述与研究难点
    1.2.1  研究问题描述
    1.2.2  研究难点
  1.3  研究方法与现状
    1.3.1  基于听觉的声源定位
    1.3.2  基于视觉的目标跟踪
    1.3.3  多模态融合
    1.3.4  基于视听融合的说话人定位与跟踪
  1.4  本书内容与结构安排
    1.4.1  本书内容
    1.4.2  结构安排
第2章  面向视听融合的双层粒子滤波模型
  2.1  引言
  2.2  基于粒子滤波的目标跟踪算法
    2.2.1  贝叶斯滤波原理
    2.2.2  粒子滤波算法
  2.3  基于双层粒子滤波模型的视听跟踪器
    2.3.1  听觉引导的目标状态转移模型
    2.3.2  自适应视听融合似然
    2.3.3  最优粒子集
  2.4  深度度量学习辅助的双层粒子滤波模型
    2.4.1  深度度量学习辅助的观测模型
    2.4.2  基于长短期机制的模板更新策略
  2.5  实验结果与分析
    2.5.1  数据集及实验设置
    2.5.2  各模块的有效性评估
    2.5.3  参数评估
    2.5.4  相关工作对比实验
  2.6  本章小结
第3章  基于自监督多模态感知注意力机制的说话人定位与跟踪
  3.1  引言
  3.2  基于视听空间映射的声学线索提取
    3.2.1  成像几何原理
    3.2.2  全局相干场声学线索
    3.2.3  时空全局相干场声学图谱
  3.3  基于自监督多模态感知注意力机制的视听跟踪器
    3.3.1  多模态感知注意力网络
    3.3.2  跨模态自监督学习方法
    3.3.3  多模态感知跟踪器
  3.4  实验结果与分析
    3.4.1  数据集与实验设置
    3.4.2  MPT各模块的有效性评估
    3.4.3  相关工作对比实验
    3.4.4  可视化分析
  3.5  本章小结
第4章  多人场景下的语义-空间特征融合机制
  4.1  引言
  4.2  视听融合的关键词语义特征编码方法

    4.2.1  视听特征提取
    4.2.2  语义特征编码
    4.2.3  视听关键词识别模型
  4.3  基于交叉注意力的语义-空间特征融合机制
    4.3.1  视觉空间特征提取
    4.3.2  听觉空间特征提取
    4.3.3  多人场景下的两阶段语义-空间特征融合
  4.4  整体跟踪框架
  4.5  实验结果与分析
    4.5.1  数据集及实验设置
    4.5.2  视听关键词识别模型评估
    4.5.3  SSFT各模块的有效性评估
    4.5.4  相关工作对比实验
  4.6  本章小结
第5章  唤醒词线索增强的多说话人声源定位与跟踪
  5.1  引言
  5.2  唤醒词线索引导的主动目标跟踪
    5.2.1  活跃说话人检测
    5.2.2  唤醒词线索提取
  5.3  唤醒词线索增强的声学图谱估计
    5.3.1  视觉观测引导的声学图谱
    5.3.2  唤醒词线索增强的声学图谱
  5.4  整体跟踪框架
  5.5  实验结果与分析
    5.5.1  数据集及实验设置
    5.5.2  视听唤醒词识别模型评估
    5.5.3  WWET各模块的有效性评估
    5.5.4  相关工作对比实验
    5.5.5  系统集成实验平台
  5.6  本章小结
第6章  结论及展望
参考文献

内容大纲

作者介绍

目录

同类热销排行榜

推荐书目