首页 新闻动态 科学研究 论文著作 科研成果 人才培养 实验室人员  

面向视觉搜索的紧凑描述子标准制定进入国际标准草案(DIS)

2014-04-21

  第108次MPEG国际标准会议于2014年3月31日至4月2日在西班牙瓦伦西亚举行,数字视频编解码技术国家工程实验室参与制定的MPEG Compact Descriptor for Visual Search (MPEG CDVS)国际标准Information technology - Multimedia Content Description Interface - Part 13: Compact Descriptors for Visual Search (ISO/IEC DIS 15938-13),顺利通过21个国家代表团的投票,进入国际标准草案(Draft International Standard),预期于2014年7月正式发布。
  MPEG CDVS标准制定历时近三年时间,北京大学数字视频编解码技术国家工程实验室、美国斯坦福大学、英国萨里大学(Surrey)、美国高通公司(Qualcomm)、美国Aptina公司、意法半导体公司(STMicroelectronics)、意大利电信集团(Telecom Italia)、日本电气公司(NEC)、韩国三星电子(Samsung)、华为、韩国电子通信研究院(ETRI)等多家单位参与该项国际标准制定工作。通过多轮会议的核心技术竞争,国家工程实验室总共有7项核心技术提案被MPEG CDVS标准化工作组采纳,先后击败来自美国斯坦福大学、英国萨里大学、韩国三星电子等国际知名团队的技术提案。来自国家工程实验室的核心技术描述以及标准化参数表格,在DIS文档中占据约65%篇幅,并已申请10余项标准核心技术专利。CDVS成为MPEG国际标准化进程中首次由中国代表团提出的核心技术比例占据半数以上的国际标准,标志着北京大学数字视频编解码技术国家工程实验室在音视频技术国际标准制定领域又往前迈进一大步。
  将视觉搜索技术与增强现实技术相结合,以移动智能终端为平台的“所见即所知”式的增强现实应用将是继搜索引擎之后的新一代互联网服务范式。视觉搜索技术在智能手机平台拥有巨大的潜在价值,智能移动终端厂商、芯片厂商对这项技术的互操作性需求日益突出。取代传统的图像传输,MPEG CDVS标准使用紧凑视觉描述子作为交换信息,使得移动应用程序和云端图像视频特征数据库兼容于广泛的设备与平台,实现交互数据规范化。通过移动终端直接提取发送规范化紧凑视觉特征,实现单张视觉查询512字节的高度紧凑性表示以及面向可变带宽的0.5 - 16K字节之间的视觉特征可伸缩性编码。
  对比传送压缩图像或视频,MPEG CDVS标准支持移动终端直接提取规范化紧凑特征表示,实现移动端本地内容的高效分析检索及发送紧凑特征至远程云端执行的可扩展大规模内容分析检索。MPEG CDVS标准为基于内容的图像视频分析检索应用带来了崭新的技术路线,诸多技术优势包括:有限带宽无线网络环境下,降低上行查询传输延迟;基于MPEG CDVS标准规范,保证多样化移动终端或平台的互操作前提下,将视觉内容分析计算从云端移至移动终端,极大地降低云端在线或者离线处理分析图像及视频网络大数据的巨大计算资源开销,提升了云端的并发查询处理能力;超低计算复杂度的尺度空间分析、局部特征选择性聚合、融合全局与局部特征的图像匹配等标准核心技术,有效提升增强现实应用中视觉对象注册与跟踪等基础技术模块的性能;基于紧凑描述子开发的汉明空间索引技术以及高效几何一致性校验技术,提供了可扩展视觉搜索方案,支持移动端本地以及云端分布式计算架构下的图像视频检索应用;特别地,基于规范化描述子的视觉查询解决了用户发送图像视频进行搜索应用提出的隐私保护问题。
  基于MPEG CDVS标准平台,国家工程实验室研究团队与本领域国际知名学术与企业团队建立了广泛合作,突破视觉搜索技术国际标准化进程中的技术瓶颈。期间,北京大学高文教授团队与斯坦福大学Bernd Girod教授团队通过竞争与合作,大幅度提升了MPEG CDVS关键核心技术“全局聚合”性能以及实现超低空间复杂度,突破了最低操作点512B难以实现定位的瓶颈,成功化解了标准制定期间曾经面临的“重新修改标准需求”风险。团队与来自国际知名半导体制造商意法半导体的研究团队密切合作,成功将完整特征提取压缩流程的空间开销降低至1MB,满足了ASIC芯片设计对于片上片下资源开销的约束。团队与意大利电信研究团队合作,分别从尺度空间滤波和极值点检测两个角度提出创新算法,彻底解决了排他性专利束缚,为标准制定铺平了道路。此外,团队开发的视觉搜索核心技术,已经在英国萨里大学Miroslaw Bober教授主持的欧盟第七框架项目中得到成功应用,该项目将视觉搜索技术与增强技术结合,面向数字视频广播领域内容增强等增值业务应用,解决多媒体增强内容制作过程中可视媒体内容管理与检索面临的技术瓶颈,该项目联合了BBC(UK)以及欧盟多家知名广播公司。
  国家工程实验室研究团队参与MPEG CDVS国际标准制定及相关研究工作,获得多项国家科研基金资助,包括高文院士主持的973项目“基于视觉特征的视频编码理论与方法研究”、国家自然科学基金重大国际合作项目“融合3D视频与移动终端的增强现实系统”,段凌宇副教授主持的国家自然科学基金面上项目“移动视觉搜索关键技术研究”。

  附录:视觉搜索技术背景及标准相关信息:

  1.“移动视觉搜索技术瓶颈与挑战”,段凌宇、黄铁军、Alex C. Kot、高文,中国计算机学会通讯,第8卷,第12期,第9页-第14页,2012年12月。

  2."Compact Descriptors for Visual Search", Ling-Yu Duan, Jie Lin, Jie Chen, Tiejun Huang, Wen Gao, IEEE Multimedia, Online Published in Jan. 2014, Digital Object Identifier : 10.1109/MMUL.2013.66.

  3. MPEG - The Moving Picture Experts Group (MPEG) is a working group of authorities that was formed by ISO and IEC to set standards for audio and video compression and transmission. URL: http://mpeg.chiariglione.org/

人才招聘 | 友情连接 | 联系我们
版权所有©2002-2021 先进人机通信技术联合实验室.
京ICP备05002829号-8