1. 研究目的与意义（文献综述）

数字信息时代，人们对信息的需求表现出前所未有的强烈，单一的传播媒介不能满足受众的需求，所以跨媒体传播便应运为生。跨媒体检索可以很好地帮助人们搜索需要的信息，默克多集团、美国的有线电视新闻广播公司英国的bbc都是先驱和受益者。

2. 研究的基本内容与方案

1、了解多媒体检索的基本概念，掌握跨媒体检索的主要思想和流程；2、熟悉以典型相关性分析（CCA）为主的相关性分析方法，利用典型相关分析分别从两组变量中提取两组综合变量利用两组综合变量的关系来挖掘不同模态之间的典型相关。熟悉包括主成分分析（PCA）在内的数据降维算法，这样可以缩小语义鸿、提高检索效率，分别对不同模态的特征矩阵进行降维，从而得到两个维数相同的子空间；3、研究一种基于主题的相关性分析模型用于跨媒体检索。目前研究大多需要文本信息的辅助，而文本数据本身就代表了一定的语义对于图像音频这种非结构化的多媒体数据，需要研究新的方法以挖掘两者之间的蕴含相关性；4、在权威数据集上测试验证检索算法的有效性。

这里主要是研究不同模态的底层特征之间的相关关系，首先采用典型相关分析挖掘不同模态之间的典型相关，例如从图片和音频中分别取两组变量，再从两组变量中提取综合变量以代表，得到其相关系数研究其相关性并使相关系数最优化。构件同时容纳图像与音频对象将变量映射的到的子空间 ，这样最大程度上保持了视觉和听觉的典型相关性不变。将不同模态间的相关性度量与主成分分析作比较，对结果进行对比。

3. 研究计划与安排

1-3周：查阅文献，完成开题报告
4-6周：总体设计，完成论文综述
7-10周：改进与推广
11-13周：论证和检查
14-15周：写论文，提交初稿，给老师检查，修改定稿，答辩。

4. 参考文献（12篇以上）

[1] pereira j c,coviello e, doyle g, et al. on the role of correlation and abstraction incross-modal multimedia retrieval[j]. ieee transactions on pattern analysis andmachine intelligence, 2014, 36(3): 521-535.

[2] verma y,jawahar c v. im2text and text2im: associating images and texts for cross-modalretrieval[c]//bmvc. 2014, 1: 2.

[3] zhai x, pengy, xiao j. cross-media retrieval by intra-media and inter-media correlationmining[j]. multimedia systems, 2013, 19(5): 395-406.