天才一秒记住【长江书屋】地址：https://www.cjshuwu.com
-特征提取，将所有元素转换为向量，构建专业领域的向量知识库。
-通过chatbot模式，进行模型优化，检验模型是否能调用专业领域向量数据库回答专
业性问题和时效性问题的有效性。
总之，我们的贡献如下：我们将多模态的检索增强生成技术确立为随着近来词法管理领域的进步而出现的一组重要方法。
对于常见的模式，我们对研究论文进行了深入评述，分析了它们之间的内在联系和共同面临的挑战。
我们对未来的发展方向进行了翔实的分析，其中可能包含应对当前许多挑战的有前途的解决方案。
2定义和背景为了更好地了解激发多模态检索增强的现状和进展，我们首先定义并讨论了两个关键概念的背景：多模态学习和检索增强生成（rag）。
2.1多模态学习多模态学习是指学习不同模态数据的统一表征。
它的目的是提取互补信息，以促进合成任务的完成（baltrusaitis
et
al.baltrusaitis
et
al.，
2018；
gao
et
al.，
2020）.
在这项调查中，我们包括了所有格式不同于自然语言的模式，其中包括图像、代码、结构化知识（如......例如
表、知识图谱）、音频和视频。
3多模态检索-增强生成每种模式都有不同的检索和合成程序、目标任务和挑战。
因此，我们按图像、代码、结构化知识、音频和视频等模式对相关方法进行分组讨论。
3.1图像预训练模型的最新进展为一般图像-文本多模态模型提供了启示。
然而，这些模型需要大量的计算资源进行预训练，并需要大量的模型参数--因为它们需要记忆大量的世界知识。
更关键的是，它们无法有效处理新知识或领域外知识。
为此，人们提出了多种检索增强方法，以更好地整合图像和文本文档中的外部知识。
在一般的文本生成任务中，图像检索也可以通过扩展文本生成语境来提高生成质量，从而增加
"
想象力"
。
视觉问题解答（vqa）
为了解决开放域的
vqa
问题，ra-vqa
本章未完，请点击下一章继续阅读！若浏览器显示没有新章节了，请尝试点击右上角↗️或右下角↘️的菜单，退出阅读模式即可，谢谢！