主要注意的是:
1. Meta将于2024年第一季度发布LLaMA3。
这意味着DeWave方法的性能受限于预训练语言模型的质量和能力。如果预训练语言模型不够准确或不具备广泛的语言理解能力,可能会影响到DeWave方法的翻译性能。
论文地址:https://arxiv.org/pdf/2401.01792.pdf
LLaVA是一个端到端训练的多模态大模型,它将视觉编码器和用于通用视觉和语言理解的Vicuna相结合,具备令人印象深刻的聊天能力。而CogAgent是在CogVLM基础上改进的开源视觉语言模型,拥有110亿个视觉参数和70亿个语言参数。