近日，山东农业大学信息科学与工程学院张亮教授团队在计算机科学领域《IEEE Transactions on Circuits and Systems for Video Technology》发表题为″TRAG-DPO: Enhancing Visual Question Answering in Tomato Disease Diagnosis via Hybrid Retrieval and DPO-based Preference Alignment″的研究论文。
该研究面向番茄病害智能诊断场景，针对通用视觉语言大模型在农业应用中存在的细微病斑感知不足、图像与农学知识跨模态检索偏差以及生成答案与实际诊断意图不一致等问题，提出了TRAG-DPO检索增强视觉语言框架，将番茄病害诊断由传统的封闭式图像分类拓展为″视觉感知—知识检索—交互推理—决策回答″的知识驱动过程：
通过细粒度病斑感知视觉编码FG-ViT融合全局与局部判别特征，提升对微小、相似病斑的识别能力；
通过″图像匹配病害类别—问题检索相关知识段落″的粗到细混合检索机制，引入结构化番茄病害知识库，为大模型生成提供可靠的农学知识依据；
进一步利用直接偏好优化DPO和专家验证的偏好数据，使模型能够过滤冗余信息并生成更加准确、简洁、符合农艺诊断意图的回答，从而形成面向作物病害的多模态感知、领域知识增强与智能决策一体化技术体系。
实验结果表明，该方法在番茄病害开放式和封闭式视觉问答任务中均显著优于通用及农业专用视觉语言模型，封闭式问答准确率达到0.9050，并在玉米、水稻等跨作物病害场景中表现出一定的迁移与扩展能力，说明″农业领域大模型+多模态感知+知识库/RAG+偏好对齐″的技术路线具备较好的精准农业决策应用潜力。
图1：论文提出的番茄病害视觉问答系统关键挑战（如子图1）及所提出的TRAG-DPO框架（如子图2）
来源: 山东农业大学
