分享好友 资讯首页 资讯分类 切换频道

中国农业大学作物病虫害多模态诊断模型CropGPT,兼顾诊断精度与可解释性

2026-05-12 17:202220

中国农业大学工学院张小栓教授课题组近期在 Journal of Industrial Information Integration 期刊上发表研究,提出一个面向作物病虫害智能诊疗的多模态大模型,命名为 CropGPT。该模型旨在解决当前农业病虫害智能诊断中多模态信息融合不充分、诊断过程缺乏可解释性、以及跨作物泛化能力不足等三个主要问题。


QQ20260512-104959.jpg


技术架构:视觉编码器与大语言模型的融合


CropGPT 采用端到端架构,将视觉编码器与大语言模型整合于同一框架内。视觉编码器部分设计了一个名为 DynamicFocus 的多尺度特征提取模块。处理田间作物图像时,该模块同步获取三个层次的信息:整株作物的全局缩略图、图像的高分辨率局部切片,以及通过语义引导检测技术自动锁定的病斑区域特写。这一设计旨在模拟植保专家先观察整体长势、再仔细检查病灶部位的诊断逻辑,从而提升复杂田间背景下的细粒度识别精度。


语言模型部分引入了诊断推理链机制。模型在输出最终病害名称之前,会先生成一段逐步推理的文字说明,内容涵盖主要症状特征、与典型病害特征的比对过程,以及得出诊断结论的依据。该设计意在增强模型的可解释性,使用户不仅获得诊断结果,也能了解结论背后的逻辑路径。


QQ20260512-105443.jpg


数据集构建与知识增强机制


研究团队构建了一个名为 CropInstruct 的专用数据集。该数据集包含 53 种作物、79 种病虫害,共计超过 25,000 条图文配对样本。数据来源有两类:一是调用 GPT-4o 和 Qwen-VL-Max 等模型对病害图片自动生成症状描述,并经植物保护专家审核校正后形成的样本;二是来自北京植物诊所自 2012 年以来积累的真实电子病历记录,这些记录经过区级和市级三重审核,涵盖 47 种作物在不同生长阶段和病情严重程度下的诊断信息。


此外,研究团队从《中国农作物病虫害》等权威农业书籍及官方植保文件中整理了一个知识库,涵盖 488 种病虫害,记录每种病害的症状特征、发生规律及防治要点。当 CropGPT 遇到训练数据中未出现过的作物或病害时,系统会从该知识库中实时检索相关信息作为辅助参考,实现零样本诊断,无需重新训练模型。


测试结果:诊断准确率与泛化能力


在对比测试中,研究团队将 CropGPT 与 GPT-4o、Qwen-VL-Max 等通用多模态大模型进行了比较。结果显示:



即使提前告知通用模型候选病害类别,CropGPT 的诊断准确率仍然高出近 20 个百分点。


针对跨作物的零样本诊断能力,研究团队选取了 10 种模型在训练阶段从未见过的作物进行测试。配备外部知识库的 CropGPT 平均诊断准确率为 79.5%,而未配备知识库的同等配置模型准确率较低;同时,该结果比同等条件下的 Qwen-VL-Max 模型高出 7.3 个百分点。


配套研究:处方推荐模型 AgriPR


同一课题组在 Journal of Industrial Information Integration 期刊上还发表了另一项研究成果,即名为 AgriPR 的农业处方推荐模型。相关成果以《基于作物电子病历多模态信息的农业处方优化推荐系统》(Multimodal-information-based optimized agricultural prescription recommendation system of crop electronic medical records)为题发表于《工业信息集成杂志》(Journal of Industrial Information Integration)。


QQ20260512-105455.jpg


该研究针对农业处方推荐中″同病不同治、异病可同药″的决策特征,利用任务自适应预训练BERT与ConvNeXt分别提取文本和图像特征,并设计双线性注意力与多层特征融合机制,进一步结合Transformer强化关键跨模态信息表征,实现了对13类常见处方的精准推荐。结果表明,该模型在真实植物诊所数据集上的分类准确率达到98.88%,显著优于现有方法,并在噪声图像、不完整模态输入及缺失部分病情信息等条件下仍表现出较强鲁棒性,为模型在真实农业场景中的应用奠定了基础。


QQ20260512-105553.jpg

来源: AgroPages (世界农化网)


举报
收藏 0
打赏 0
评论 0
丙硫菌唑水基MOF纳米悬浮剂抑制脱硫代谢物转化,小麦茎基腐病防效不减
近期,中国农科院植保所黄啟良/曹立冬研究员团队完成的题为″Balancing fungicidal efficacy and environmental safety: A water-based metal–organic framework nano-delivery system suppressing hazardous metabolite conversion of prothioconazole for sustainable agriculture″的研究在Journal of Integ

2026-11-1334

植保无人飞机施药飘移如何精准管控?可解释AI推动施药决策智能化
近日,中国农业科学院植物保护研究所智慧植保创新团队在人工智能赋能航空植保领域取得进展,通过将可解释人工智能与施药风险管控深度融合,解码植保无人飞机飘移预测模型的″黑箱″,构建了集风险预测、因素解析、预警与作业优化于一体的智能辅助决策技术体系,推动人工智能由预测工具向施药决策工具转变。相关研究成果以″

2026-11-1331

又一家欧洲农业机器人宣告破产!荷兰AIGRO突遭破产清算
2026年10月19日,荷兰自主农田机器人制造商 AIGRO B.V. 被法院正式宣告破产。 这家总部位于荷兰贝斯特(Best)的高科技初创企业,因未能及时获得后续流动资金注入,最终在激烈的欧洲农业科技行业洗牌中抱憾出局。破产始末:十天″喘息期″后的资金断裂根据荷兰北布拉班特省的破产公告及相关报道,AIGRO 的财务危机在2026年1

2026-11-1051

激光除草与电击除草同步进行,荷兰Andela推出新型除草机器人
荷兰除草机器人制造商 Andela正在推出一款新型除草机器人。该机器人现在能够实现全田覆盖,作业能力达到上一代的两倍以上:每个除草单元每秒除草量从 3 株提升到 8 株。Andela 推出这款激光除草机,源于一家大型有机农场客户同时使用电击除草与激光除草所积累的经验。该机器人通过悬挂在机架内的双排机械臂实现作业能力翻倍

2026-11-0362

读取植物″电信号语言″!Electric Plant 获1120万美元种子轮融资,开启植物健康监测新路径
植物缺水了、受到环境胁迫了,能否不依赖土壤传感器或叶片图像,而是直接通过植物自身的生理信号了解其健康状况?近日,美国农业科技初创公司Electric Plant Company宣布结束隐秘研发阶段,正式对外亮相,并完成1120万美元(约合人民币7480万元)种子轮融资。与此同时,公司推出了名为Bombadil的植物电生理AI基础模型,试图

2026-10-2876

中国农大沈杰/闫硕团队RNA农药递送新突破:PEI功能化平台跨越多重屏障,多靶点RNA农药实现广谱防控
近日,中国农业大学植物保护学院沈杰、闫硕教授团队在国际学术期刊Journal of Nanobiotechnology在线发表研究论文Barrier to bypass: a PEI-functionalized star polycation platform for potent broad-spectrum aphid RNAi management。该研究通过对星形阳离子聚合物SPc进行聚乙烯亚胺(PEI)功能化,构建了一种可跨越多重

2026-10-2879

读取植物″电信号语言″!Electric Plant 获1120万美元种子轮融资,开启植物健康监测新路径
植物缺水了、受到环境胁迫了,能否不依赖土壤传感器或叶片图像,而是直接通过植物自身的生理信号了解其健康状况?近日,美国农业科技初创公司Electric Plant Company宣布结束隐秘研发阶段,正式对外亮相,并完成1120万美元(约合人民币7480万元)种子轮融资。与此同时,公司推出了名为Bombadil的植物电生理AI基础模型,试图

2026-10-2692

中国农科院植保所开发一氧化氮纳米前药递送系统缓解玉米盐胁迫
近日,中国农业科学院植物保护研究所农药分子靶标与绿色农药创制创新团队联合首都师范大学,利用具有缓释作用的一氧化氮(NO)纳米前药,缓解了盐胁迫造成的玉米生长抑制和生理损伤,并通过叶片原位检测跟踪施用后的NO相关信号变化。相关成果以″Hydrogel Microneedle-Enabled in Situ Monitoring of Leaf Nitric Oxide for

2026-10-2699

中国农大沈杰/闫硕团队RNA农药递送新突破:PEI功能化平台跨越多重屏障,多靶点RNA农药实现广谱防控
近日,中国农业大学植物保护学院沈杰、闫硕教授团队在国际学术期刊Journal of Nanobiotechnology在线发表研究论文Barrier to bypass: a PEI-functionalized star polycation platform for potent broad-spectrum aphid RNAi management。该研究通过对星形阳离子聚合物SPc进行聚乙烯亚胺(PEI)功能化,构建了一种可跨越多重

2026-10-26177

纳米苦参碱递送体系兼顾高效杀虫与根际微生态调控,对桃蚜触杀毒力增效6.44倍
近日,中国农业大学植物保护学院沈杰、闫硕团队联合中国科学院生态环境研究中心金德才副研究员,在国际微生物生态学领域知名期刊The ISME Journal在线发表研究论文Nanoscale pesticide delivery suppresses pathogens and enriches beneficial microbiomes for safer crop protection。研究发现,纳米农药不仅可以提高靶标

2026-10-2380