您好，欢迎访问中国农业科学院 机构知识库！

全部

  • 全部
  • 标题
  • 学者
  • 机构
  • 关键词

基于Spark的Canopy-FCM在气象中的应用

文献类型： 中文期刊

作者： 勾志竟 1 ; 宫志宏 2 ; 徐梅 1 ; 刘布春 3 ;

作者机构： 1.天津市气象信息中心

2.天津市气候中心

3.中国农业科学院农业环境与可持续发展研究所

关键词： FCM;Canopy;Spark;气象;数据挖掘

期刊名称： 计算机技术与发展

ISSN： 1673-629X

年卷期： 2020 年 30 卷 008 期

页码： 169-173

摘要： 随着气象事业现代化水平的不断提高,气象部门积累了海量的气象数据,如何从海量的气象数据中挖掘出有用的知识,是提高气象服务能力的关键所在.针对传统聚类算法无法有效处理海量数据的问题,提出了一种基于Spark框架的Canopy-FCM(Canopy-fuzzy C-means)并行化聚类算法.该算法将Canopy算法与FCM算法相结合,避免了FCM算法对初始聚类中心敏感的问题,并结合Spark分布式框架内存计算的优势,大大降低了海量气象数据的处理时间.通过采用天津市208个区域自动气象站4~10月逐月降水观测数据,评估了天津市不同区域的降水情况.实验结果表明,提出的方法不仅可以快速有效地从气象数据中挖掘出有用的信息,同时与基于Hadoop框架下的算法相比,有更高的运行速率和加速比,也为相关部门有效地做出水旱灾害监测预警与风险防范决策提供了一种全新的思路和方法.

  • 相关文献

[1]流式细胞术在免疫学上的应用及其发展前景. 邓喜林,林跃智,李蕊,刘皙洁. 2009

[2]国内外农业大数据应用研究分析. 黎玲萍,毛克彪,付秀丽,马莹,王芳,刘勍. 2016

[3]Comparison of apoptosis between adult worms of Schistosoma japonicum from susceptible (BALB/c mice) and less-susceptible (Wistar rats) hosts. Wang, Tao,Guo, Xiaoyong,Hong, Yang,Han, Hongxiao,Cao, Xiaodan,Han, Yanhui,Zhang, Min,Wu, Miaoli,Fu, Zhiqiang,Lu, Ke,Li, Hao,Zhao, Zhixin,Lin, Jiaojiao,Han, Yanhui,Zhang, Min,Lin, Jiaojiao.

[4]Spatial distribution of light interception by different plant population densities and its relationship with yield. Huiyun Xue,Yingchun Han,Yabing Li,Guoping Wang,Lu Feng,Zhengyi Fan,Wenli Du,Beifang Yang,Cougui Cao,Shuchun Mao.

[5]Climate change impacts on crop yield and quality with CO2 fertilization in China. Lin, ED,Xiong, W,Ju, H,Xu, YL,Li, Y,Bai, LP,Xie, LY.

[6]Spectral Characteristics of Spring Maize Varieties with Different Heat Tolerance to High Temperature. Tao Zhi-qiang,Chen Yuan-quan,Zou Juan-xiu,Yuan Shu-fen,Yan Peng,Sui Peng,Tao Zhi-qiang,Li Chao,Shi Jiang-tao,Zou Juan-xiu. 2016

[7]Monitoring Models of the Plant Nitrogen Content Based on Cotton Canopy Hyperspectral Reflectance. Wang Ke-ru,Pan Wen-chao,Li Shao-kun,Wang Ke-ru,Pan Wen-chao,Li Shao-kun,Chen Bing,Xiao Hua,Wang Fang-yong,Chen Jiang-lu. 2011

[8]Spectra Characteristic Effect of Different Density-Resistant Maize Variety on Planting Density. Tang Li-yuan,Ma Wei,Zhao Ming,Tang Li-yuan,Li Lian-lu. 2013

[9]Research on Droplets and Air Flow Field of Air-assisted Orchard Sprayer. Xiaolan Lu,Liangfu Zhou,Suming Ding,Xinyu Xue. 2012

[10]我国部分烟区与国际优质烟区烤烟大田期间某些气象条件的比较. 龙怀玉,刘建利,徐爱国,李志宏,张维理,张云贵. 2003

[11]东北地区干旱特征与春玉米生长季干旱主导气象因子. 李崇瑞,游松财,武永峰. 2020

[12]基于Penman修正式和Penman-Monteith公式的作物系数差异分析. 宋妮,孙景生,王景雷,陈智芳,强小嫚,刘祖贵,Song Ni,Sun Jingsheng,Wang Jinglei,Chen Zhifang,Qiang Xiaoman,Liu Zugui. 2013

[13]浅谈生态环境与农业气象服务. 赤杰,张华,常文庆. 2016

[14]基于APRIORI算法的林火发生与气象关系的分析. 胡林,冯仲科. 2008

[15]农业环境信息数据分析中数据挖掘技术的应用. 郑向群,高怀友,周军,王菲,王跃华,赵玉杰. 2003

[16]基于数据仓库的土壤环境监测综合挖掘模型构架. 郑向群,赵政,刘东生. 2008

[17]基于报告比值比法对利奈唑胺安全警戒信号的挖掘与评价. 唐学文,贾运涛,田晓江,季欢欢,董志. 2017

[18]基于词向量的检索扩展方法与农业领域实证. 吴蕾,梁晓贺,乌吉斯古楞,王瑞. 2019

[19]基于多维关联规则的猪肉价格波动原因分析. 乔浪,郭新宇,彭程. 2019

[20]他汀类药物相关不良反应的信号挖掘与评价——基于美国OpenFDA公共数据开放项目的数据挖掘研究. 蒙龙,唐学文,季欢欢,宋林,牛晓东,贾运涛. 2019

作者其他论文 更多>>
置顶
购物车
反馈

© 京ICP备09089781号-29 主办单位：中国农业科学院

学术资源： 中国农业科学院 农业专业知识服务系统 农科联盟资源共建共享平台 中国农业科技文献与信息服务平台 中国农业期刊集成服务平台