您好、欢迎来到现金彩票网!
当前位置:246天天好彩手机版 > 提取策略 >

Spark下遥感大数据特征提取的加速策略

发布时间:2019-07-28 08:02 来源:未知 编辑:admin

  Spark下遥感大数据特征提取的加速策略_电子/电路_工程科技_专业资料。提出一种基于Spark分布式内存计算框架的遥感大数据特征提取策略.采用Landsat8为数据源,以计算归一化植被指数(NDVI)、差值植被指数(DVI)、比值植被指数(RVI)为例开展实验.实验结果表明,在相同硬件环境、处理任务、数据量的条件下,Spark处理遥感大数据的速度较单机模式下的处理遥感大数据提升了约2倍,基

  2017年12月 第38卷第12期 计算机工程与设计Dec.2017 COMPUTER ENGINEERING AND DESIGN V01.38 No.12 Spark下遥感大数据特征提取的加速策略 黄震,钱育蓉+,范迎迎,杜娇 (新疆大学软件学院,新疆乌鲁木齐830008) 摘要:提出一种基于Spark分布式内存计算框架的遥感大数据特征提取策略。采用Landsat8为数据源,以计算归一化植 被指数(NDVI)、差值植被指数(DVI)、比值植被指数(RVI)为例开展实验。实验结果表明,在相同硬件环境、处理任务、 数据量的条件下,Spark处理遥感大数据的速度较单机模式下的处理遥感大数据提升了约2倍,基于Hadoop分布式文件系 统(HDFS)处理模式较Spark-standalone处理模式处理速度提升了约1.2倍,基于Spark下的HDFS存储模式下,栅格切 分遥感大数据较非栅格切分处理速度提高了约1.5倍。 关键词:Spark分布式内存计算框架;Hadoop分布式文件系统;遥感大数据;内存计算;栅格切分 中图法分类号:TP391 文献标识号:A文章编号:1000—7024(2017)12—3279—05 doi:10.16208/j.issnl000—7024.2017.12.016 Acceleration strategy of feature extraction based on remote sensing big data in Spark HUANG Zhen,QIAN Yu—rong+,FAN Ying—ying,DU Jiao (School of Software,Xinjiang University,Urumqi 830008,China) Abstract:Feature extraction of remote sensing big data based Landsat8 was used as on Spark distributed memory computing framework was proposed. data source and the calculation of normalized difference vegetation index(NDVI).difference vegetation in— as dex(DVI)and ratio vegetation index(RVI)were taken show that,in the same conditions such more efficient than Standalone mode ing mode based on as examples tO carry out the experiment.Results of the experiments as hardware environment,processing tasks and the amount of data,Spark is two times for the speed of processing the remote sensing big data.The processing speed of process tO Hadoop distributed file system(HDFS)is increased about 1.2 times comparing on the one based on Spark— standalone.Based HDFS storage mode of Spark,the efficiency of spilt-rastering remote sensing data is increased by about 1.5 times compared with that of nonspilt—rastering. Key words:Spark distributed memory computing framework;Hadoop distributed file system;remote sensing big data;memory computing;grid segmentation 0引 言 Hadoop平台的,该方式虽然能提高遥感大数据特征提取 的速度,但是由于Hadoop平台频繁的I/0操作,也不 能满足对遥感大数据实时处理的要求。分布式内存计算 消除频繁I/O访存引起的存储性能瓶颈,因此弥补传统 模式对遥感数据处理效率低的问题。本文采用分布式内 存计算框架提升对遥感数据的处理效率,实现遥感大数 据的实时处理。 传统的遥感大数据特征提取方法大致分为两类:单 机模式和分布式模式。单机模式下主要运用ArcGis、 ENVI等处理软件对遥感大数据的特征提取,只能处理 小量级别的遥感数据,不能满足对遥感大数据的实时处 理;分布式模式下对遥感大数据的特征提取主要是基于 收稿日期:2016一10 27;修订日期:2016—12一06 基金项目:国家自然科学基金项目(61562086、61462079、61363083、61262088);新疆“万人计划”后备基金项目(wr2015bj01);新疆 自治区研究生科研创新基金项目(XJGRl2016029) 作者简介:黄震(1989一),男,河南商丘人,硕士研究生,研究方向为内存计算;+通讯作者:钱育蓉(1980一),女(满族),山东德州 人,博士研究生,副教授,CCF高级会员,研究方向为网络计算和遥感图像处理;范迎迎(1991一),女,河南周口人,硕士研究生,CCF 会员,研究方向为软件理论与服务计算;杜娇(1992一),女,四川绵阳人,硕士研究生,CCF会员,研究方向为内存计算与数据挖掘。 E-mail:qyr@xju.edu.cn 万方

http://nudolls.net/tiqucelue/522.html
锟斤拷锟斤拷锟斤拷QQ微锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷锟斤拷微锟斤拷
关于我们|联系我们|版权声明|网站地图|
Copyright © 2002-2019 现金彩票 版权所有