基于Hadoop云平台风电机组振动数据处理的技术研究

【摘要】：数据的指数级增长向世界互联网巨头Google、Yahoo、Amazon和Microsoft等这些处于市场领导地位的公司提出了挑战,它们需要分析TB级和PB级的海量数据以发现有价值的信息推荐给那些有潜在需求的人群。现有的工具正变得无力处理如此大的数据集,Google公司率先推出了MapReduce编程模型,这是Google公司为了在廉价的计算机集群上来存储并处理PB级的数据而提出的一种解决方案。Hadoop是批处理平台的代表,用户可以在不了解分布式底层细节的情况下开发分布式程序,其强大的吞吐能力、高容错性以及良好的可扩展性保证了大规模数据的可靠处理。Hadoop主要由分布式文件系统(Hadoop Distributed File System,HDFS)、MapReduce编程模型组成。本文对其工作机制进行了简要的分析后并将并行化的程序部署到Hadoop平台上进行了实验验证。离散傅里叶变换成功实现了频率的离散化,利用傅里叶变换可以实现信号的频谱分析、有关滤波器频率响应时间的计算以及信号通过线性系统的卷积运算等。因此,离散傅里叶变换在信号谱分析领域发挥着非常重要的作用。但是由于离散傅里叶变换在变换过程中的时间复杂度过大,不能实时满足处理需求,所以后来有人提出了快递傅里叶变换(FFT)。随后,本文介绍了FFT算法的特点。根据云计算技术的特点,我们对FFT算法进行了改进,实现了基于MapReduce的FFT算法并行化,并行化的FFT算法由四个MapReduce作业(Job)组成,分别是信号数据补齐Job、变址运算Job、蝶形运算Job和格式化数据输出Job,JobContraUer类为各个作业建立了前后顺序依赖关系。本文最后对Hadoop平台的计算性能进行了测试和分析,通过对比单机实验测试,Hadoop平台表现出实时性高和可靠性强的特点,展示了基于MapReduce并行FFT算法相比其他解决方案表现出的优势。 【关键词】：Hadoop 云计算 FFT 数据处理
【学位授予单位】：华北电力大学
【学位级别】：硕士
【学位授予年份】：2015
【分类号】：TP311.13;TM315
【目录】：

• 摘要5-6
• Abstract6-9
• 第1章 绪论9-14
• 1.1 选题背景及意义9-10
• 1.2 国内外研究现状10-13
• 1.2.1 云计算与Hadoop平台研究现状10-12
• 1.2.2 FFT研究现状12-13
• 1.3 论文组织结构13-14
• 第2章 Hadoop开源云计算平台14-21
• 2.1 Hadoop平台背景14-17
• 2.1.1 Hadoop简介14-16
• 2.1.2 应用场景16-17
• 2.2 Hadoop平台核心组件17-20
• 2.2.1 Hadoop分布式文件系统17-18
• 2.2.2 Hadoop分布式并行计算框架18-20
• 2.3 本章小结20-21
• 第3章 基于MapReduce的振动数据预处理21-31
• 3.1 预处理方法简介21-23
• 3.2 MapReduce计算框架23-26
• 3.2.1 设计目标23
• 3.2.2 MapReduce整体架构23-25
• 3.2.3 MapReduce作业的生命周期25-26
• 3.3 MapReduce算法设计模式26-27
• 3.3.1 本地内聚26-27
• 3.3.2 二元组和三元组27
• 3.4 并行数据平滑算法27-29
• 3.5 数据预处理并行算法实验分析29-30
• 3.6 本章小结30-31
• 第4章 基于MapReduce的FFT算法实现31-50
• 4.1 FFT理论基础31-40
• 4.1.1 离散傅里叶变换31-32
• 4.1.2 FFT算法基本原理32-36
• 4.1.3 FFT算法特点36-38
• 4.1.4 FFT算法串并行分析38-40
• 4.2 基于MapReduce的并行FFT算法设计40-49
• 4.2.1 信号数据补齐并行算法42-45
• 4.2.2 变址运算并行算法45-46
• 4.2.3 蝶形运算并行算法46-49
• 4.2.4 格式化数据输出并行算法49
• 4.3 本章小结49-50
• 第5章 实验与结果分析50-56
• 5.1 实验平台与配置50-54
• 5.1.1 SSH、JDK以及Hadoop的安装与配置50-52
• 5.1.2 Hadoop的完全分布式配置52-54
• 5.2 实验结果与分析54-56
• 第6章 结论与展望56-58
• 6.1 本文总结56-57
• 6.2 工作展望57-58
• 参考文献58-61
• 攻读硕士学位期间发表的论文及其它成果61-62
• 致谢62

您可以在本站搜索以下学术论文文献来了解更多相关内容

傅里叶变换物镜的自动设计    刘贤诗;

傅里叶变换离子回旋共振质谱    郭伽;

色散傅里叶变换波谱学    倪尔瑚

傅里叶变换与杜氏变换    杜庆萱;

以全光纤装置测量傅里叶变换光谱    颜严

快速傅里叶变换的c++实现    郭铁桥;张磊;

傅里叶变换波谱的一种有效的相位校正法    孟庆安

用有限的二重傅里叶变换解定解问题    王宜;喻为义;

傅里叶变换物镜的波象差测试    徐德衍

傅里叶变换物镜的磨制    刘春生

载波条纹的高精度傅里叶变换分析方法    范琦;杨鸿儒;黎高平;袁良;

基于正负频形式傅里叶变换的非线性薛定谔方程及其分步傅里叶法求解的讨论    吕理想;张晓萍;

一种新的基于调幅傅里叶变换的视觉注意力选择模型    陈东岳;吴成东;

对基于傅里叶变换位相解包裹算法的理论分析及实验研究    王华英;于梦杰;廖薇;刘佐强;马彦晓;

二阶及高阶无透镜傅里叶变换关联成像研究    张二峰;戴宏毅;陈平形;

基于非等间FFT的直接傅里叶重建方法    吴晓锋;赵明;刘力;

基于傅里叶变换的激光光谱探测技术    李晓;张记龙;田二明;王明;薛尚峰;

傅里叶变换研究PS/PE体系熔体动态共混过程中的相行为    燕立唐;盛京;

单扫描线性扫频激励MRI的部分傅里叶变换重建    陈颖;李敬;屈小波;陈林;蔡聪波;蔡淑惠;钟建辉;陈忠;

无透镜傅里叶变换数字全息图再现像质的影响因素分析    吴友朋;王红霞;周战荣;

新兴技术引领未来发展    冯卫东

“潜伏”在日常生活中的7个方程式    本报记者 刘霞

傅里叶变换光谱信息获取与控制技术研究    李涛

紫外—真空紫外傅里叶变换光谱技术的研究    李志刚

弹光调制傅里叶变换光谱复原高速数据处理技术研究    张敏娟

遥测用多次反射式弹光调制傅里叶变换光谱技术研究    陈友华

利用谱域OCT对动物模型进行血管分布成像    高健

色散傅里叶变换中的时间拉伸模数转换技术研究    王竞

基于Hadoop云平台风电机组振动数据处理的技术研究    杨继明

基于匹配傅里叶变换的载波捕获技术研究    高秀英

基于离散匹配傅里叶变换的高动态载波捕获技术改进    祝利轻

傅里叶变换光谱三维成像    周冲

基于非均匀傅里叶变换的超声层析成像研究    贺宁

基于四元数据傅里叶变换的彩色图像数字水印算法    崔士博

傅里叶变换和小波分析在地震勘探中的处理    林艳

基于静态傅里叶变换干涉具的被动激光光谱探测技术研究    薛尚峰