不平衡数据负载下基于萤火虫算法的Strom调度优化,该文是有关萤火学年毕业论文范文与萤火虫算法和Strom调度优化和负载有关论文怎么撰写.
萤火论文参考文献：
【摘 要】 Storm 作为实时性的数据处理系统在处理流式数据时性能优势显著,但其调度器在任务调度时无法感知节点资源造成节点资源闲置、topology 延时过高、集群吞吐量低等问题.引入萤火虫算法通过感知集群资源,本文模拟萤火虫在晚上的群聚活动的自然现象,将节点的资源动态变化表示为萤火从的荧光素,任务调度则是寻找集群的最优解,该算法的引入保证了 Storm 任务调度的有效性.实验验证结果表明,与默认调度相比,引入萤火虫算法后Storm 具有更优的任务调度效率、更少的平均处理时延和更高的集群吞吐量,有利于平衡集群各节点负载,提升性能.
【关键字】 Storm 萤火虫算法 吞吐率 负载均衡
一、引言
互联网、云计算技术将以数据多源汇聚、高并发为特点的流式数据带进了人们的视野.Storm 在2011 年被Twitter 开源[1],进行实时计算 [2].这一切的根本就在于Storm 中的任务调度.
Topology 是任务提交到系统的最小单位,该任务会由调度器按照一定的分派规则分派到各个Supervisor节点并执行.Storm 轮番问询监控节点尽可能的使任务在节点之间平分.Storm 集群的默认调度策略过分关注CPU 资源的资源使用而对其他因素关注甚少,这样有可能造成工作节点发生内存不足,网路堵塞等问题.另外,默认调度器不能和任务的实际需求相结合,导致在任务调度的过程中,无法取得很好的调度效果.
二、Storm 调度策略
Storm 主节点Nimbus 对于一个新拓扑的分配来说,主要经历两个阶段,一是逻辑分配阶段： task 是在运行时是被实例化的对象个数,executor 是线程,默认情况下会将task个数配置为executor 的个数. 二是物理分配阶段：将线程（executor）分配到进程（slot）中去.solt 按端口排列,task轮序分配,为了集群的负载,不同task 对象会尽可能的分到不同节点的相同端口上的slot 中.
3. 基于萤火虫算法的Storm 调度
萤火虫算法的思想是萤火虫根据自身亮度在可视范围内寻找比它更亮的荧光点,从而实现了位置更新和位置迭代,找到该范围内最优位置,即寻优的过程.本文模拟萤火虫在晚上的群聚活动的自然现象,将节点的资源动态变化表示为萤火虫的荧光素,Topology 任务模拟为加入该范围的萤火虫群体,任务调度则是寻找集群的最优解,该算法的引入保证了Storm 任务调度的有效性.算法的实现可以大概分为3 个模块：节点初始化、分组寻优、全局寻优,算法流程如图1所示：
四、实验数据及分析
使用Storm0.9.5 版本,可以实现自己的调度器来替代默认的给worker 分配executor 的调度器并可以使用自定义任务的分配调度算法.另外在该实验中用Munin 来监控 Storm 集群的各节点状态,实验中集群的环境配置由 5 台物理机器组成.引入萤火虫调度算法的TopologyA 和默认调度算法的TopologyB 分别提交到 Storm 集群运行.取10 次实验结果平均值进行数据分析.图2 显示的是默认调度算法与改进调度算法在吞吐量方面的差别,经开始阶段信息素初始化以后,改进算法实现的Storm 调度在吞吐量上比默认调度算法占有明显优势,可提升吞吐量 15% 左右.
图3 显示的是默认调度算法与引入萤火从算法的调度算法在处理时延方面的差别,依然是在初始化信息素是浪费了时间,但是在后期改进调度算法在整体处理时延上比传统调度算法降低了10% 左右.
同时, 利用 Munin 对集群负载进行监控.从Munin 监控得到的数据来看,在运行萤火虫调度算法时,集群各工作节点间CPU、内存等使用率都较为均衡,没有节点负载过重,集群整体负载较为均衡.证明基于引入萤火虫算法对Storm调度算法优化的可行性.
五、结束语
围绕 Storm 集群任务调度问题,针对 Storm 默认调度缺陷,提出了引入萤火虫算法的改进Storm 调度算法.该算法初始化Supervisor 信息素,任务分配的过程类似萤火虫择优的过程.资源越丰富的节点分配到更多的任务,优化任务分配的过程,降低了任务平均完成时间,提高 了集群的吞吐量.基于萤火虫算法的调度算法在初始化信息素方面需要花费一定的代价,因此如何将时间减少是将来进一研究的方向.
该文评论:这篇文章为适合不知如何写萤火虫算法和Strom调度优化和负载方面的萤火专业大学硕士和本科毕业论文以及关于萤火论文开题报告范文和相关职称论文写作参考文献资料.
基于Hadoop的军交运输大数据联机处理模型和算法
摘 要本文分析了在物联网关键技术发展的前提下,军交运输大数据的特点以及处理分析面临的挑战 期望建立HaMOlap一个基于Hadoop的大数据联机处理（OLAP）模型和算法 此模型能够实时、快速地提取、.
基于粒子群算法的PID参数优化和仿真
引言在PID 控制器的设计过程中,对比例、积分、微分这三个参数的合理整定非常重要 实际被控对象具有复杂性,传统的整定方法像ZieglerNichols 法1 往往无法达到控制要求,在实际控制过程中经常.
寻求有效取证和保证权利的平衡评两高一部电子数据证据规定
“两高一部”出台的电子数据证据规定（以下简称规定）,对指导、规范刑事案件中电子数据取证具有积极作用 但在该规定中,还存在某些规范不够严谨,一些重要的法律界限不清晰……问题 第一.
数据结构课程中算法教学和
1 简介“数据结构”是计算机及相关理工科专业中的一门重要的专业基础课程,主要研究数据在计算机中的表示、组织和处理,以及相应结构上的算法设计和初步的性能分析技术 该课程的研究思想.