一种基于DNS大数据分析实现宽带共享监控系统架构设计,本文是监控系统有关专科开题报告范文与架构设计和数据分析和监控系统相关专科开题报告范文.
监控系统论文参考文献：
1 背景技术
随着宽带战略的推进,宽带业务得到不断的发展,当用户数达到一定规模,就会产生海量的数据,同时伴随着对用户行为管理能力的要求越来越高.因此深刻挖掘数据本身的价值越来越被人们当作提高服务质量、增加业务收入的主要方式.面对现在日益激烈的市场竞争,解决精确定位和快速响应用户需求、解决用户障碍、有效管理部分利用管理漏洞进行私接和包月*违约共享的用户等问题是摆在运营管理机构面前的难
题.因此有必要建立一套基于云平台,能够对海量数据处理进行分析与管理的系统,对宽带用户进行有效管理和监控.
2 系统架构
有鉴于此,本系统的目的是提供基于DNS大数据分析实现宽带共享监控系统.实现对宽带用户进行有效管理.本系统的基于DNS大数据分析实现宽带共享系统,包括以下
方面.
数据采集,通过探针采集的方式,从DNS服务节点上采集DNS日志、RADIUS日志等
数据.
数据储存,通过数据的清理、新旧数据对比更新、增量数据保存、垃圾数据清理、备份步骤将采集的数据按照统一格式保存在分布式文件系统内.
索引分析框架,依据已经建立好的索引进行数据处理,以便最大化的减少数据处理的时间.
大数据中心云平台,提供的任务调度、云资源调度、数据流管理、元数据管理、工作流管理、计算资源管理
服务.
自学习云计算框架,将任务语言翻译成机器语言并分发到分布式计算环境中；自学习云计算框架包括机器学习、语意翻译、计算任务在所述扩展接口中,提供多种协议的开放接口,最大限度地提升与第三方系统的联动能力.
应用层,接入DNS大数据分析平台,用于提供不同的应用公子模块,包括BI智能分析、特征识别分析、用户行为分析、流量分析、权限管理、云资源管理的模块,实现数据的分析管理,获得用户行为管理的有效数据,进行用户管理.
3 具体实施方式
本系统基于DNS大数据分析实现宽带共享监控系统,包括以下方面.
1）数据采集：数据采集过程是通过探针采集的方式,从各地市的DNS服务器上采集各类应用程序生成的各类DNS请求数据、Radius日志信息.这些信息包含用户的行为信息、流量信息与设备信息等.
2）数据储存：将采集到的信息数据通过数据处理,按照统一格式保存在分布式文件系统内.在数据保存前,需要进行重复数据清理、新旧数据对比更新、增量数据保存、垃圾数据清理、备份策略制定等不走,保证大日志数据分布式文件系统中保存的数据是最新的、准确的解析结果.
3）索引分析框架：对海量数据快速查询索引,当需要从数据中进行快速统计或检索时,依据已经建立好的索引进行数据处理,以便获得最大化的减少数据处理时间[5].为了得到用户违规行为信息,需针对性的对能反应违规信息的日志信息进行处理.
4）自学习云计算框架：将系统预置的定期分析任务或用户界面下发的分析要求,根据分析原语翻译为机器语言及代码,并将执行代码下发到分布式计算环境中.系统预置的用户行为管控任务,通过自学习云计算框架,被分配到分布式计算环境中,进行
计算.
5）大数据中心云平台：从DNS端采集数据,通过分布式平台的任务调度和分析查询引擎对核心数据进行检索、分析、数据挖掘和定位等处理.对私接终端用户生成管控黑白名单,如连续多天未符合限制要求,则生成管控名单,存储于相应的数据库中.同时,系统根据DNS日志信息,精准定位用户请求地址,并实时更新用户地址的
变化.
6）应用层：接入基于DNS大数据分析实现宽带共享监控系统,用于提供供不同单位使用的数据应用子模块.当用户被列入违规用户黑名单后,将对其进行权限管理,通过DNS系统将其请求引导到*服务节点,*服务将向真实数据源获取请求系统,并在获取结果中插入弹窗代码,最终在用户请求响应信息中推送限制提醒或者插入干扰信息.
上述各组成部分中,数据采集与数据存储是基于DNS大数据分析实现宽带共享监控系统的数据层,通过各地市DNS服务器将日志信息采用压缩传输的方式上传到集中几点,进行存储.同时为了保证数据存储的质量,在存储前,需对数据进行各种预处理,以保证日志数据分布式文件系统中保存的数据是最新的、准确的记过.索引分析框架、大数据中心云平台、自学习框架是整个系统的业务支撑层,它实现了任务的分配、处理资源的调度与对数据的处理,得到各种分析结果并储存于相应的数据库中.在应用层,设置多种子系统模块,用户可以根据需要选择相应
功能.
参考文献
[1]陈潇潇,蔡迎归,李妩可.CDN流量采集系统数据中心服务器的设计与实现[J].科技资讯, 2016,14（16）：
20-21.
[2]孙大为,张广艳,郑纬民.大数据流式计算：关键技术及系统实例[J].软件学报,2014,25（4）：839-862.
[3]程学旗,王元卓.大数据计算的技术体系与引擎系统[J].高科技与产业化,2013,9（5）：62-65.
[4]张婧婧,陈福文.互联网流量分析技术及部署方案[J].移动通信,2013（19）：71-75.
[5]李青.基于云安全的DNS网页挂马探测系统分析与设计[J].软件导刊,2011,10（3）：146-148.
综上所述:此文是适合架构设计和数据分析和监控系统论文写作的大学硕士及关于监控系统本科毕业论文，相关监控系统开题报告范文和学术职称论文参考文献.
基于大数据的雾霾预测信息系统
摘要雾霾是雾和霾的统称,雾霾是由空气中大量的灰尘和污染气体构成的 二氧化硫以及氮氧化物和可吸入颗粒物是雾霾组成的三大主要物质 2013年,雾霾称为中国年度关键词,这一年,中国较大的500个城市中,仅有.
猪八戒网创始人兼CEO朱明跃：大数据赋能人才共享
2014年,在遭遇“佣金模式”的制约时,猪八戒网从多年来沉淀的大数据中分析用户行为,根据用户需求衍生出了知识产权公司 自此,猪八戒网开启了新商业模式,并正式告别了佣金模式 这也.
大数据带来大变化
贵州推进大数据战略行动,充分挖掘大数据商用、政用、民用价值,更好地以大数据引领经济转型升级,提升政府治理能力,服务民生社会事业,用信息化发展新阶段的新成果,进一步展示贵州坚持改革开放的决心和信心 改革.