基于地震资料处理的lustre并行存储系统构建,本文是关于存储开题报告范文和lustre和地震和并行相关论文范例.
存储论文参考文献：
【摘 要】随着我院GPU 集群的引进,迫切需要构建一个“优异的存储系统”,两者共同建设一个“高速运算、高速通讯、高速存储”的地震勘探系统,解决长期困扰我院的勘探难题.本文通过Lustre 技术研究,构建一个Lustre 并行存储系统,测试结果及生产应用验证了该系统与GPU 集群是一个完美的匹配,叠前时间偏移等耗时的技术纳入常规化,进行规模化生产,解决了我院油气勘探复杂构造成像难度大的的勘探难题.
【关1 . 引言
我院勘探任务主要在老区,老区勘探程度高,勘探面临的对象复杂,且新区勘探开发难度大,勘探现状需要采用多项高端地球物理成像技术,包括Kirchhoff 叠前时间偏移、逆时偏移(RTM) 等,有助于解决油气勘探复杂构造成像难度大的问题,运算时间长却是长期困扰我院的难题,为此,我院引进了GPU 集群,将叠前时间偏移等耗时的技术纳入常规化,进行规模化生产.
GPU 集群具有高速运算、高速通讯和高度稳定的特征,要求高速存储与之保持同步,建设一个“高速运算、高速通讯、高速存储”地震勘探系统,才能解决我院勘探难题.本文采取开源的高性能分布式并行文件系统Lustre 和低延迟、高带宽的InfiniBand网络实现“高速存储”,Lustre 确保存储系统的内部数据的高速存取,InfiniBand 确保存储系统和GPU 集群的高速数据通讯.
2 . 技术研究
Lustre 是应用广泛的开源性的集群分布式并行文件系统,采用了数据和元数据分离技术、智能存储技术和高速区域网技术,由OSD、MDD 和client 组成, OSD 负责实际对象数据的存储及智能管理,多个OSD 以并行的方式被直接的访问,增加更多的OSD会增加存储的容量,同时线性增加数据吞吐量.MDD 管理整个系统的命名空间、控制client 与 OSD 上对象的交互,client 和OSD直接进行实际对象数据的交互.client 在需要访问文件系统的文件数据时,先访问MDS,获取文件相关的元数据信息,然后就直接和相关的OSD 通信,取得文件的实际数据.通过子网LNET 实现文件系统的内部通讯.MDS、OSS 和Client 通过InfiniBand 高速网相互通讯,连接成一个“高速存储”的Lustre 并行存储系统.
2.1 OSD
OSD 是一种网络存储磁盘设备,它有自己的磁盘、处理器、RAM 存储器和网络接口.OSD 用其自身的存储器和处理器优化磁盘的数据分布并从磁盘预取数据.
OSD 由OSS 和OST 构成,OSS 提供了文件I/O 服务和用来处理一个或多个当地OST 的网络请求.每个OSS 节点可以有多个OST.OST 负责实际数据的存储,处理所有客户端和物理存储之间的交互.OST 和实际的物理存储设备之间通过设备驱动方式来实现交互.通过驱动程式的作用,Lustre 能继承新的物理存储技术及文件系统,实现对物理存储设备的扩展.
2.2 MDD
MDD 存储了文件系统的基本信息,负责管理整个系统的命名空间,维护整个文件系统的目录结构、用户权限,并负责维护文件系统数据的一致性.
MDD 由MDS 和MDT 构成.Client 通过MDS 读取保存到MDT上的元数据,得到文件信息,从OSS 中得到数据.通过MDS 的文件和目录访问管理,Lustre 能够控制Client 对文件系统中文件和目录的创建、删除、修改,控制Client 与 OSD 上对象的交互.
2.3 Client
Client 通常是典型的集群计算节点,它们运行Lustre 客户端软件并通过以太网或InfiniBand 与Lustre 服务器进行通信.客户端软件由Lustre 服务器和运行在计算节点上的应用程序之间的接口组成.为了使计算节点能够直接从OSD 读、写对象,必须配置一个文件系统.
2.4 Lustre
Lustre 文件系统为其上层的应用提供一个透明的POSIX 接口,键字】 Lustre；OSD；MDT它允许应用去执行标准的文件系统操作.文件系统在Client 计算节点上为输入的数据提供Caching 以补充 OSD 中的Cache.文件系统在每个对象的基础上处理跨越多个OSD 的对象的条带.由于对象以并行的方式读写,条带的宽度将直接与对象的带宽相关.
2.5 Network
Lustre 并行存储系统是由LNET 守护进程来控制网络环境,Client 通过LNET 协议和MDS/OSS 通信.通过Infiniband 和客户端计算节点、OSD、MDD 进行物理互联,Infiniband 体系架构( IBA)的本质是把网络技术引入I/O 体系之中,形成一个“I/O 交换网”.IBA 物理构建减少了传输过程中对CPU 的使用,硬件承担许多I/O 通信操作,减轻了CPU 的负担.因此,多个进程同时通信时,没有相关的管理开销,这是与现有通讯协议的一个主要不同之处.为了更好地支持现有网络,Infiniband 使用IPOIB 提供了对IP 网络的支持.
3. 构建Lustre 存储系统
在GPU 集群的1 个管理节点和9 个计算节点上安装Lustre 客户端,作为Lustre 并行存储系统的客户端,使用5 台OSD、1 台MDD 和Infiniband 交换机共同构成140TB（裸盘）的Lustre 并行存储系统,可用存储110TB.
3.1 配置安装
存储系统的OSD、MDD、Client 都安装Lustre 支持的Centos5.6 X86_64 操作系统,存储节点gfs01（MDD）包含两个磁盘,sda 为操作系统盘,sdb 上100G 分区作为mdt 元数据存储盘.gfs02-gfs06（OSD）等5 个存储节点都有两个磁盘,sda 为操作系统盘,sdb 分出三个8T 分区为OST 数据存储盘.在gpu00-gpu09等GPU 集群节点上实现存储系统的Client,安装Lustre 文件系统客户端程序,并挂载Lustre 文件系统.OSD、MDD、Client 都需要经过内核编译、驱动安装与软件安装配置等实现并行存储系统.
主要配置安装内容如下：
（1）内核编译：将lustre 文件系统主程序及Infiniband 驱动编译进内核,以保证文件系统在高负荷运行情况下稳定使用.
（2）驱动安装：阵列卡驱动在内核编译时已被自动加载进去.以下是Infiniband 网口驱动配置内容.
（3）软件安装：lustre 软件包和内核版本有非常严格的对应关系,根据实际内核版本选择软件包.内核编译包括lustre 主程序和lustre 内置文件系统软件ldiskfs.
（4）格式化用软件工具e2fsprogs.
（5）系统配置：Lustre 文件存储系统是由LNET 守护进程来控制网络环境,LNET 是Lustre 的网络子系统.通过修改/etc/modprobe.conf 文件配置LNET 参数.
（6）MDT、OST 和Client 的创建.
3.2 性能测试
1 个客户端读写数据时,文件系统读写速度可达到999MB/s.
2 个客户端同时读写同一个数据时,总速度可达1924MB/s,每个客户端读写速率在511MB/s 与987MB/s 之间,随着客户端数目增加,几乎感受不到彼此的操作,反映了lustre 并行存储系统优异的并行性能.
对我院某地区达330 平方公里三维逆时偏移处理测试,分选12TB 输出数据,抽取道集,只用了不到5 小时完成,证明数据存储的方式是合理的,合并数据的效率可以达到应用要求.
3.3 生产应用
我院某地区逆时偏移项目：处理炮数49680、面积220km2、深度 12000 米；处理前的原始数据2.4TB,过程数据48TB；该并行存储系统中所有Client 参与处理,所有存储设备参与存取,逆时偏移耗时7 天.
4. 结论
lustre 并行存储系统的研究构建、性能测试及生产应用表明,该系统与GPU 集群是一个完美的匹配,为我院建设了一个“高速运算、高速通讯、高速存储”地震勘探系统,叠前时间偏移等耗时的技术纳入常规化,进行规模化生产,解决了长期困扰我院的勘探难题.
参考文献：
[1] 聂刚, 卿秀华. 基于对象存储的Lustre 文件系统的研究[J].信息技术.2007(09).
[2] 贾志国, 赵青苹, 董小社, 吴维刚.InfiniBand: 一种新型的高速互连网络[J]. 计算机工程与应用.2003(09).
[3] 张晓波. 基于高性能集群计算的并行文件系统关键技术研究[D]. 西安电子科技大学 2011.
[4] 董勇, 周恩强, 陈娟. 基于Infiniband 技术构建高性能分布式文件系统-Lustre. 计算机工程与应用2005.
[5] 钱迎进. 大规模Lustre 集群文件系统关键技术的研究. 国防科学技术大学2011.
结束语,上文是适合不知如何写lustre和地震和并行方面的存储专业大学硕士和本科毕业论文以及关于存储论文开题报告范文和相关职称论文写作参考文献资料.
关于历史气象资料存储备份工作
张明（新疆石河子乌兰乌苏农业气象试验站,新疆石河子832000）摘要本文介绍了县级台站气象历史备份资料整编工作的相关情况,并结合工作实践,就如何做好气象历史资料备份工作,从资料的完备和准确性、存储方式.
当废铁矿变身核废料存储地
桃 宝我们在升降梯里晃悠了将近五分钟,才到达井筒底部 整个过程很安静,只有升降梯和轨道摩擦发出的叮当声清晰可闻 进入矿井底部,我们看到了很多老旧的铁矿石运输车,它们曾在昏暗生锈的隧道里来回往返、昼夜不.
湖南科技大学资源勘查工程专业地震勘探课程的教学改革
中图分类号G642 文献标识码A DOI10 16871j cnki kjwhb 2018 02 028摘要针对湖南地区页岩气……非常规天然气勘探与开发所面临的困难,以及湖南科技大学资源勘查工程专业办.
18层大厦在地震中屹立不倒
●佚 名1972年12月23日,尼加拉瓜共和国首都马那瓜发生了大地震,一座现代化城市顷刻间变成了一片瓦砾,死亡万余人,震中511个街区的房屋被无情地震毁 令人惊奇的是,一片废墟中唯独18层的美洲银行大.