能源勘探业务场景
伴随着新一轮数字与智能化技术变革浪潮的到来,能源勘探行业也面临着新的历史机遇与挑战。在整个石油天然气能源产业链中,石油勘探处于最上游部分,属于高技术密集型行业。随着石油勘探业务需求的飞速增长,石油勘探行业正在大步迈进海量数据处理时代。
在石油勘探中为了实现精准、快速的地质勘测,需要了解和模拟出地下数千米的地质构造,目前最常见和最重要的方法即为地震波反射法,主要包括地震资料采集、地震资料处理、地震资料解释、油藏模拟4个主要业务流程;在地震资料采集阶段会产生数百tb乃至pb级的观测数据,然后需要对海量观测数据进行密集计算、分析处理和模拟,为钻井定位提供参考,这中间涉及到海量数据的存储、处理、分析、归档。
石油勘探业务需求
在石油勘探的4个核心业务流程中,每个业务场景中均需要对海量数据进行处理,但对数据处理的要求各不相同,需求不同的计算及存储能力。
在业务流程一:地震资料采集场景中,需求在当天完成地震数据采集处理(白天放炮、晚上处理数据),支持数万~数十万采集站点数据回传;要求存储具备高速数据传输导入导出能力,满足gb/s级以上聚合带宽,100t~500tb的可用容量,且具备野外便携能力,可随着野外作业工作人员完成野外地震数据采集,将处理好的数据传回总部。
在业务流程二:地震资料处理场景中,针对数据读写访问:1)存在规律读写浪涌,在业务软件作业开始和结束时会存在高io访问性能要求;2)存在热点数据,在处理数据的某个时间段会对特定区域的地震数据运用各类算法进行分析处理,即有多台业务主机会同时读取同一文件,在计算后将结果输出至存储集群,输出结果为小块io文件;
在数据常规处理过程,存在大量人机交互,要求实时的高带宽、高并发数据读写;在数据偏移、降噪处理过程中,低人机交互频率,要求存储具备高稳定性并发访问带宽,支持海量计算集群完成长周期的业务处理工作,整个过程对存储容量、稳定性、性能(gb/s级以上聚合带宽、ms级时延)均有较高要求。
在业务流程三/四:地震资料解释/油藏模拟场景中,为gpu密集型业务场景,存在大量人机交互,主要对相关油藏数据进行分析模拟处理,需要支持gb级大文件的随机和顺序小io访问、同时相关io延时要求低至百微秒级,以满足科研人员在采用专业图形工作站进行相关数据分析、图像模拟成果输出需求。
结合石油勘探业务流程及整个数据处理过程可以看到,在传统的业务流程中,存在多个信息孤岛问题,各个流程业务系统难以互通;且地震数据类型多样,缺乏数据管理、数据处理及分析流程复杂、数据流转周期长成本高、系统架构扩展受限等问题,导致数据存储成为制约海量数据处理的瓶颈,制约行业发展。
随着分布式及云存储技术的发展,稳定可靠、安全高效的云存储产品,能有效解决海量数据的存储、处理、分析问题,帮助打破行业效率瓶颈、缩短勘探周期,可为油气资源的精准定位注入新的力量,提高石油勘探行业生产效率。
海量数据管理乐鱼官网下载的解决方案
uit最新发布的uds云存储系统,采用分布式的scale-out集群体系架构,通过gb级吞吐带宽及毫秒级延时性能、多级可靠及安全性架构设计,可解决石油勘探业务流程中数据处理过程遇到的各种问题,帮助用户建设统一的地震资料共享资源池,打造高效、经济的数据分析处理平台。
多协议融合,提高资源利用率:存储支持nfs/cifs/posix等多协议共享访问,使用一套存储即可支持石油勘探业务全流程数据处理,充分利用存储资源,实现业务统一调度;
统一资源池,数据全局共享:通过全局统一资源池,实现地震数据处理、解析、油藏模拟过程全部数据共享,数据可无缝在各个业务流程中被访问使用;
dpc并行客户端,加速访问性能:dpc可实现一个客户端连接多个存储节点,消除存储瓶颈,提升单客户端及单流读写性能,相比nfs/cifs标准协议,有效缩短访问路径,降低读写访问延时;
数据分级存储,降低存储成本:冷热数据分层存储,一套存储集群可满足不同流程的数据处理需求,低热度数据在存储底层自动沉降到低成本介质,应用程序透明无感,减少总体存储成本;
节点弹性扩展,简化运维管理:存储集群支持在线不停机扩容,增加或删除节点、硬盘不影响业务正常运行,支持集群自动数据均衡,可动态监控集群性能、硬件状态及各种健康指标并设置告警,便于用户实时了解系统状态,大幅简化了存储运维,提升管理效率。