这篇文章给大家聊聊关于四川统计数据采集处理平台,以及三维可视化技术在四川盆地油气勘探信息管理中的应用研究对应的知识点,希望对各位有所帮助,不要忘了收藏本站哦。
大数据未来的发展前景怎么样呢
从我国数据产量和存量来看,广东、北京、浙江、江苏、上海、等地区数据资源较为丰富,东部地区数据产量和存量均高于西部地区。从省际数据流量来看,东部地区月均互联网省际出口总流量占全国比重超过一半。
在以北上广为代表的东部地区数据资源丰富的背景下,其大数据产业发展水平快于其他地区省份。其中,北上广大数据企业数量占全国比重近70%,广东和北京大数据发展水平较高。
东部地区数据产量整体高于西部,省际数据流量远高于其他地区
2019年,我国数据产量总规模为3.9ZB。从数据产量的地区分布看,2019年全国数据产量排名前十位的省份为广东、北京、浙江、江苏、上海、山东、四川、河南、河北和湖南。
从人均数据产量来看,2019年人均数据产量排名前十位的省份分别是北京、上海、浙江、天津、广东、内蒙古、西藏、海南、江苏和辽宁。整体来看,东部地区数据产量和人均数据产量均高于西部地区。
2019年,我国月均互联网省际出口流量各省份均值为3EB。其中,排名前十位的省份是江苏、山东、广东、浙江、河北、河南、上海、湖北、湖南和福建。东部地区月均互联网省际出口总流量为49.9EB,占全国的53.7%,远超其他地区。
东部地区数据存量大,西部、西北地区数据存量较少
截至2019年底,我国数据总存量约为332EB。从数据存储的区域分布看,截至2019年底,全国数据存量排名前十位的省份为广东、北京、江苏、山东、浙江、四川、河南、上海、河北和湖北。从数据存储密度看,截至2019年底我国总体数据密度为0.035PB/平方公里,排名前十位的省份是上海、北京、天津、广东、江苏、浙江、山东、河南、重庆和河北。
总体来看,我国数据存量区域分布情况与产量一致,主要集中于东部和中部地区部分省份,西部、西北地区数据存量较少。
北上广大数据企业数量领先,各省市大数据发展水平差异较为显著
根据中国信通院统计,我国大数据企业主要分布在北京、广东、上海、浙江等经济发达、数据资源丰富的省份。其中,北京大数据产业实力雄厚,大数据企业数量约占全国总数的35%。
依托京津冀大数据综合试验区,天津、石家庄、廊坊、张家口、秦皇岛等地大数据产业蓬勃发展,在信息产业领域形成了竞争优势。此外,广东、上海、浙江等地区数据产量及存量较大,大数据企业分布较多。
根据《中国大数据区域发展水平评估白皮书(2020年)》评估结果显示,排名首位的为广东省遥遥领先,指数为56.43,高出排名末位的西藏自治区47.05。从指数分布来看,全国各省、市、自治区大致可以分为三个梯队:
第一梯队由广东、北京、江苏、山东、浙江、上海、福建、四川8个省、市组成,这些省市的总指数均高于30;
第二梯队由湖北、安徽、河南等11个省、市组成;
第三梯队由广西、黑龙江等12个省、自治区组成,总指数均小于20,这些地区大数据发展相对滞后,需积极借鉴领先省市的发展经验,加快追赶步伐。
——更多数据来请参考前瞻产业研究院《中国大数据产业发展前景与投资战略规划分析报告》
三维可视化技术在四川盆地油气勘探信息管理中的应用研究
唐先明1,2曲寿利1雷新华2
(1.中国石化石油勘探开发研究院,北京100083;2.中国地质大学(北京),北京100083)
摘要在分析目前石油领域三维可视化技术应用局限性的基础上,给出了全球三维可视化系统构建流程和数据组织管理模式。以ArcSDE作为空间数据引擎,利用Oracle10g建立四川盆地油气勘探海量空间数据库,基于三维可视化软件平台SkylineTerraSuite,利用功能强大的三维可视化开发平台TerraDeveloper,设计、开发基于全球三维模型的油气勘探信息集成管理平台。通过集成基础地理数据库、区域地质数据库、地面工程数据库、遥感影像库、地层数据库、断层数据和测井数据,该系统不仅提供了强大的油气勘探基础数据管理、三维地形建模以及模型的可视化功能,还为专业技术人员提供了一个可视化的分析、设计平台。
关键词四川盆地三维可视化三维地理信息系统油气勘探全球导航
ApplicationandResearchof3DVisualizationTechniquetoPetroleumExplorationInformationManagementinSichuanBasin
TANGXian-ming1,2,QUShou-li1,LEIXin-hua2
(1.Exploration&ProductionResearchlnstitute,SlNOPEC,Beijing100083;2.ChinaUniversityofGeosciences,Beijing100083)
AbstractBasedontheanalysisofthecurrentshortcomingsof3Dvisualizationapplicationinthefieldsofpetroleum,thepaperintroducestheconstructionprocessanddatastructureofglobal3Dvisualizationsystem.ByusingArcSDEasengineofspatialdataandOracle10g,“PetroleumexplorationgeodatabaseofSichuanBasin”isestablished.BasedonSkylineTerraDeveloper,thesoftwaresystem“3Dpetroleumexplorationdatamanagementandintegrationplatformbasedon3Dglobalmodel”isdesignedandestablished.Byintegratinggeographicaldatabase,arealgeologydatabase,surfaceengineeringdatabase,remotesensingimagedatabase,stratigraphicaldatabase,faultdata,loggingdatabasewith3Dterrainmodeling,thesystemrealizesuchfunctionsasdatamanagementforpetroleumexploration,3Dterrainmodelingandthevisualizationof3Dgeologicalmodel.Itisavisualizationplatformthatassiststhedesignandanalysisforthegeologistsandthetechnologists.
KeywordsSichuanbasin3Dvisualization3Dgeographicinformationsystempetroleumexplorationglobalnavigation
随着计算机图形图像软硬件技术的迅猛发展,三维地形可视化技术在越来越多的领域得到了广泛的应用,构建一个为多种专业人员提供共同工作、研究与交流的三维实时交互的虚拟全球地理环境逐渐由梦想成为现实。三维可视化技术在石油工业中已得到高度重视和普及应用,它充分利用了三维地震信息和地震属性,以人们易于感知的三维图形对各种复杂数据场和数据关系进行描述。
油气勘探是通过采用不同的技术手段采集各种野外原始地质资料,并经处理、解释形成成果资料,进而采用各种科学方法进行盆地评价、圈闭评价和油气储藏评价,开展勘探规划部署、井位设计和地质综合研究工作,完成勘探科研和生产任务。在油气勘探过程中,各油田企业积累了海量的、异构的、多源的地理数据、勘探基础数据和成果数据,这些信息的综合应用对指导油田生产具有很重要的意义。利用三维GIS技术,基于“数字地球”将地表地理信息与地下地质信息一体化管理,构建一个分析、决策、规划及实施油气勘探开发研究的三维实时交互共享工作平台,能够有效地评估潜在的石油资源,及时、准确、直观地定位油气资源的空间分布及其特征,正确有效地开展部署勘探开发工作。
1三维可视化技术的应用现状
迄今为止,三维地形的可视化技术分为两种,一种是面绘制技术,另一种是体绘制技术。在地质研究工作中,主要是采用体绘制技术。三维地学模拟主要包括两大部分内容,即三维地质建模和可视化,其中前者是后者的基础,后者是前者的表现[1]。目前,在三维地震数据的可视化方面,已有多种成熟的商业软件系统推出,国外的有EarthCube,Geoviz,gOcad,VoleGeo等,国内的有石油物探局的3DV和双狐公司的三维地震微机解释系统等。这些软件涉及地质建模、地震勘探、开采评估、矿床模拟、规划设计和生产管理等领域,在功能上各有千秋,很难说哪一个更先进[2,3]。但是,它们主要是面向地质领域的专用系统,基于局部区域而非全球区域,对海量基础地理数据与遥感影像数据等的支持也较弱。基于这种情况,本文采用面向对象的程序开发语言VisualC#,基于优秀的国外三维可视化软件平台Skyline,设计并开发基于全球三维模型的空间数据管理平台,集成管理四川盆地区域内海量的、异构的、多源、多尺度的基础地理数据、油气勘探基础数据和成果数据、遥感影像,实现流畅的油气勘探的三维地形展示和地质分析。
2系统开发技术背景与基本流程
随着地学应用的深入,人们越来越多地要求基于全球角度和真三维空间来认知世界和处理问题。但三维空间是复杂的,包含的信息是海量的,需要集成三维可视化与三维空间对象管理功能,同时由于三维应用的巨大差异,必须采用开放体系结构,实现用户定制功能。基于这种认识,SkylineTerraSuite在提供一般三维空间数据模型及其管理功能的基础上,允许针对特定应用领域动态扩展建模及分析功能插件,以适应特定的三维应用。整个TerraSuite软件体系如图1所示。
系统的实现分为4部分:地球三维场景构建、中心数据库建立、定制三维可视化环境和场景驱动与应用定制。
图1SkylineTerraSuite软件体系
2.1地球三维场景构建
场景构建是将要模拟的场景和对象通过数学方法表达成存储在计算机内的三维图形对象的集合。场景构建分为以下步骤:
(1)DEM数据采集:收集工作区的各级比例尺等高线数据或各种分辨率的航空航天遥感影像立体像对,建立地域的数字高程模型(DEM)。
(2)DOM数据生成:利用地面控制点和DEM数据,对工作区的低、中、高分辨率遥感影像进行严密的精纠正后生成数字正射影像图(DOM)。
(3)DLG数据采集:收集工作区的各级比例尺地形图、野外数据采集,建立工作区的各级比例尺线划图(DLG)。
(4)GIS数据转换:将数据采集阶段获得的DLG数据通过GIS工具转换为TerraBuilder能够接受的数据格式。
(5)数据建模:对一些油田地面建筑物、地标、油井或其他油田设备在3DMAX或MultiGen或TerraBuilder中进行建模。
(6)地球三维场景构建:将以上各种数据,导入到TerraBuilder中,创建一个现实影像的、地理的、精确的地球三维模型(MPT文件)。
2.2中心数据库建立
基于全球三维模型的油气勘探信息集成管理平台是一个高度集成的应用系统,系统建设过程中必须充分考虑系统涉及的多专业图形、属性、影像、文字资料数据的一体化集成、系统数据库与系统软件功能的集成以及系统与网络环境的集成等关键问题。为实现功能的集成与扩展,考虑石油勘探开发数据的区域性、多维性、时序性、海量和异构的特点,拟采用大型商用关系数据库Oracle10g和空间数据引擎ArcSDE集中管理这些海量数据,建立数据中心,易于解决数据共享、网络化集成、并发控制、跨平台运行及数据安全恢复机制等方面的难题。
2.3定制三维可视化环境
在全球三维场景的基础上,可以叠加自己关心的专题信息,通过与数据库的接口,还能集成中心数据库存放的地表、地下多维、动态空间信息,从而创建一个令人激动的交互式三维可视化环境,来突出一个地区的特征,显示其功能、相互关系以及从一个独特的视点展示该地区。
2.4场景驱动与应用定制
(1)三维可视化程序:通过API接口直接调用所建立的三维可视化环境,也可以根据三维场景的参数生成实时场景,动态加载图层,有助于对空间数据相互关系的直观理解。
(2)三维空间查询与交互:直接在三维可视化环境下,对存放在中心数据库的各种数据和场景实体提供交互式查询等操作,以提供一个动态的环境,为进一步空间决策服务。
(3)应用定制:利用TerraDeveloper软件开发包提供的各种ActiveX控件,可以构建自己的面向三维的应用程序,实现与其他系统的应用集成[4]。
3系统总体设计
3.1系统体系结构
根据系统的功能需求,系统在技术上要求具有业务变化的适应性、高度的安全性和大容量数据存储处理等特点,因而在系统的技术框架中采用了3层B(C)/AS/DS结构。与此同时,考虑到系统与其他专业系统之间的集成,拟采用基于SOA(面向服务架构)和WebServices(Web服务)技术的应用集成技术,构建基于“数字地球”的地表地理信息与地下地质信息一体化管理服务平台。整个系统的体系结构如图2所示。
3.2系统数据的组织形式
系统数据的组织形式是可视化系统的关键,其优劣将直接影响到场景绘制的效率。在基于全球三维模型的空间数据管理平台中,主要包括3部分数据:①场景数据,即场景环境包含的地形信息,通过影像图片处理而成,包含在.mpt文件中;②对象图形数据,即油气勘探对象图形信息,是由3DMAX等三维图像处理软件处理而成的三维模型;③对象属性数据,即油气勘探属性信息。所有关于对象的信息包含在.fly文件中,采用基于层(Layer)的面向对象的场景数据组织形式。目前,系统集成的四川盆地区域的数据层主要有:
(1)DLG——数字线划图:全区不同比例尺土地覆盖状况、植被、道路、水系、居民地等图层。
图2基于全球三维模型的油气勘探数据管理平台系统结构
(2)DEM——数字高程模型:全区不同比例尺数字高程模型数据。
(3)DOM——数字正射影像:全区不同比例尺、不同分辨率的彩色正射影像。
(4)DRG——数字栅格图:全区不同比例尺地形图栅格数据。
(5)全国地名数据。
(6)1:200000地质图。
(7)勘探基础数据:测网、矿井、三维探区。
(8)勘探成果数据:地震异常、一类进积、二类进积、礁体、生物礁、滩和相带等。
(9)构造数据:断层、等值线等(宣汉、通南巴)。
(10)井位数据。
(11)地面工程数据:天然气管道、道路。
3.3系统功能模块
基于全球三维模型的油气勘探信息管理与集成系统分为石油勘探数据管理、三维基本操作、三维GIS导航查询、三维分析等模块。系统主界面如图3所示。
各个模块的具体功能如下:
(1)石油勘探数据管理:系统利用GIS技术、XML技术、空间数据库等技术对多尺度基础地理信息、勘探基础数据和成果数据、多分辨率遥感影像、各种图表和文字报告等地表地下信息进行一体化的存储和管理。实现了对地理底图、油气地质勘查所获取的资料和成果的录(导)入、转换、编辑及查询等功能。另外,系统还提供了目标实体超链接及关联服务,如与钻孔相关的试验表类属性数据与图形数据的关联存储管理功能,提供与钻孔相关的各种基本信息及试验结果等属性信息的查询等功能。
图3基于全球三维模型的油气勘探数据管理平台系统界面
(2)三维基本操作功能:在全球三维场景中,实现以下功能:
放大、缩小、平移、旋转等三维基本功能;
选择对象、使物体居中、环绕浏览对象;
飞行或者跳转到指定对象;
获得场景中任何一点的经纬度坐标和高程值;
场景的点对象、线对象,可以实现不依赖试图比例缩放;
提供场景的快照和打印输出功能。
(3)三维GIS导航查询:在全球坐标系统上实现基础地理信息、地质数据及勘探数据的立体定位导航分析。
全球任意点定位和导航;
二维三维联动功能;
测距、求积、高程和剖面生成;
地表实体三维建模及多种属性管理;
可定制飞行路径和视角的三维浏览功能。可自己制定飞行的路线或选择预定义飞行路线进行三维飞行(图4)。
(4)三维分析功能:
图4基于全球三维模型的油气勘探数据管理平台设置飞行路径
测量功能:测量距离(水平、垂直和随地形起伏3种方式)、面积;
区域对象选择:可以进行多边形框选进行对象选择,并可获得选中区域内的对象集,可统计区域内的实体数并形成分类列表;
剖面观察:对所选地区场景进行剖面观察,可分析出地表起伏状况;
等高线绘制:用矩形框选出指定范围,可以显示出该范围等高线示意图,并可随意设定等高线显示方式;
最佳路径分析:根据给定的参数,如放样间隔、上升的最大坡度、下降的最大坡度、允许的放样宽度等信息,依据地形的走势,自动解算出最佳的放样线路;
视线分析:根据地面拾取两点系统可以自动计算两点间的通视情况;
视域分析:在场景中任选一点和视角范围可以进行视域可见分析;
空间分析:突发事件的地点,选择一定半径,利用分析工具可以作出整个目标点的空间范围,以提供决策。
4系统应用扩展
基于全球三维模型的油气勘探信息管理与集成系统由于采用了组件技术、基于SOA(面向服务架构)和WebServices(Web服务)等技术,不仅提供了强大的地表与地下油气勘探信息数据管理、三维建模与模型的可视化、全球定位导航等功能,还可以进行系统扩展和专业系统集成,实现油气勘探开发的深度应用,如野外地质踏勘路径优选和工作安排、地震资料采集观测系统设计和优化、探井地面井场位置优选及工程测算、开发井位部署规划及钻前工程分析、油气集输地面工程设计及方案优化、目标区块水电路讯规划设计及优化、全球定位系统集成和油田现场服务等。
5结论
三维可视化技术在国内、外已经趋于成熟,但基于全球三维模型的三维地理信息系统(GIS)刚刚起步,尤其是缺少针对地表与地下油气勘探信息三维一体化管理的经典模式和成熟经验。本文基于SkylineTerraDeveloper所设计、开发的全球三维油气勘探信息管理与集成系统,就是一个成功的实践,重点研究了虚拟现实环境下交互式地表地下油气勘探信息管理系统,给出了一种交互式虚拟现实全球导航平台的系统构成方案和原型系统。整个系统可靠性好、易于移植、便于维护,并具有很强的空间分析功能。结合三维地质建模及可视化系统的研究现状、相关技术的发展走向以及实际工程实践的应用需求,笔者认为,需要进一步探索、研究并解决以下问题:
(1)研究并实现现有的基于全球三维模型的空间数据集成管理平台的地上和地下三维一体化无缝集成与可视化功能。
(2)不断丰富与其他地震三维分析软件的接口。
(3)研究并开发基于VRML/X3D技术的网络三维可视化系统,能够为社会大众、专业技术人员和地质科学家提供更加普遍的支持和服务奠定基础。
参考文献
[1]SimonWHoulding.3DGeoscienceModeling:ComputerTechniquesforGeologicalCharacterization[M].Berlin:Springer-Verlag,1994.
[2]朱良峰,潘信,吴信才.三维地质建模及可视化系统的设计与开发[J].岩土力学,2006,27(5):828~832.
[3]姜素华,庄博,刘玉琴等.三维可视化技术在地震资料解释中的应用[J].中国海洋大学学报(自然科学版),2004,34(1):147~152.
[4]SkylineSoftwareSystemInc.TerraDeveloperpaper[EB/OL].[2007-6-1]http://www.skylinesoft.com/.
大数据未来的发展前景怎么样
随着信息技术和人类生产生活交汇融合,全球数据呈现爆发增长、海量集聚的特点。无论是国家、企业还是社会公众,都越来越认识到数据的价值。因此,近年来,各地纷纷成立大数据发展局,企业纷纷推动数据资产治理,大数据辐射的行业也从传统的电信、金融逐渐扩展到工业、医疗、教育等。一时间,仿佛各行各业都在谈大数据,人人都在谈大数据。但也有声音说大数据迎来了“七年之痒”,面对大数据热潮也需要一些“冷思考”。我国大数据究竟发展得如何?未来我国大数据发展还有哪些机遇和挑战?
1、大数据产业进展显著
过去几年,大数据理念已经深入人心,“用数据说话”已经成为所有人的共识,数据也成了堪比石油、黄金、钻石的战略资源。五年来,我国大数据产业政策日渐完善,技术、应用和产业都取得了非常明显的进展。
在政策方面,我国从中央到地方的大数据政策体系已经基本完善,目前已经进入落地实施阶段。自从2014年“大数据”这个词写入政府工作报告以来,我国大数据发展的政策环境掀开了全新的篇章。在顶层设计上,国务院《促进大数据发展行动纲要》对政务数据共享开放、产业发展和安全三方面做了总体部署。《政务信息资源共享管理暂行办法》《大数据产业发展规划(2016-2020)》等文件也都已经出台。十九大报告中提出“推动大数据与实体经济深度融合”,“十三五”规划中提出“实施国家大数据战略”。卫健、农业、环保、检察、税务等部门还出台了领域大数据发展的具体政策。截至2019年初,所有省级行政区都发布了大数据相关的发展规划,十几个省市设立了大数据管理局,8个国家大数据综合试验区、11个国家工程实验室启动建设。可以说,大数据的政策体系已经基本搭建完成,目前已经纷纷进入落地实施甚至评估检查阶段。
在技术方面,我国大数据技术发展属于“全球第一梯队”,但国产核心技术能力严重不足。我国独有的大体量应用场景和多类型实践模式,促进了大数据领域技术创新速度和能力水平,处于国际领先地位。在技术全面性上,我国平台类、管理类、应用类技术均具有大面积落地案例和研究;在应用规模方面,我国已经完成大数据领域的最大集群公开能力测试,达到了万台节点;在效率能力方面,我国大数据产品在国际大数据技术能力竞争平台上也取得了前几名的好成绩;在知识产权方面,2018年我国大数据领域专利公开量约占全球的40%,位居世界第二。但我国大数据技术大部分为基于国外开源产品的二次改造,核心技术能力亟待加强。例如,目前国内主流大数据平台技术中,自研比例不超过10%。
在产业方面,我国大数据产业多年来保持平稳快速增长,但面临提质增效的关键转型。2018年,我国大数据产业延续多年来的增速,继续保持相对高速的增长。根据中国信息通信研究院的测算,2018年我国大数据产业整体规模有望达到5400亿元,同比增长15%。然而,综合国内外环境、新兴技术发展等多种因素,大数据产业的增速出现了下滑。我国的大数据产业也面临着从高速发展向高质量发展的关键转型期。
在应用方面,大数据的行业应用更加广泛,正加速渗透到经济社会的方方面面。随着大数据工具的门槛降低以及企业数据意识的不断提升,越来越多的行业开始尝到大数据带来的“甜头”。无论是从新增企业数量、融资规模还是应用热度来说,与大数据结合紧密的行业正在从传统的电信业、金融业扩展到政务、健康医疗、工业、交通物流、能源行业、教育文化等,行业应用“脱虚向实”趋势明显,与实体经济的融合更加深入。
2、产业的五大困局
虽然我国大数据总体发展形势良好,也面临难得的发展机遇,但仍然存在一些困难和问题。
一是,涉及核心技术的产业发展薄弱,未能有效提升我国核心技术竞争力。核心技术的影响力在大数据产业有着极高的重要性。由于大数据企业在完成产品开发后,可以近乎零成本无限制的复制,因此拥有核心技术的大企业,很容易将技术优势转化为市场优势,即凭借具体的信息产品赢得海量用户获得垄断地位。当前,从大数据技术与产品的供给侧看,我国虽然在局部技术实现了单点突破,但大数据领域系统性、平台级核心技术创新仍不多见。大数据处理工具都是“他山之石”,大部分企业用的都是国外的数据采集、数据处理、数据分析、数据可视化技术,自主核心技术突破还有待时日。尤其是开源产品的技术标准方面,我国的影响力尚亟待提升。
二是,数据孤岛和壁垒降低了大数据产业资源配置效率。大数据产业发展必须实现数据信息的自由流动和共享,如果数据不开放、不共享,数据整合就不能实现,数据价值也会大大降低。无论是政府数据、互联网数据还是其他数据,数据拥有者往往不愿对其进行开放流通。受制于前期信息基础设施建设,目前我国政府数据往往还存在着诸多“数据孤岛”和“数据烟囱”,数据价值难以发挥。
三是,数据安全管理薄弱增加了大数据产业的发展风险。大数据技术为经济社会发展带来创新活力的同时,也使数据安全、个人信息保护乃至大数据平台安全等面临新威胁与新风险。海量多源数据在大数据平台汇聚,来自多个用户的数据可能存储在同一个数据池中,并分别被不同用户使用,极易引发数据泄露风险。利用大数据技术对海量数据(21.90-5.19%,诊股)进行挖掘分析所得结果可能包含涉及国家经济社会等各方面的敏感信息,需要对分析结果的共享和披露加强安全管理。
四是,产业垄断与恶性竞争现象频发,“劣币驱逐良币”现象明显。由于资源型产业门槛低、利润高,新兴的大数据企业往往首先将目光盯在获取数据资源上面。大量依托数据资源优势的企业诞生,为大数据产业带来了低附加值的垄断经济模式,使得依靠技术壁垒打江山的企业不得不面对残酷的市场竞争,放缓了技术研发的步伐。同时,数据垄断问题也愈发明显。少数互联网巨头企业拥有巨大数据,不但对产业发展不利,甚至存在巨大的数据聚集隐患。
五是,各地发展同质化严重,普遍存在重存储轻应用的现象。由于缺乏统一的大数据产业分类统计体系和产业运行监测手段,各地大数据产业的定位相似,同质化竞争加剧。而盲目的重复建设,更是可能导致大数据产业过剩。同时,由于部分地区信息化发展程度有限,大数据应用场景不够丰富,更是以数据中心等大数据存储设施的建设作为发展大数据产业的关键,且规模巨大,目标动辄以百万台计,后期若无法有效利用,将造成巨大的资源浪费。
3、未来三年大数据行业展望
未来三年,是我国大数据发展转型的重要机遇期。大数据的发展本身也呈现着一些趋势。在我看来,未来三年大数据行业有可能会呈现出如下特点:
一是,大数据新技术继续快速发展。未来大数据技术将会沿着工具平台云化部署、多业务场景统一处理、专有高性能硬件适配几个方面进行突破。目前大数据技术工具的主要应用模式为应用企业在自建机房内独立部署,其存在资源浪费、弹性能力不足、管理复杂等缺点,这些缺陷可以通过基于云计算技术的云化部署方案解决,助力大数据技术工具的快速落地和应用;同时大数据技术工具主要瞄准的是分析型业务场景,但随着电子商务以及智能终端的爆发性发展,转账、计费等事务型业务场景也需要大数据处理能力,所以未来的多业务场景统一处理技术将会得到充分发展;最后由于GPU/TPU等专用硬件的发展,此类专用硬件能够助力某些大数据技术进行突破性升级,所以对新型硬件的适配成为很多大数据企业未来研发计划的重点。
二是,数据流通共享将迎来关键突破。这些年,推动数据开放共享的政策举措一直在加强,然而效果与预期还有差距。可以说,技术手段将是数据流通共享瓶颈突破的关键。未来三年,随着同态加密、差分隐私、零知识证明、量子账本等关键技术的性能提升和门槛降低,随着区块链、安全多方计算等工具与数据流通场景进一步紧密结合,数据共享和流通将有望再前进一大步。
三是,数据服务合规性将成为行业关注重点。近两年来,随着欧盟《通用数据保护条例》(GDPR)的颁布和正式实施,个人信息保护的重视程度被提到了前所未有的高度。GDPR对数据主体的权利规定细致入微,其“数据可携权”“被遗忘权”等方面的规定可能会对我国数据立法带来一定的参考。对我国企业来说,数据服务合规性的重要程度进一步提升,将对企业业务开展带来重大影响。目前中国信息通信研究院正在着力推动的“可信数据服务”计划也正是契合了行业的这一需求。
四是,数据资产管理重要性将进一步提升。随着大数据应用进入深水区,企业将越来越重视数据资产管理方法论体系建设——即从架构、标准、研发、质量、安全、分析到应用的统一,从而实现技术到业务价值的转化和变现。未来三年,数据资产管理将仍是企业数据部门面临的难点与挑战。即使是领先的科技型企业,在数据资产管理这一课题上仍在不断探索新的方法,如全链路智能管理体系、数据资产的贡献度、数据基线度量与质量规范的工具化、可视化等。
4、四大应对策略
大数据产业作为具有国家战略意义的新兴产业,在发展初期不仅要充分发挥企业的主体作用和有效市场的主导作用,而且要更好发挥政府的引导作用。
一是,要加强核心技术攻关与产业化推动。自主研发创新是提高大数据产业竞争力的主引擎。要彻底改变目前我国大数据产业创新能力不强、关键核心技术对外依赖度偏高的这一局面,必须抓住重点领域、关键环节和核心问题,找准着力点和突破口,加大政府财政资金的引导支持力度。为此,建议在国家层面上设立大数据重点领域的关键技术研发创新的国家财政专项资金,支持突破一批关键核心技术研发创新与应用,构建具有核心技术自主权的大数据产业链,形成自主可控的大数据技术架构,提高关键核心技术的自主研发创新能力,有效破解制约产业发展的瓶颈。
二是,完善大数据安全政策。需要开展数据确权、资产管理、市场监管、跨境流动等数据治理的重大问题研究,协调有关部门共同推进数据治理的法制化进程,加强对敏感政务数据、企业商业秘密和个人数据的保护。同时,推动完善适用于大数据环境下的信息安全等级保护制度,建立兼顾安全与发展的数据管理和保障体系,加强数据安全评测、安全防范、应急处置等相关机制建设。此外,还要强化网络空间的安全信息共享与动态感知能力,提高重大风险识别分析水平。
三是,鼓励地方因地制宜发展大数据产业。大数据产业发展应注重差异化发展,形成差异化的产业布局。地方需要差异化发展,应该把大数据的发展重心放在因地制宜地促进应用创新上,放在打造完善的发展环境上,让市场在大数据发展要素配置上起决定作用。各地要结合产业基础和优势特色,着重发展大数据特色场景应用,推动大数据与当地重要实体经济行业加快融合。
四是,推动行业加快大数据标准建设。当前大数据产业应用层出不穷,政府应通过标准化的途径规范行业、整合资源,促进各方达成共识,为大数据产业的健康发展提供基石。尤其是通过加强快速迭代、市场认可度高的行业/团体标准研制工作,为用户企业提供大数据产品选型指导,为数据安全提供保障,促进大数据交易等新兴服务模式规范发展,对推动我国大数据产业进程具有重要意义。
文章分享结束,四川统计数据采集处理平台和三维可视化技术在四川盆地油气勘探信息管理中的应用研究的答案你都知道了吗?欢迎再次光临本站哦!