计算机工程应用技术信息与电脑China Computer&Communication2018年第18期基于云计算的大数据统一分析平台设计与应用张媛媛（石家庄工程技术学校，河北 石家庄 050061）摘 要：随着科学技术的进步，当今社会生活已经离不开大数据信息的应用，所以需要构建一个基于云计算的大数据平台。本文主要分析了如何设计大数据平台、分析大数据平台，同时还对之前的数据平台进行了对比分析，有效提高了数据平台的工作效率，发挥了现代技术的价值。关键词：云计算；大数据；服务器中图分类号：TP311.13 文献标识码：A 文章编号：1003-9767（2018）18-048-02Design and Application of Big Data Unified Analysis Platform Based on Cloud ComputingZhang YuanyuanAbstract: With the advancement of science and technology, social life has been inseparable from the application of big data (Shijiazhuang Engineering and Technology School, Shijiazhuang Hebei 050061, China)information, so it is necessary to build a big data platform based on cloud computing. This paper mainly analyzes how to design big improves the working efficiency of the data platform and brings the value of modern technology.data platform and analyze big data platform. At the same time, it also compares and analyzes the previous data platform, effectively Key words: cloud computing; big data; server１ 大数据概述要制定一套统一的信息资源管理规范，还要建设多个数据渠大数据时代的数据规模非常大，根本不可能用数字准确道，从而形成完整的数据库，为建设大数据平台提供数据基地表达出来，并且数据之间还存在相互关联性，只能凭借感础。其次，需要对数据进行梳理，发现它们之间的关系，对觉对数据进行分析。大数据的显著特点是数据之间拥有相互数据进行相应整理，形成数据资源目录，促进信息传播，从影响关系，根据数据之间的关系对数据进行深入挖掘[1]。如而达到数据共享的目的。最后，通过对大数据分析过程，促果数据间不存在这种关系，那么就是单纯地将数据放在一起，进单位的发展进步，提高经济能力。没有任何意义，达不到数据影响生活的效果。此外，数据结构也存在关系，并且是非常复杂的关系，数据库不同数据的2.2 大数据平台的设计原则属性归类也不同，所以存在子系统与总系统，可以根据数据信息资源是大数据平台的重要组成部门，同时又以大数结构的复杂性特点得到有用的信息。据应用作为核心，坚持“统筹规划、整合资源”，提升数据通过大数据可以解决以下几方面的问题。一是可以解决信息建设水平，加快数据资源整合，形成信息资源共享，方由脚本语言编写出来的预处理功能无法满足复杂的大数据结便单位管理及监测。构分析；二是可以解决那些关系数据库无法处理大数据的问2.3 大数据平台的设计方法题；三是可以解决扩宽商业数据空间过程中存在的问题；四是可以解决大数据质量低的问题；五是可以解决过于依赖数2.3.1 单位内部进行数据采集的方案据运算能力的问题。由于信息资源需要进行统一规范管理，单位内部需要建２ 基于云计算的大数据平台立多个不同信息资源库，增加信息资源开发渠道，然后汇集2.1 需要确定建设大数据平台的目标这些数据，提高单位的分析能力和监测预警能力。数据采集主要有以下几个步骤。首先，预留接口，将历随着技术的发展，建设大数据平台势在必行。首先,需史数据信息通过预留接口上传至相应数据资源库，分析出有作者简介：张媛媛（1988-），女，河北石家庄人，本科，助理讲师。研究方向：计算机科学与技术。— ４８ —信息与电脑2018年第18期China Computer&Communication计算机工程应用技术用信息导入服务器数据库，然后进行数据采集，并且可以重也就是子系统，实现了项目之间的数据信息资源共享，方便复采集。其次，外接数据上传，相同原理，留有外接数据上项目管理人员更好地发现问题、解决问题。投资项目存在一传接口，进行数据导入，上传服务器数据库，进行数据采集，定资金或者安全风险，建立项目管理平台后，前期的项目筹也可以重复采集。最后，非结构化数据上传，网络上搜索引划、流程监管、后期评价都要进行规划，推动项目顺利开展。擎数据、社交媒体数据等其他数据进行分析采集。2.3.2 数据分析方案３ 基于云计算的大数据平台的技术支持与平台性能3.1 技术支持基于云计算的大数据规模宏大，数据关联性复杂、类型多样、存在很大的不确定性，这些都是设计大数据平台的难3.1.1 分析大数据平台的软件结构点所在。单位可以采用加深学习、整理数据分类、梳理数据关联性等方法进行批量数据处理，通过数据的批量处理系统Segment主机有多个节点，这些节点之间是通过互联网发现数据之间的内在联系。进行关联，从而形成了服务系统。其实，这些节点之间都是独立存在的，没有数据信息传输，只不过是为了信息交换而2.3.3 单位业务整合方案通过Master主机而实现数据传输。就现在技术来说，实现数在单位内部，结合当前业务发展方向进行整合、嵌入数据传输必须基于互联网技术，使每个节点进行互相访问，但据资源。一是将原有的数据信息资源通过数据采集方法上传是对于每个节点的内存信息不得而知，称其为数据重分配。到当前的数据平台，整合成一个数据库。二是将原有的系统3.1.2 分析大数据平台的网络结构嵌入当前的数据平台，成为平台中的一个子系统。无论是哪一种方案都存在一定的弊端。有一种SMP服务器是价格比较贵的服务器系统，它是只有一个服务器系统，具有“完全共享”模式。有多个服务2.4 大数据平台的建设内容器的共享存储设备叫做“磁盘共享”，服务器和这些设备关联。2.4.1 基于大数据的单位经济监测两种共享方式，都是有缺点的。每个节点与本地磁盘都有一个独立的高速通道，可以并行处理相关问题。单位的最终目标是实现经济利益最大化，单位中的经济3.1.3 平台性能决策起到了核心作用。为了提决策水平，必须从经济的监测着手，从依靠传统统计数据向基于互联网非统计数据转型。3.1.3.1 具有开放性与先进性在这个过程中，单位要充分利用大数据技术知识，加强数据信息挖掘，进行数据间的关联度分析，不断提高单位的监测基于大数据平台的技术结构设计，设计了灵活的接口，预测预测能力。方便调整修改，及时更新与替换数据信息，还能进行扩充，降低了技术升级带来的系统运行风险，为单位带来了经济效益。2.4.2 基于大数据的单位信用监测预警平台3.1.3.2 具有扩展性单位信用是单位存亡的关键，信用危机已经成为市场经济发展的阻碍。所以，建立单位信用监测预警平台对于单位大数据平台的构建思想，能够保证整个平台之间的操作信用危机起到了预测和缓解作用。单位信用监测预警平台，系统、软件结构、网络结构、数据库的自由匹配，从而能灵采集了社会公众的反映信息和社会信用监管信息，单位要进活配置新功能，还能保障原有的系统不受破坏，对平台进行行分析梳理，将这些数据信息资源归纳总结为信用指标体系，了扩展。按照产生信用危机的严重程度划分等级，时刻为单位敲响信3.1.3.3 具有稳定性和可靠性用危机的警钟。大数据平台没有客户端，因此客户端单点故障不会影响单位信用监测预警平台以大数据应用技术为基础，通过平台系统的正常运行，还可以确保数据库之间稳定传输，保共享信用监管信息，将单位信用监管作为辅助手段，加强单障数据处理的连续性和完整性。位信用监管力度，提高了单位自身的监督自主性、预测性，从而避免了单位信用危机，促进了经济快速增长。４ 结 语2.4.3 基于大数据的投资项目管理平台目前，大数据平台在信息技术发展的基础上迅速发展，采用新技术、新手段构建的大数据系统平台越来越趋于成熟。一般项目的特点是建设周期长、有很多参与方，体现了本文主要分析了大数据平台系统的构建目标、设计方案及平投资项目的复杂性。单位要建立和应用投资项目管理平台，台的性能，可以减少数据分析的时间。基于云计算的大数据对项目数据信息进行统一分析整理，通过共享项目各个方面平台具有开放性、先进性、扩展性、稳定性和可靠性，能够的数据信息，统计出项目数据信息的重点，提高各方的参与体现大数据系统平台的应用价值。度，及时进行问题商讨分析。投资项目管理平台具有严格的项目审批流程，从项目开参考文献始筹划到工期结束都会进行记录，构建一个全面的项目流程[1]吴凯峰.基于云计算的电力大数据分析技术与应用[J].管理平台。在这个平台上，有各个相关部门的业务系统接口，中国电力,2016(8):45-47.— ４９ —