大数据概念:数据量大,数据类型繁多,处理速度快,价值密度低 。

大数据的影响: 思维方面:全样而非抽样,效率而非精确,相关而非因果。

SRE实战 互联网时代守护先锋,助力企业售后服务体系运筹帷幄!一键直达领取阿里云限量特价优惠。

关键技术:数据采集,数据存储与管理,数据处理与分析,数据隐私和安全。

两大核心技术:分布式存储:如GFS 和 HDFS

       分布式处理:如MapReduce 和 Spark

计算模式:批处理计算:针对大规模的数据的批量处理                 技术:MapReduce,Spark等

     流处理:针对流数据的实时计算                                    技术:Storm等

     图计算:针对大规模图结构数据的处理                         技术: Pregel ,Graph等

     查询分析计算:大规模数据的存储管理和查询分析       技术:Dremel, Hive等

云计算:实现了通过网络提供的可伸缩的,廉价的分布式计算能力。用户只需要在具备网络接入条件的地方,就可以随时随地获得所需的各种IT资源。

云可分为:公有云,私有云和混合云。

云计算分为:Saas(Software as a Service)软件即服务。 从一个集中的系统部署软件。并通过云购买。

     Paas(Platform as a  Service )平台即服务。 类似Iaas ,但它包括操作系统和围绕特定应用的必需服务。

     Iaas(Infrastructure as a Service) 基础设施即服务。 将基础设施作为服务出租。

      

云计算关键技术:虚拟化,分布式存储,分布式计算,多租户。

大数据概述 ——林子雨老师第一课 Hadoop 第1张

大数据概述 ——林子雨老师第一课 Hadoop 第2张

PS:图片摘自厦门大学林子雨老师在中国大学上的公开课《大数据技术原理与应用》。

 

扫码关注我们
微信号:SRE实战
拒绝背锅 运筹帷幄