说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...
背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...
本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...
摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...
一、环境及软件准备 1、集群规划...
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...
1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...
1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...
近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...
一、如果某一个新的RDD产生的分区数，是从父RDD继承过来的。分区是RDD中的一部分数据（如果只有一个分区的话，那么就是全部） 二、怎么知道某一个 RDD...
一、影响MR程序效率的因素 1.计算机性能： CPU、内存、磁盘、网络， 计算机的性能会影响MR程序的速度与效率 2.I/O方面...
-- 查看当前环境参数配置set -v;-- 重置配置为默认值reset;-- 调整map数-- input的文件大小，集群设置的文件块大小，hive中通过...
一、Hadoop的数据压缩 1.概述 在进行MR程序的过程中，在Mapper和Reducer端会发生大量的数据传输和磁盘IO，如果在这个过程...
首先什么是观察者模式，可以看看我之前的设计模式的文章 https://www.cnblogs.com/cutter-point/p/52497...
按照案例实际操作了一次Flume抽取hive日志信息到HDFS上， 但是发现浏览器找不到文件夹 后来找到原因 案例的日志存储位置的端口号是8020...
hadoop安装集合教程 一、伪分布式系统搭建 hadoop-2.7 jdk-1.8 jdk安装 配置在环境变量配置/etc/profile $vi...
准备工作 150G及以上的硬盘空间(因为要搭建3个系统组成的集群),cpu尽量i7-7xxx标压以上,内存16G及以上 自行搜索,下载,安装VMWare...
问题描述： centos7,伪分布模式下，启动datanode后，通过JPS查看发现没有相关进程，在日志文件里也没有任何提示。通过百度，网上一堆说什么ve...
近期接手了不少大数据表任务调度补数据的工作,补数时发现资源消耗异常的大且运行速度却不怎么给力. 发现根本原因在于sparkSQL配置有诸多问题,解决后...
由于在学习过程中对MapReduce有很大的困惑，所以这篇文章主要是针对MR的运行机制进行理解记录，主要结合网上几篇博客以及视频的讲解内容进行一个知识的梳理...
架构驱动的因素 运营商和互联网面临不同的历史时期，因而大数据在各自领域承担的使命是不一样的 运营商面临被管道化的挑战，营收下滑，大数据项目承担企...
实力缔造非凡，成功绝非偶然！
