说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...
背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...
本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...
摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...
一、环境及软件准备 1、集群规划...
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...
1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...
1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...
近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...
来源：http://spark.apache.org/docs/latest/cluster-overview.html ...
创建hadoop用户 useradd -m hadoop -s /bin/bash # 创建新用户hadoop passwd hadoop ...
简介 采用Java开发，基于Luncene的全文搜索服务器，同时对其进行了扩展(扩展了面向抽象编程的地方，比如分词器，查询)，提供了比Lucene更为丰富...
public class HdfsApp { public static FileSystem getFileSystem() throws...
一、导入数据进hive表 1、语法 LOAD DATA [LOCAL] INPATH 'filepath' [OVERWRITE] INTO TABL...
一、datanode添加新节点 1.在dfs.include文件中包含新节点名称，该文件在名称节点的本地目录下 [白名单] [/app/had...
在有些时候，想要控制hql执行的mapper,reducer个数,reducer设置过少，会导致每个reducer要处理的数据过多，这样可能会导致OOM异常...
检查/安装JDK1.8 这个安装及环境变量的配置就不再赘述了。 下载Hadoop包 下载地址是http:...
桶表也是一种用于优化查询而设计的表类型。创建通表时，指定桶的个数、分桶的依据字段，hive就可以自动将数据分桶存储。查询时只需要遍历一个桶里的数据，或者遍历...
hive提前过滤 create table sospdm.tmp_yinfei_test_01 ( id string ) parti...
一、外部表 1、hive中表的类型 管理表 托管表(外部表) #内部表 >内部表也称之为MANAGED_TABLE； >默...
【为什么要了解hive执行流程】 .当我们写了一个sql，但是执行起来很慢，这时如果我们知道这个sql的底层执行流程是怎样的，就会比较容易去优化...
实力缔造非凡，成功绝非偶然！
