说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...
背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...
本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...
摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...
一、环境及软件准备 1、集群规划...
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...
1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...
1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...
近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...
1. Flink、Storm、Sparkstreaming对比 Storm只支持流处理任务，数据是一条一条的源源不断地处理，而MapReduce、sp...
现在我们把文件都存在HDFS文件系统之上，现在有一个jdk.zip文件存储在上面，我们想知道这个文件在哪些节点之上？切成了几个块？每个块的大小是怎么样？先上...
使用hadoop命令：hadoop fs -ls /hdfsapi/test 我们能够查看HDFS文件系统/hdfsapi/test目录下的所有...
1.需求 通过流的方式访问hdfs，在mapreduce底层实现中会有直接应用。 2.环境配置 (1)hadoop为本地模式 (2)pom文件代码如...
近些年，由于智能手机的迅速普及推动移动互联网技术的蓬勃发展，全球数据呈现爆发式的增长。2018年5月企鹅号的统计结果：互联网每天新增的数据量达2...
hadoop分布式文件系统 1、hdfs是一个分布式文件系统，简单理解就是多台机器组成的一个文件系统。 2、hdfs中有3个重要的模块，...
1. 写在前面 flume-ng高可用长在大数据处理环节第一个出现，对于处理日志文件有很好的作用，本篇博客将详细介绍flume-ng的高可用负载均衡搭建...
首先，重点重复重复再重复： /** * 使用Java API操作HDFS文件系统 * 关键点: * 1)创建 Configu...
常用指令 ls 显示文件...
一、简介 Spark 的一大好处就是可以通过增加机器数量并使用集群模式运行，来扩展程序的计算能力。好在编写用于在集群上并行执行的 Spark 应用所使...
#!/bin/sh ip=10.116.100.11 port=8088 export HADOOP_HOME=/app/hadoop/bin rm...
这是因为缺少一个hadoop-common包，引入即可： <dependency> <groupId>org.apache...
实力缔造非凡，成功绝非偶然！
