小翔博客
 首页    Hadoop 
五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

7年前 (2018-12-26) 215225人围观 抢沙发

说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

7年前 (2019-03-13) 32347人围观 抢沙发

背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

7年前 (2019-02-02) 29151人围观 抢沙发

本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

6年前 (2019-04-07) 28118人围观 抢沙发

摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

7年前 (2019-01-31) 34721人围观 抢沙发

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

6年前 (2019-04-18) 31388人围观 抢沙发

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

6年前 (2019-05-23) 30095人围观 抢沙发

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

6年前 (2020-01-23) 30307人围观 抢沙发

1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

6年前 (2020-01-26) 29176人围观 抢沙发

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

HDFS上传数据的流程

HDFS上传数据的流程

6年前 (2019-03-29) 1309人围观 抢沙发

1.当客户端输入一条指令：hdfs dfs -put text.txt /text时，这条命令会给到DistributeFileSystem。 2.通过D...

zookeeper的安装与配置

zookeeper的安装与配置

6年前 (2019-03-28) 1719人围观 抢沙发

zookeeper简介 　　1.官网：http://zookeeper.apache.org/ 　　　　介绍：Apache ZooKeeper致力于开发...

hive介绍、安装配置、表操作基础知识适合小白学习

hive介绍、安装配置、表操作基础知识适合小白学习

6年前 (2019-03-27) 2618人围观 抢沙发

1.hive概述 　　Apache Hive数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。...

Mapreduce的排序（全局排序、分区加排序、Combiner优化）

Mapreduce的排序（全局排序、分区加排序、Combiner优化）

6年前 (2019-03-24) 1968人围观 抢沙发

一、MR排序的分类 　　1.部分排序：MR会根据自己输出记录的KV对数据进行排序，保证输出到每一个文件内存都是经过排序的； 　　2.全局排序； 　　3...

Mapreduce的序列化和流量统计程序开发

Mapreduce的序列化和流量统计程序开发

6年前 (2019-03-24) 2111人围观 抢沙发

一、Hadoop数据序列化的数据类型 　　Java数据类型　=>　Hadoop数据类型 　　int　　　　　　　　　IntWritable 　　...

Yarn集群的搭建、Yarn的架构和WordCount程序在集群提交方式

Yarn集群的搭建、Yarn的架构和WordCount程序在集群提交方式

6年前 (2019-03-24) 1704人围观 抢沙发

一、Yarn集群概述及搭建 　　1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中...

Mapreduce概述和WordCount程序

Mapreduce概述和WordCount程序

6年前 (2019-03-24) 2167人围观 抢沙发

一、Mapreduce概述 　　Mapreduce是分布式程序编程框架，也是分布式计算框架，它简化了开发！ 　　Mapreduce将用户编写的业务逻辑代...

HDFS常用API（1）

HDFS常用API（1）

7年前 (2019-03-22) 1330人围观 抢沙发

一、HDFS集群API所需要jar包的maven配置信息 <dependency> <gro...

hadoop安装

hadoop安装

7年前 (2019-03-21) 2321人围观 抢沙发

Linux环境步骤：(root用户密码为123456) 1. 使用useradd hadoop添加用户 2. 使用passwd hadoop设置用户密码，密...

克隆虚拟机及配置yum源的步骤及讲解（Hadoop基础）

克隆虚拟机及配置yum源的步骤及讲解（Hadoop基础）

7年前 (2019-03-13) 1075人围观 抢沙发

1、克隆虚拟机 　　　　找一台需要克隆的虚拟机但虚拟机必须在关机下进行，（建议将前期Linux环境 配置完成） 　　　　在VMware中右键虚...

Hadoop的HDFS和MapReduce的安装（三台伪分布式集群）

Hadoop的HDFS和MapReduce的安装（三台伪分布式集群）

7年前 (2019-03-11) 1246人围观 抢沙发

一、创建虚拟机 　　1、从网上下载一个Centos6.X的镜像（http://vault.centos.org/） 　　2、安装一台虚拟机配置如下：cp...

Hadoop 部署文档

Hadoop 部署文档

7年前 (2019-03-11) 2006人围观 抢沙发

Hadoop 部署文档 1 先决条件 2 下载二进制文件 3 修改配置文件 3.1 core-...

User Login