小翔博客
 首页    大数据    Hadoop 
五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

6年前 (2018-12-26) 204064人围观 抢沙发

说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

6年前 (2019-03-13) 22122人围观 抢沙发

背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

6年前 (2019-02-02) 19085人围观 抢沙发

本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

6年前 (2019-04-07) 18255人围观 抢沙发

摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

6年前 (2019-01-31) 24823人围观 抢沙发

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

6年前 (2019-04-18) 21605人围观 抢沙发

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

5年前 (2019-05-23) 20380人围观 抢沙发

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

5年前 (2020-01-23) 20599人围观 抢沙发

1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

5年前 (2020-01-26) 19741人围观 抢沙发

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

CentOS6安装各种大数据软件 第四章：Hadoop分布式集群配置

CentOS6安装各种大数据软件 第四章：Hadoop分布式集群配置

6年前 (2019-03-28) 905人围观 抢沙发

相关文章链接 CentOS6安装各种大数据软件 第一章：各个软件版本介绍 CentOS6安装各种大数据软件 第二章：Linux各个软件启动命令 Cen...

hive介绍、安装配置、表操作基础知识适合小白学习

hive介绍、安装配置、表操作基础知识适合小白学习

6年前 (2019-03-27) 2562人围观 抢沙发

1.hive概述 　　Apache Hive数据仓库软件有助于使用SQL读取，编写和管理驻留在分布式存储中的大型数据集。可以将结构投影到已存储的数据中。...

hbase rowkey 的设计

hbase rowkey 的设计

6年前 (2019-03-27) 2058人围观 抢沙发

什么是rowkey Hbase是一个分布式的、面向列的数据库，它和一般关系型数据库的最大区别是：HBase很适合于存储非结构化的数据，还有就是它基于列的而...

hbase 过滤器 rowfilter

hbase 过滤器 rowfilter

6年前 (2019-03-27) 2405人围观 抢沙发

HBase为筛选数据提供了一组过滤器，通过这个过滤器可以在HBase中的数据的多个维度（行，列，数据版本）上进行对数据的筛选操作，也就是说过滤器最终能够筛选...

kubernetes实践之三：深入理解Pod对象

kubernetes实践之三：深入理解Pod对象

6年前 (2019-03-25) 1853人围观 抢沙发

一．Pod定义 最小部署单元 一组容器集合 一个pod中的容器共享网络命名空间 Pod是短暂的 二．Pod容器分类 基...

Mapreduce的排序（全局排序、分区加排序、Combiner优化）

Mapreduce的排序（全局排序、分区加排序、Combiner优化）

6年前 (2019-03-24) 1944人围观 抢沙发

一、MR排序的分类 　　1.部分排序：MR会根据自己输出记录的KV对数据进行排序，保证输出到每一个文件内存都是经过排序的； 　　2.全局排序； 　　3...

Mapreduce的序列化和流量统计程序开发

Mapreduce的序列化和流量统计程序开发

6年前 (2019-03-24) 2087人围观 抢沙发

一、Hadoop数据序列化的数据类型 　　Java数据类型　=>　Hadoop数据类型 　　int　　　　　　　　　IntWritable 　　...

Yarn集群的搭建、Yarn的架构和WordCount程序在集群提交方式

Yarn集群的搭建、Yarn的架构和WordCount程序在集群提交方式

6年前 (2019-03-24) 1674人围观 抢沙发

一、Yarn集群概述及搭建 　　1.Mapreduce程序运行在多台机器的集群上，而且在运行是要使用很多maptask和reducertask，这个过程中...

Mapreduce概述和WordCount程序

Mapreduce概述和WordCount程序

6年前 (2019-03-24) 2147人围观 抢沙发

一、Mapreduce概述 　　Mapreduce是分布式程序编程框架，也是分布式计算框架，它简化了开发！ 　　Mapreduce将用户编写的业务逻辑代...

HDFS及其各组件的机制

HDFS及其各组件的机制

6年前 (2019-03-23) 1921人围观 抢沙发

一、HDFS运行机制 　　概述：用户的文件会被切块后存储在多台datanode节点中，并且每个文件在整个集群中存放多个副本，副本的数量可以通过修改配置自己...

HDFS常用API（1）

HDFS常用API（1）

6年前 (2019-03-22) 1263人围观 抢沙发

一、HDFS集群API所需要jar包的maven配置信息 <dependency> <gro...

MIT-6.824 Lab 3: Fault-tolerant Key/Value Service

MIT-6.824 Lab 3: Fault-tolerant Key/Value Service

6年前 (2019-03-22) 931人围观 抢沙发

概述 lab2中实现了raft协议，本lab将在raft之上实现一个可容错的k/v存储服务，第一部分是实现一个不带日志压缩的版本，第二部分是实现日志压缩。...

User Login