五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

Hadoop记录- zookeeper 监控指标

Hadoop记录- zookeeper 监控指标

目前zookeeper获取监控指标已知的有两种方式: 1、通过zookeeper自带的 four letter words command 获取各种各样的...

Flink独立集群1

Flink独立集群1

要求 软件要求 JAVA_HOME 配置 Flink设置 配置Flink 启动Flink 将JobManager / Task...

使用metrics统计接口tps

使用metrics统计接口tps

metrics的简单介绍 metrics是一种性能指标工具,有很多开源工具使用之来来作为其性能监控,如Hadoop,Kafka,Spark,JStorm等...

修改eclipce操作权限

修改eclipce操作权限

<dependencies> <dependency> <groupId...

java.lang.IllegalArgumentException: URLDecoder: Incomplete trailing escape (%) pattern 的问题处理

java.lang.IllegalArgumentException: URLDecoder: Incomplete trailing escape (%) pattern 的问题处理

1、问题描述   最近在做有关大数据的项目中,解码客户端的请求参数时抛出异常:   java.lang.IllegalArgumentException...

记录一次在windows上安装hadoop

记录一次在windows上安装hadoop

1. 首先前往https://hadoop.apache.org/releases.html下载自己喜欢的hadoop版本。由于winutil只支持2.8的...

3.1-3.5 分布式部署hadoop2.x的准备和配置

3.1-3.5 分布式部署hadoop2.x的准备和配置

一、环境 192.168.1.130     master 192.168.1.131 &nb...

CentOS7 JDK1.8部署详解

CentOS7 JDK1.8部署详解

一、下载 首先需要将本地下载好的jdk包拷贝到Linux中:scp jdk-8u91-linux-x64.tar.gz hadoop@192.168.**...

linux 用户文件权限控制 FACL

linux 用户文件权限控制 FACL

FACL:Filesystem Acess Control List Linux(和其他Unix等POSIX兼容的操作系统)有一种被称为访问控制列表(AC...

NameNode 与 SecondaryNameNode

NameNode 与 SecondaryNameNode

一、NameNode、Fsimage 、Edits 和 SecondaryNameNode 概述 NameNode:在内存中储存 HDFS 文件...

Hadoop记录-hadoop jmx配置

Hadoop记录-hadoop jmx配置

1.hadoop-env.sh添加export HADOOP_JMX_OPTS="-Dcom.sun.management.jmxremote.authen...

5、Kafka生产过程分析

5、Kafka生产过程分析

1、写入方式 producer采用推(push)模式将消息发布到broker, 每条消息都被追加(append)到分区(patition)中,属于顺序...

User Login