五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

Kafka(二)设计原理

Kafka(二)设计原理

1、持久性 kafka使用文件存储消息,这就直接决定kafka在性能上严重依赖文件系统的本身特性。且无论任何OS下,对文件系统本身的优化几乎没有可能。因为...

基于Hadoop2.6.5(HA)的HBase2.0.5配置

基于Hadoop2.6.5(HA)的HBase2.0.5配置

1.配置 在CentOS7Three上配置,注意:一定要安装bin包,不能安装src包 /usr/local/hbase/hbase-2.0.5/con...

python3.7连接hbase

python3.7连接hbase

pip安装thrift 和hbase 包 from thrift.transport import TSocket,TTransport from thri...

CDH5上安装Hive,HBase,Impala,Spark等服务

CDH5上安装Hive,HBase,Impala,Spark等服务

Apache Hadoop的服务的部署比較繁琐。须要手工编辑配置文件、下载依赖包等。Cloudera Manager以GUI的方式的管理CDH集群,提供向导...

hive参数配置详细

hive参数配置详细

hive.exec.mode.local.auto 决定 Hive 是否应该自动地根据输入文件大小,在本地运行(在GateWay运行) true hive...

上传本地tiff文件到Hadoop

上传本地tiff文件到Hadoop

  使用Geotellis的API上传本地Tiff文件到Hadoop   涉及依赖: <dependency>...

测试方法,大数据测试指标,大数据测试技术研究,Hadoop基准测试(一),Hadoop基准测试(二),HBase基准测试

测试方法,大数据测试指标,大数据测试技术研究,Hadoop基准测试(一),Hadoop基准测试(二),HBase基准测试

概述:可以把测试分为前端测试、服务端测试和大数据文件系统测试。   前端测试: 兼容性测试:Spoon Browser Sandbox //...

spark算子总结

spark算子总结

一、RDD概述      1、什么是RDD          &nb...

Hbase性能调优(二)

Hbase性能调优(二)

一、HBase关键参数配置指导 如果同时存在读和写的操作,这两种操作的性能会相互影响。如果写入导致的flush和Compaction操作频繁发生,会占用大...

亿级订单数据的访问与储存

亿级订单数据的访问与储存

表中的数据越多,索引树的范围越大,磁盘读取也越多,性能也就越低 从实践角度来看,一般以百万到千万作为一个表的存储量级,超出该范围之后,性能就会下降,需要采...

Hbase 与mapreduce结合

Hbase 与mapreduce结合

Hbase和mapreduce结合 为什么需要用mapreduce去访问hbase的数据? ——加快分析速度和扩展分析能力 Mapreduce访问hb...

Java中HBase的集中過濾器

Java中HBase的集中過濾器

比較過濾器:    rowKey过滤器  RowFilter    列族过滤器    Famil...

User Login