五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

zookeeper无法启动

zookeeper无法启动"Unable to load database on disk

QuorumPeerMain,ResourceManager都没有起来 resourcemanager.log如下 2018-09-28 23:17:02...

大数据的入门级学习(全套)

大数据的入门级学习(全套)

1.Linux基础和分布式集群技术 学完此阶段可掌握的核心能力: 熟练使用Linux,熟练安装Linux上的软件,了解熟悉负载均衡、高可靠等集群相关概念...

Hadoop的版本演变

Hadoop的版本演变

Hadoop版本演变 Apache Hadoop的四大分支构成了三个系列的Hadoop版本: 0.20.X系列    主要有两个特征:App...

hadoop配置历史服务器&&配置日志聚集

hadoop配置历史服务器&&配置日志聚集

配置历史服务器 1、在mapred-site.xml中写入一下配置 <property> <name>mapreduce.j...

hadoop_批量命令脚本&同步文件脚本

hadoop_批量命令脚本&同步文件脚本

1、xcall.sh  批量命令脚本,例:xcall.sh jps ,查看hadoop101~ hadoop104的jps进程   注意:在执行命令的时候...

分布式文件系统(HDFS)与 linux系统文件系统 对比

分布式文件系统(HDFS)与 linux系统文件系统 对比

初次接触分布式文件系统,有很多迷惑。通过参考网络文章,这里进行对比一下Hadoop 分布式文件系统(HDFS)与 传统文件系统之间的关系:...

Spark之编程模型RDD

Spark之编程模型RDD

前言:Spark编程模型两个主要抽象,一个是弹性分布式数据集RDD,它是一种特殊集合,支持多种数据源,可支持并行计算,可缓存;另一个是两种共享变量,支持并行...

无法外网访问VM中的hadoop yarn的8088端口

无法外网访问VM中的hadoop yarn的8088端口

1、检查是否正确的启动了resourcemanager服务   若是没有启动,请检查yarn-site-xml配置 2、若是启动了   1、检查客户机...

查看centos操作系统、java_jdk、hadoop位数

查看centos操作系统、java_jdk、hadoop位数

1、centos操作系统位数:   file /bin/ls      此为64位 2、java jdk 位数:   java -version...

hadoop的namenode启动失败

hadoop的namenode启动失败

1、jps发现namenode启动失败   每次开机都要重新格式化一下namenode才可以   其实问题出现自tmp文件上,因为每次开机就会被清空,所...

大数据某公司面试题-附答案

大数据某公司面试题-附答案

最近在观察一些大数据方面的职位。特贡献一套面试题,希望对找工作的博友们一点帮助!   1.简述Linux以及Linux命令  ...

hive函数应用之操作json

hive函数应用之操作json

1、创建表   createtable.sql中存放的创建表语句如下 create external table adt.jsontest (...

User Login