小翔博客
 首页    Hadoop 
五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

7年前 (2018-12-26) 215223人围观 抢沙发

说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

7年前 (2019-03-13) 32347人围观 抢沙发

背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

7年前 (2019-02-02) 29151人围观 抢沙发

本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

6年前 (2019-04-07) 28118人围观 抢沙发

摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

7年前 (2019-01-31) 34721人围观 抢沙发

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

6年前 (2019-04-18) 31388人围观 抢沙发

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

6年前 (2019-05-23) 30095人围观 抢沙发

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

6年前 (2020-01-23) 30307人围观 抢沙发

1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

6年前 (2020-01-26) 29176人围观 抢沙发

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

报错：MetaException(message:Version information not found in metastore. )

报错：MetaException(message:Version information not found in metastore. )

6年前 (2019-05-08) 1152人围观 抢沙发

报错背景： CDH安装完成hive后启动失败。 报错现象： [main]: Metastore Thrift Server threw an e...

sparkOnYarn报错org.apache.hadoop.fs.FSDataInputStream

sparkOnYarn报错org.apache.hadoop.fs.FSDataInputStream

6年前 (2019-05-08) 2211人围观 抢沙发

Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/hadoop/f...

BD基础02mapreduce，yarn

BD基础02mapreduce，yarn

6年前 (2019-05-08) 1529人围观 抢沙发

      1　　算切片，检查路径，提交资源到hdfs最终要求2分布作业 2　　调度和资源管理两个任务，1触发2作...

1.6-1.7 定义agent 读取日志存入hdfs

1.6-1.7 定义agent 读取日志存入hdfs

6年前 (2019-05-08) 1006人围观 抢沙发

一、定义agent，并运行 1、配置文件 #计划 ##收集hive的日志，存到hdfs /opt/cdh-5.3.6/hive-0.13.1-cdh5...

报错：HDFS IO error org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode=

报错：HDFS IO error org.apache.hadoop.security.AccessControlException: Permission denied: user=root, access=WRITE, inode="/yk/dl/alarm_his":hdfs:supergroup:drwxr-xr-x

6年前 (2019-05-08) 1737人围观 抢沙发

报错背景： CDH集成了Flume服务，准备通过Flume将kafka中的数据放到HDFS中， 启动Flume的时候报错。 报错现象： 19/...

Hadoop Local（本地）模式搭建

Hadoop Local（本地）模式搭建

6年前 (2019-05-08) 1782人围观 抢沙发

  1. 下载压缩包 2. 配置环境变量 3. 配置Hadoop的JAVA_HOME路径 4. WordCo...

Spark应用程序开发流程

Spark应用程序开发流程

6年前 (2019-05-07) 2316人围观 抢沙发

配置文件: pom.xml <properties> <scala.version>2.11.8</scala...

Kettle整理,kettle学习笔记（九）——子转换、集群与变量

Kettle整理,kettle学习笔记（九）——子转换、集群与变量

6年前 (2019-05-07) 867人围观 抢沙发

 下载kettle版本 （1）hadoop version 查看hadoop的版本    　　hadoop2.6...

伪分布式下Hadoop3.0打不开localhost：50070

伪分布式下Hadoop3.0打不开localhost：50070

6年前 (2019-05-07) 1371人围观 抢沙发

伪分布式下Hadoop打不开localhost：50070，可以打开localhost：8088 1、对hdfs进行format hadoop name...

大数据学习笔记之Zookeeper（四）：Zookeeper实战篇（二）

大数据学习笔记之Zookeeper（四）：Zookeeper实战篇（二）

6年前 (2019-05-07) 1661人围观 抢沙发

目录 4.1 分布式安装部署 4.2 客户端命令行操作 4.3 API应用 4.3.1 eclipse环境搭建 4...

CDH 5.12.0 中使用 spark 2.4.2

CDH 5.12.0 中使用 spark 2.4.2

6年前 (2019-05-07) 1812人围观 抢沙发

CDH 5.12.0 默认spark使用1.6.0，虽然spark 1.6.0支持DataFrame，但显得有点版本过旧。需要在cdh 5.12中使用spa...

hadoop的安装和配置

hadoop的安装和配置

6年前 (2019-05-07) 1452人围观 抢沙发

hadoop安装 在Apache Hadoop主页的下载页面https://hadoop.apache.org/releases.html选择版本进行下...

User Login