小翔博客
 首页    Hadoop 
五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

7年前 (2018-12-26) 215223人围观 抢沙发

说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

7年前 (2019-03-13) 32347人围观 抢沙发

背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

7年前 (2019-02-02) 29151人围观 抢沙发

本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

6年前 (2019-04-07) 28118人围观 抢沙发

摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

7年前 (2019-01-31) 34721人围观 抢沙发

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

6年前 (2019-04-18) 31388人围观 抢沙发

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

6年前 (2019-05-23) 30095人围观 抢沙发

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

6年前 (2020-01-23) 30307人围观 抢沙发

1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

6年前 (2020-01-26) 29176人围观 抢沙发

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

Hive的数据倾斜

Hive的数据倾斜

6年前 (2019-05-15) 909人围观 抢沙发

目录 什么是数据倾斜 Hadoop框架的特性 主要表现 容易数据倾斜的情况 产生数据清洗的原因 业务场景 空值产...

spring boot 2.x 系列 —— spring boot 整合 kafka

spring boot 2.x 系列 —— spring boot 整合 kafka

6年前 (2019-05-14) 1099人围观 抢沙发

文章目录 一、kafka的相关概念：1.主题和分区2.分区复制3. 生产者4. 消费者5.broker和集群二、项目说明1.1 项目结构说明1.2 主要依...

自定义函数

自定义函数

6年前 (2019-05-14) 822人围观 抢沙发

add jar /root/Downloads/apache-hive-1.2.0-bin/lib/udf.jar; 1.引jar  写自己想用...

Spark-Streaming获取kafka数据的两种方式：Receiver与Direct的方式

Spark-Streaming获取kafka数据的两种方式：Receiver与Direct的方式

6年前 (2019-05-14) 991人围观 抢沙发

目录 Receiver Direct Direct代码  简单理解为：Receiver方式是通过zookeeper来连接k...

Flume案例（3）

Flume案例（3）

6年前 (2019-05-14) 1194人围观 抢沙发

1) Spool Spool监测配置的目录下新增的文件，并将文件中的数据读取出来。需要注意两点： ² 拷贝到spool目录下的文件不...

Flume案例（2）

Flume案例（2）

6年前 (2019-05-14) 1416人围观 抢沙发

1) Exec 创建agent配置文件 # > vi /home/bigdata/flume/conf/e...

技术揭秘12306改造（一）：尖峰日PV值297亿下可每秒出票1032张

技术揭秘12306改造（一）：尖峰日PV值297亿下可每秒出票1032张

6年前 (2019-05-14) 2200人围观 抢沙发

技术揭秘12306改造（一）：尖峰日PV值297亿下可每秒出票1032张 发表于 2015-02-15 08:41| 45540次阅读| 来源 CSD...

Windows环境编译Spark源码

Windows环境编译Spark源码

6年前 (2019-05-14) 1193人围观 抢沙发

一、下载源码包 　　1. 下载地址有官网和github： 　　http://spark.apache.org/downloads.html 　　htt...

Zookeeper 学习（二） zookeeper的安装

Zookeeper 学习（二） zookeeper的安装

6年前 (2019-05-14) 2199人围观 抢沙发

一，服务要求 　　1.1 主机服务 　　1.2 文件下载 二，集群安装 三，集群启动 　　3.1 集群启动 　　3.2 进程查看 　　3.3...

2019年最新老男孩高性能Web架构与自动化运维架构视频教程

2019年最新老男孩高性能Web架构与自动化运维架构视频教程

6年前 (2019-05-14) 1257人围观 抢沙发

课程目录L001-老男孩架构15期-Web架构之单机时代L002-老男孩架构15期-Web架构之集群时代L003-老男孩架构15期-Web架构之dnsL00...

hadoop-hdfs-ha配置-搭建

hadoop-hdfs-ha配置-搭建

6年前 (2019-05-13) 989人围观 抢沙发

官方配置原文：  http://hadoop.apache.org/docs/r2.6.5/hadoop-project-dist/hado...

Spark读取HDFS中的Zip文件

Spark读取HDFS中的Zip文件

6年前 (2019-05-13) 2397人围观 抢沙发

1. 任务背景 近日有个项目任务，要求读取压缩在Zip中的百科HTML文件，经分析发现，提供的Zip文件有如下特点(=>指代对应解决方案)： (1...

User Login