小翔博客
 首页    Hadoop 
五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

7年前 (2018-12-26) 215225人围观 抢沙发

说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

7年前 (2019-03-13) 32347人围观 抢沙发

背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

7年前 (2019-02-02) 29151人围观 抢沙发

本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

6年前 (2019-04-07) 28118人围观 抢沙发

摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

7年前 (2019-01-31) 34721人围观 抢沙发

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

6年前 (2019-04-18) 31388人围观 抢沙发

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

6年前 (2019-05-23) 30095人围观 抢沙发

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

6年前 (2020-01-23) 30307人围观 抢沙发

1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

6年前 (2020-01-26) 29176人围观 抢沙发

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

[大数据面试题]hadoop核心知识点

[大数据面试题]hadoop核心知识点

6年前 (2019-04-19) 2226人围观 抢沙发

* 面试答案为LZ所写，如需转载请注明出处，谢谢。   1.MR意义。 MR是一个用于处理大数据的分布式离线计算框架，它采用”分而治之“的思...

Mapreduce运行过程分析(基于Hadoop2.4)——(二)

Mapreduce运行过程分析(基于Hadoop2.4)——(二)

6年前 (2019-04-19) 498人围观 抢沙发

4.3 Map类    创建Map类和map函数。map函数是org.apache.hadoop.mapreduce.Mapper类...

RPC----Hadoop核心协议

RPC----Hadoop核心协议

6年前 (2019-04-18) 864人围观 抢沙发

什么是RPC RPC设计的目的 RPC的作用   远程过程调用（RPC）是一个协议，程序可以使用这个协议请求网络中另一台计算机上某程序的服...

Spark2.X集群运行模式

Spark2.X集群运行模式

6年前 (2019-04-18) 1624人围观 抢沙发

  1.几种运行模式介绍 Spark几种运行模式： 1）Local 2）Standalone（Spark自己的集群管理） 3）Yarn...

Spark on Yarn运行错误：Yarn application has already ended! It might have been killed or unable to launch application master

Spark on Yarn运行错误：Yarn application has already ended! It might have been killed or unable to launch application master

6年前 (2019-04-18) 1067人围观 抢沙发

Spark on Yarn模式运行错误： bin/spark-shell --master yarn --deploy-mode client...

关于Java学习的一些补充

关于Java学习的一些补充

6年前 (2019-04-18) 1663人围观 抢沙发

最近写过些Java学习相关的文章。发布之后，通过留言或私信，我又收到了不少很有价值的问题。所以就通一整理分享下。 关于Spring Boot Sprin...

Flink学习笔记：Flink Runtime

Flink学习笔记：Flink Runtime

6年前 (2019-04-18) 1896人围观 抢沙发

  本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学，推荐学习课程：  ...

Zookeeper集群安装与配置

Zookeeper集群安装与配置

6年前 (2019-04-18) 2281人围观 抢沙发

在本文中，Zookeeper节点个数（奇数）为3个。Zookeeper默认对外提供服务的端口号2181。Zookeeper集群内部3个节点之间通信默认使用2...

hdfs的javaAPI使用

hdfs的javaAPI使用

6年前 (2019-04-18) 804人围观 抢沙发

参考博客：https://www.cnblogs.com/Eddyer/p/6641778.html 1.需求 使用hdfs的javaAPI访问hdfs...

hadoop配置支持LZO压缩格式并支持分片

hadoop配置支持LZO压缩格式并支持分片

6年前 (2019-04-18) 706人围观 抢沙发

【简介】 1@LZO本身是不支持分片的，但是我们给LZO压缩的文件加上索引，就支持分片了 2@Linux本身是不支持LZO压缩的，所以我们需要下载安装软...

MapReduce 概述

MapReduce 概述

6年前 (2019-04-18) 1728人围观 抢沙发

定义 Hadoop MapReduce 是一个分布式运算程序的编程框架，用于轻松编写分布式应用程序，以可靠，容错的方式在大型集群（数千个节点）...

4.3-4.6 项目实战之日志数据收集、处理、分析

4.3-4.6 项目实战之日志数据收集、处理、分析

6年前 (2019-04-18) 770人围观 抢沙发

一、日志分析 以nginx日志为例； 1、 日志字段含义： $remote addr 客户端的ip地址（如果中间有代理服务器那么这里显示的ip就为...

User Login