五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

Flume的简单使用

Flume的简单使用

一.flume介绍 1.flume是一个分布式的日志采集系统 2.在flume系统中,最核心的是agent,每个agent都相当于一个数据传递员。 &...

新闻网大数据实时分析可视化系统项目——16、Spark2.X集群运行模式

新闻网大数据实时分析可视化系统项目——16、Spark2.X集群运行模式

1.几种运行模式介绍 Spark几种运行模式: 1)Local 2)Standalone 3)Yarn 4)Mesos 下载IDEA并安装,可以...

新闻网大数据实时分析可视化系统项目——15、基于IDEA环境下的Spark2.X程序开发

新闻网大数据实时分析可视化系统项目——15、基于IDEA环境下的Spark2.X程序开发

1.Windows开发环境配置与安装 下载IDEA并安装,可以百度一下免费文档。 2.IDEA Maven工程创建与配置 1)配置maven 2...

利用Hadoop streaming 进行词频统计

利用Hadoop streaming 进行词频统计

创建一个文件夹 bin/hdfs dfs -mkdir /input 将要统计的文件上传到hadoopbin/hadoop fs -put /test....

MapReduce Shuffle 和 Spark Shuffle 原理概述

MapReduce Shuffle 和 Spark Shuffle 原理概述

Shuffle简介 Shuffle的本意是洗牌、混洗的意思,把一组有规则的数据尽量打乱成无规则的数据。而在MapReduce中,Shuffle更像是洗牌的...

新闻网大数据实时分析可视化系统项目——4、Zookeeper分布式集群部署

新闻网大数据实时分析可视化系统项目——4、Zookeeper分布式集群部署

ZooKeeper 是一个针对大型分布式系统的可靠协调系统;它提供的功能包括:配置维护、名字服务、分布式同步、组服务等; 它的目标就是封装好复杂易出错的关键...

新闻网大数据实时分析可视化系统项目——3、Hadoop2.X分布式集群部署

新闻网大数据实时分析可视化系统项目——3、Hadoop2.X分布式集群部署

(一)hadoop2.x版本下载及安装 Hadoop 版本选择目前主要基于三个厂商(国外)如下所示: 1.基于Apache厂商的最原始的hadoop版本...

新闻网大数据实时分析可视化系统项目——2、linux环境准备与设置

新闻网大数据实时分析可视化系统项目——2、linux环境准备与设置

1.Linux系统常规设置 1)设置ip地址 使用界面修改ip比较方便,如果Linux没有安装操作界面,需要使用命令:vi /etc/sysconfig...

Centous最小系统下安装hadoop

Centous最小系统下安装hadoop

1、创建haddop用户,并设置密码 useradd -m hadoop -s /bin/bash passwd hadoop   2、为...

好程序员大数据分享修行宝典-HDFS读写两步教程

好程序员大数据分享修行宝典-HDFS读写两步教程

  好程序员大数据分享修行宝典-HDFS读写两步教程   一、HDFS读写之前提   NameNode(元数据节点):存放元数据(名称空间、副本数、权限...

前端开发和后端开发,哪个薪酬更高?

前端开发和后端开发,哪个薪酬更高?

1.前端工资比后端低吗?我可以负责任的告诉大家:据我所知,至少在杭的网易、阿里,前端跟后端是一个批发价。 关于以上,我说的是业务层的。假如你非得说开发We...

问题解决:Could not locate executable nullinwinutils.exe in the Hadoop binaries

问题解决:Could not locate executable nullinwinutils.exe in the Hadoop binaries

Hadoop报错:Failed to locate the winutils binary in the hadoop binary path Could...

User Login