说明：从严格的列式存储的定义来看，Hbase并不属于列式存储，有人称它为面向列的存储，请各位看官注意这一点。 行式存储 传统的数据库是关...
背景 过年前，寂寞哥给我三台机器，说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了，寂寞哥说之前的TS...
本篇主要讲工作中的真实经历，我们怎么打造亿级日志平台，同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...
摘要： 本文主要介绍了hbase对数据压缩，编码的支持，以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求，...
一、环境及软件准备 1、集群规划...
Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...
1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始，之前的版本均是不支持NameNode HA的高可用...
1.暗黑谷歌的由来 有这么一款搜索引擎，它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...
近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目，需求为迁移centos 7.2 linux的oracle12.2数据库至windo...
注：此文章所写内容完全在虚拟机配置，系统：centos，jdk和hadoop已经安装完成所配集群包括hadoop01,hadoop02,hadoop03,h...
该文章是基于 Hadoop2.7.6_01_部署 进行的 1. 主机规划 主机名称...
背景： 本项目的服务器是内网环境，没有网络，因此需要在离线的环境中，安装head服务。 需要用到的安装包有： node的安装包 elas...
在鞋厂的第一个任务，拆表。需要把订单表按照开始日期和结束日期拆分成多条记录，挺新鲜的~ transform方式，使用到了python。 （1）把hive...
前言 本文主要介绍 MapReduce 的原理及开发，讲解如何利用 Combine、Partitioner、WritableComparator等组件...
数据倾斜解决方法，通常从以下几个方面进行考量： 业务上丢弃 • 不参与关联：在on条件上直接过滤 • 随机...
Flink+Kafka整合实例 1.使用工具Intellig IDEA新建一个maven项目，为项目命名为kafka01。 2.我的pom.xml文件配...
所有萌生入行的想法与想要学习Java的同学的初衷是一样的。岗位非常火，就业薪资比较高,，前景非常可观。基本都是这个原因而向往大数据，但是对大数据却不甚了解。...
1.工程maven依赖包 1 2 <properties> 3 <spark_version>2.3.1&...
方法1，建立临时表，利用hive的collect_set 进行去重。 create table if not exists tubutest (...
Flink基本概念 1.The history of Flink？ 2.What is Flink？ Apache Flink是一个开源的分布式、...
1、首先新建用户，adduser命令 sudo adduser hadoop passwd hadoop 输入密码之后，一路 y 确定。...
实力缔造非凡，成功绝非偶然！
