五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

[HDFS Manual] CH8 HDFS Snapshots

[HDFS Manual] CH8 HDFS Snapshots

HDFS Snapshots HDFS Snapshots. 1 1. 概述... 1 1.1 Snapshottable目录... 1 1.2 快...

greenplum集群某台机器磁盘占用100%处理方式

greenplum集群某台机器磁盘占用100%处理方式

一、问题描述 使用gpfdist往集群中导入大量数据, 一段时间后连接退出,集群无法连接  二、问题定位 使用如下命令查看: gpsta...

阿里云MaxCompute被Forrester评为全球云端数据仓库领导者

阿里云MaxCompute被Forrester评为全球云端数据仓库领导者

参考消息网3月19日报道 日前,全球权威调研机构佛瑞斯特研究公司(Forrester)发布《2018年一季度云端数据仓库》报告。报告对大数据服务商的主要功能...

为了让开发者写MaxCompute SQL更爽,DataWorks 增强SQL 编辑器功能

为了让开发者写MaxCompute SQL更爽,DataWorks 增强SQL 编辑器功能

众所周知,数据开发和分析的同学每天都要花大量时间写MaxCompute SQL;Dataworks作为数据开发的IDE直接影响着大家的开发效率,这次新上线的...

unbuntu系统:python2.7安装pyspark

unbuntu系统:python2.7安装pyspark

  以前在进行搜索引擎rank-svm排序模型训练时,直接使用python读取的HDFS日志文件、统计计算等预处理操作再进行svm模型,最终产生出训练模型。...

自动化部署脚本

自动化部署脚本

1、首先安装各台mini机器上安装本地源、安装SSH软件,然后把已经安装好了的jdk都删除掉 2、jdk拷贝root目录下 3、拷贝到服务器目录...

zookeeper集群的搭建

zookeeper集群的搭建

1、如果要实现文件的拖放就必须安装lrzsz 2、解压(看命令就可以) 3、删除一些不必要的文件 4、修改配置文件  ...

YUM本地源制作与yum网络版仓库

YUM本地源制作与yum网络版仓库

1、修改本机上的YUM源配置文件,将源指向自己 cd /etc/yum.repos.d/ 备份原有的YUM源的配置文件 rename .repo .r...

storm集群架构

storm集群架构

一、storm何许人也? Storm 是Twitter的一个开源框架。Storm一个分布式的、容错的实时计算系统,它被托管在GitHub上,遵循 Ec...

CDN高级技术专家周哲:深度剖析短视频分发过程中的用户体验优化技术点

CDN高级技术专家周哲:深度剖析短视频分发过程中的用户体验优化技术点

深圳云栖大会已经圆满落幕,在3月29日飞天技术汇-弹性计算、网络和CDN专场中,阿里云CDN高级技术专家周哲为我们带来了《海量短视频极速分发》的主题分享,带...

ssh免密登陆配置

ssh免密登陆配置

SSH免密码原理示意图 过程:首先在A主机上面产生一个公钥,把它拷贝到B主机上面,这个时候当A主机向B发送请求的时候,B主机就会去查看是否注册过A,如...

虚拟机克隆CentOs后网卡问题

虚拟机克隆CentOs后网卡问题

1、直接修改  /etc/sysconfig/network-scripts/ifcfg-eth0 删掉UUID HWADDR配置静态地址...

User Login