五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...

OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...

亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程...

HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...

Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...

Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...

hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...

可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...

Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...

transform Vs Udf

transform Vs Udf

在鞋厂的第一个任务,拆表。需要把订单表按照开始日期和结束日期拆分成多条记录,挺新鲜的~ transform方式,使用到了python。 (1)把hive...

shell入门基础&常见命令及用法

shell入门基础&常见命令及用法

shell     shell是一个命令解释器,实际是一个程序,/bin/bash,linux中所有的命令都由它来解释,有自...

利用树莓派3和RTL-SDR V3搭建一个低成本的QRP小功率监测点

利用树莓派3和RTL-SDR V3搭建一个低成本的QRP小功率监测点

TUTORIAL: SETTING UP A LOW COST QRP (FT8, JT9, WSPR ETC) MONITORING STATION WI...

大数据技术——数据处理和分析

大数据技术——数据处理和分析

大数据技术——数据处理和分析 场景:数据清洗,数据规范化,统计分析等。 1. 实时处理 对于实时数据及时处理,并输出结果。 推荐技术: SPARK...

大数据技术——数据获取

大数据技术——数据获取

主要介绍大数据获取的应用和场景,组件和技术不做详述,之后介绍。 1. 网络爬虫 根据URL,并按照一定规则爬取网页内容,存储进库。 相关概念: h...

云中树莓派(4):利用声音传感器控制Led灯

云中树莓派(4):利用声音传感器控制Led灯

  云中树莓派(1):环境准备 云中树莓派(2):将传感器数据上传到AWS IoT 并利用Kibana进行展示 云中树莓派(3):通过 AW...

Python进阶03 模块

Python进阶03 模块

  我们之前看到了函数和对象。从本质上来说,它们都是为了更好的组织已经有的程序,以方便重复利用。 模块(module)也是为了同样的目的。在P...

Linux-Python安装

Linux-Python安装

1. 下载 wget https://www.python.org/ftp/python/3.6.0/Python-3.6.0.tgz 2. 解压缩文件...

linux命令进阶及和windows进行文件传输的所有方式

linux命令进阶及和windows进行文件传输的所有方式

1.图例  ------>原图出处 2. 结构图 根目录说明 3.linux相关命令 cd(change directory切换目...

Linux : Vim 使用与配置 (附 GitHub 自动化配置脚本)

Linux : Vim 使用与配置 (附 GitHub 自动化配置脚本)

由于经常使用 vim 编辑配置文件,有时候也会进行使用vim 编写一些脚本和c/c++ 程序,所以配置一个常用的 vim 是很是必要的。这篇博文主要是记录v...

怎样进行大数据的入门级学习

怎样进行大数据的入门级学习

1R programming如果只是想初步了解一下R语言已经R在数据分析方面的应用,那不妨就看看这两本:R in action:我的R语言大数据101。其实...

Spark官方文档翻译(一)~Overview

Spark官方文档翻译(一)~Overview

Spark官方文档翻译,有问题请及时指正,谢谢。   Overview页 http://spark.apache.org/docs/late...

User Login