五分钟轻松了解Hbase面向列的存储

[置顶] 五分钟轻松了解Hbase面向列的存储

说明:从严格的列式存储的定义来看,Hbase并不属于列式存储,有人称它为面向列的存储,请各位看官注意这一点。 行式存储 传统的数据库是关...
OpenTSDB/HBase的调优过程整理

[置顶] OpenTSDB/HBase的调优过程整理

背景 过年前,寂寞哥给我三台机器,说搞个新的openTSDB集群。机器硬件是8核16G内存、3个146G磁盘做数据盘。 我说这太抠了,寂寞哥说之前的TS...
亿级 ELK 日志平台构建部署实践

[置顶] 亿级 ELK 日志平台构建部署实践

本篇主要讲工作中的真实经历,我们怎么打造亿级日志平台,同时手把手教大家建立起这样一套亿级 ELK 系统。日志平台具体发展历程可以参考上篇 「从 ELK 到...
HBase数据压缩编码探索

[置顶] HBase数据压缩编码探索

摘要: 本文主要介绍了hbase对数据压缩,编码的支持,以及云hbase在社区基础上对数据压缩率和访问速度上了进行的改进。前言你可曾遇到这种需求,...
Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

[置顶] Ambari2.7.3 和HDP3.1.0搭建Hadoop集群

一、环境及软件准备 1、集群规划...
Ambari2.6.2 HDP2.6.5 大数据集群搭建

[置顶] Ambari2.6.2 HDP2.6.5 大数据集群搭建

Ambari 2.6.2 中 HDFS-2.7.3 YARN-2.7.3 HIVE-1.2.1 HBASE-1.1.2 ZOOKEEPER-3.4.6 SP...
hadoop-2.7.7 HA完全分布式集群部署详解

[置顶] hadoop-2.7.7 HA完全分布式集群部署详解

1.Hadoop HA简介及工作原理Hadoop NameNode官方开始支持HA集群默认是从2.0开始,之前的版本均是不支持NameNode HA的高可用...
可怕的黑暗料理之暗黑谷歌搜索神器

[置顶] 可怕的黑暗料理之暗黑谷歌搜索神器

1.暗黑谷歌的由来 有这么一款搜索引擎,它一刻不停的在寻找着所有和互联网关联的PLC、摄像头、红绿灯、打印机、路由器、交换机、服务器、数据库等等各种软硬件...
Oracle12c跨平台迁移之linux至windows

[置顶] Oracle12c跨平台迁移之linux至windows

近期应朋友邀请协助处理一起oracle数据库跨平台迁移的项目,需求为迁移centos 7.2 linux的oracle12.2数据库至windo...
[python]python中的一些包以及他们的基本用处和安装

[python]python中的一些包以及他们的基本用处和安装

pika可以用来连接rabbitmqpip install pika -i http://pypi.douban.com/simple/ --trusted...
Python爬虫教程-新浪微博分布式爬虫分享

Python爬虫教程-新浪微博分布式爬虫分享

爬虫功能: 此项目实现将单机的新浪微博爬虫重构成分布式爬虫。 Master机只管任务调度,不管爬数据;Slaver机只管将Request抛给Master...
vue koa2 mongodb 从零开始做个人博客(一) 登录注册功能前端部分

vue koa2 mongodb 从零开始做个人博客(一) 登录注册功能前端部分

0.效果演示 插入视频插不进来,就很烦。可以出门右拐去优酷看下(点我!)。  1.准备工作 1.1前端框架 前端使用了基于vue.js的n...
学成在线(第4天)

学成在线(第4天)

页面静态化需求 1、为什么要进行页面管理?本项目cms系统的功能就是根据运营需要,对门户等子系统的部分页面进行管理,从而实现快速根据用户需求修改页面内容并...
mysql语法

mysql语法

mysql知识点 一、基本概念 1、计算机:一种电子设备,能够进行数值、逻辑和储存记忆功能。 2、数据:凡是能被计算机识别的一切功能(信息) 3、数据...
如何选取常见的开源协议

如何选取常见的开源协议

  世界上的开源许可证(Open Source License)大概有上百种,常见的开源协议大致有GPL、BSD、MIT、Mozilla、Apache和LG...
致 Python 初学者们!

致 Python 初学者们!

​ 前言   在 Python 进阶的过程中,相信很多同学应该大致上学习了很多 Python 的基础知识,也正在努力成长。在此期间,一定遇到...
由数据迁移至MongoDB导致的数据不一致问题及解决方案

由数据迁移至MongoDB导致的数据不一致问题及解决方案

故事背景 企业现状 2019年年初,我接到了一个神秘电话,电话那头竟然准确的说出了我的昵称:上海小胖。 我想这事情不简单,就回了句:您好,我是小胖...
mongodb 更新嵌套数组的值

mongodb 更新嵌套数组的值

概要 本文主要讲述在 mongodb 中,怎么更新嵌套数组的值。  使用$更新数组 基本语法  { "<...
花了一周整理的,这是价值10W的32个Python项目!

花了一周整理的,这是价值10W的32个Python项目!

今天为大家整理了32个Python爬虫项目。整理的原因是,爬虫入门简单快速,也非常适合新入门的小伙伴培养信心。所有链接指向GitHub,祝大家玩得愉快~QQ...
用 Python 分析网易严选 Bra 销售信息,告诉你她们真实的 Size

用 Python 分析网易严选 Bra 销售信息,告诉你她们真实的 Size

今天通过爬虫数据进行分析,一起来看看网易严选商品评论的获取和分析。 声明:这是一篇超级严肃的技术文章,请本着学习交流的态度阅读,谢谢! !...
爬虫(十七):Scrapy框架(四) 对接selenium爬取京东商品数据

爬虫(十七):Scrapy框架(四) 对接selenium爬取京东商品数据

1. Scrapy对接Selenium Scrapy抓取页面的方式和requests库类似,都是直接模拟HTTP请求,而Scrapy也不能抓取JavaSc...

User Login