一、引言近年来，随着分布式数据处理技术的不断革新，Hive、Spark、Kylin、Impala、Presto 等工具不断推陈出新，对大数据集合的计算和存储成为现实，数据仓库/商业分析部门日益成为各类企业和机构的标配。在这种背景... / 2018-08-26 00:39:51 / 查看 253 次

当MySQL单表记录数过大时，增删改查性能都会急剧下降，可以参考以下步骤来优化。单表优化除非单表数据未来会一直不断上涨，否则不要一开始就考虑拆分，拆分会带来逻辑、部署、运维的各种复杂度，一般以整型值为主的... / 2018-08-15 09:28:26 / 查看 297 次

本文作者将站在更加全面的角度分享他在这一年多 DBA 工作中的经验，希望可以给大家带来启发和帮助。DBA 的日常工作我觉得 DBA 真的很忙，我们来看看 DBA 的具体工作：备份和恢复、监控状态、集群搭建与扩容、数据迁... / 2018-08-10 13:54:51 / 查看 993 次

1、zookeeper一个分布式的应用程序协调服务，是Hadoop和Hbase的重要组件。它是一个为分布式应用提供一致性服务的工具，让Hadoop集群里面的节点可以彼此协调。ZooKeeper现在已经成为了 Apache的顶级项目，为分布式系... / 2018-08-10 01:26:32 / 查看 288 次

在生产中有时候会遇到一台主机要运行多个MySQL服务器----叫做多实例下面演示多实例的安装首先我们规划下基于二进制安装1、创建mysql用户useradd -r -s /sbin/nologin -d /app/mysql -m mysql##2、解压下载的二进制ma... / 2018-07-29 00:17:48 / 查看 507 次

思考如何设计或优化千万级别的大表？此外无其他信息，个人觉得这个话题有点范，就只好简单说下该如何做，对于一个存储设计，必须考虑业务特点，收集的信息如下：1.数据的容量：1-3年内会大概多少条数据，每条数据大... / 2018-07-27 08:59:21 / 查看 445 次

什么是存储过程简单的说，就是一组SQL语句集，功能强大，可以实现一些比较复杂的逻辑功能，类似于JAVA语言中的方法；ps:存储过程跟触发器有点类似，都是一组SQL集，但是存储过程是主动调用的，且功能比触发器更加强... / 2018-07-20 09:48:39 / 查看 577 次

Google在2003年到2004年先后发布了被称为大数据三驾马车的三篇重要论文，分别是分布式数据处理MapReduce、分布式数据存储GFS以及列式存储 数据库BigTable。正是谷歌的这三驾马车掀开了大数据时代的序幕，谷歌也毋庸... / 2018-07-17 15:00:26 / 查看 219 次

在去年的大部分时间在做大数据分析环境搭建以及初步的数据采集、录入工作，这个过程中用到了 Hadoop+HBase+Flume+Kafka这些大数据的组件和框架。在数据分析环境架构中，Flume-1.7.0 主要用来收集各种来源、形式的数... / 2018-07-17 14:46:41 / 查看 848 次

Fluentd 是一个开源的数据收集器，它目前有超过 500 种的 plugin，可以连接各种数据源和数据输出组件。在接下来的实践中，Fluentd 会负责收集容器日志，然后发送给 Elasticsearch。日志处理流程如下：这里我们用 Fil... / 2018-07-13 17:19:23 / 查看 296 次