一、传统数仓痛点1）传统数据仓库痛点目前来说，大数据相关的业务场景一般有实时大屏、实时BI报表、用户画像和监控预警等，如下图所示。实时大屏业务，一般是公司领导层做决策的辅助工具，以及对外成果展示，比如双... / 2021-05-05 23:42:05 / 查看 1831 次

本文主要介绍为了应对以上挑战,我们在湖仓一体方向上的一些探索和实践。一、背景在B站,每天都有PB级的数据注入到大数据平台,经过离线或实时的ETL建模后,提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数... / 2022-06-25 16:49:51 / 查看 1744 次

这篇文章探讨的是女性吸引力，但没有通常看到的照片分析之类的东西。相反，我们采用过去的女人图片，分析她在男同胞们头脑里产生的反应。 我们将展示以下显著的现象：公正性警告：我们将把女性作为客观对象来讨论，... / 2018-08-26 00:46:10 / 查看 1716 次

回合对战数据指标计算，耗时过长，甚至因为单机内存不足无法满足需求，故考虑将原本单节点的单机ClickHouse改为集群 , 采用分布式表来进行相关计算。环境搭建单机方案集群方案 3分片1复方案对比写入速度对比数据量 :... / 2021-02-12 15:16:03 / 查看 1701 次

简介： 介绍如何基于Hologres和MaxCompute产品组合，支撑高并发、快响应的数据服务化场景，替换HBase开发模式，实现数据资产服务化在线化能力。也可在PC端打开 https://developer.aliyun.com/topic/download?id=961 ... / 2020-11-29 20:44:16 / 查看 1686 次

Google在2003年到2004年先后发布了被称为大数据三驾马车的三篇重要论文，分别是分布式数据处理MapReduce、分布式数据存储GFS以及列式存储 数据库BigTable。正是谷歌的这三驾马车掀开了大数据时代的序幕，谷歌也毋庸... / 2018-07-17 15:00:26 / 查看 1628 次

长文预警！这是一篇数据体系介绍文章，并不涉及开发实践。|0x00 什么是数据数据是一种对客观事物的逻辑归纳，是事实或观察的结果 。随着科学技术的发展，数据的概念内涵越来越广泛包括数值，文本，声音，图像，视频... / 2020-11-23 21:02:44 / 查看 1558 次

携程PB级数据基础平台2.0建设，多机房架构下的演进 / 2024-09-17 16:56:31 / 查看 1485 次

# SeaTunnel 介绍Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。架构于Apache Spark 和 Apache Flink之上# SeaTunnel 的作用SeaTunnel专注于数据集成和数据同... / 2023-10-14 17:11:24 / 查看 1355 次

mysql每天新增加1百万数据 怎么办?有什么好的方案?处理每天新增一百万数据的MySQL数据库是一项具有挑战性的任务。以下是应对这种情况的关键方案:1、分区表:将表按时间或其他适当的分区键分成多个分区,以减少单个表的... / 2023-11-03 01:10:30 / 查看 1332 次