本文主要介绍为了应对以上挑战,我们在湖仓一体方向上的一些探索和实践。一、背景在B站,每天都有PB级的数据注入到大数据平台,经过离线或实时的ETL建模后,提供给下游的分析、推荐及预测等场景使用。面对如此大规模的数... / 2022-06-25 16:49:51 / 查看 659 次

导读：这是一篇非常完整全面的应用技术干货，手把手教你如何使用 Doris+Iceberg+Flink CDC 构建实时湖仓一体的联邦查询分析架构。按照本文中步骤一步步完成，完整体验搭建操作的完整过程。作者｜Apache Doris PMC 成... / 2022-06-25 15:45:11 / 查看 296 次

一、Quivr介绍Quivr可以帮助把你的本地文件向量化,然后存储到云端,随时可以查询对话。文档格式支持Text、Markdown、 PDF、音频和视频。GPT端支持ChatGPT-3/4和Claude。 向量数据库使用的是Supabase ,音视频是基于Whi... / 2023-06-27 16:23:53 / 查看 557 次

ClickHouse 作为业界性能最强大的 OLAP 系统,在小红书内部被广泛应用于广告、社区、直播和电商等多个业务领域。然而,原生 ClickHouse 的 MPP 架构在运维成本、弹性扩展和故障恢复方面存在较大局限性。为应对挑战,小... / 2023-09-17 23:33:12 / 查看 614 次

数据湖架构大多数公司都有大量的业务数据,这些数据通常孤立在各种存储系统中,包括数据库和数据仓库。为了充分利用这些数据资产,您应该将数据集中并整合到统一的数据存储中,以增强分析能力。通过数据湖架构,组织可以... / 2023-10-14 18:31:33 / 查看 798 次

# SeaTunnel 介绍Apache SeaTunnel 是一个分布式、高性能、易扩展、用于海量数据(离线&实时)同步和转化的数据集成平台。架构于Apache Spark 和 Apache Flink之上# SeaTunnel 的作用SeaTunnel专注于数据集成和数据同... / 2023-10-14 17:11:24 / 查看 937 次

mysql每天新增加1百万数据 怎么办?有什么好的方案?处理每天新增一百万数据的MySQL数据库是一项具有挑战性的任务。以下是应对这种情况的关键方案:1、分区表:将表按时间或其他适当的分区键分成多个分区,以减少单个表的... / 2023-11-03 01:10:30 / 查看 252 次

携程PB级数据基础平台2.0建设，多机房架构下的演进 / 2024-09-17 16:56:31 / 查看 164 次