数据库 大数据
刷新
利用 Amazon EMR Serverless、Amazon Athena、Apache Dolphinscheduler 以及本地 TiDB 和 HDFS 在混合部署环境中构建无服务器数据仓库（一）云上云下数据同步方案设计

博主头像 引言 在数据驱动的世界中，企业正在寻求可靠且高性能的解决方案来管理其不断增长的数据需求。本系列博客从一个重视数据安全和合规性的 B2C 金融科技客户的角度来讨论云上云下混合部署的情况下如何利用亚马逊云科技云原生服务、开源社区产品以及第三方工具构建无服务器数据仓库的解耦方法。 Apache EMR（E ...

用DolphinScheduler轻松实现Flume数据采集任务自动化！

博主头像 转载自天地风雷水火山泽 目的 因为我们的数仓数据源是Kafka，离线数仓需要用Flume采集Kafka中的数据到HDFS中。 在实际项目中，我们不可能一直在Xshell中启动Flume任务，一是因为项目的Flume任务很多，二是一旦Xshell页面关闭Flume任务就会停止，这样非常不方便，因此必须 ...

对接HiveMetaStore，拥抱开源大数据

博主头像 本文分享自华为云社区《对接HiveMetaStore，拥抱开源大数据》，作者：睡觉是大事。 1. 前言 适用版本：9.1.0及以上 在大数据融合分析时代，面对海量的数据以及各种复杂的查询，性能是我们使用一款数据处理引擎最重要的考量。而GaussDB(DWS)服务有着强大的计算引擎，其计算性能优于MR ...

指标+AI：迈向智能化，让指标应用更高效

博主头像 近日，以“Data+AI，构建新质生产力”为主题的袋鼠云春季发布会圆满落幕，大会带来了一系列“+AI”的数字化产品与最新行业沉淀，旨在将数据与AI紧密结合，打破传统的生产力边界，赋能企业实现更高质量、更高效率的数字化发展。会上，袋鼠云业务总经理申杭带来了以“指标+AI：迈向智能化，让指标应用更高效” ...

告别手动调度，海豚调度器 3.1.x 集群部署让你轻松管理多机！

博主头像 转载自第一片心意 1 前言 由于海豚调度器官网的集群部署文档写的较乱，安装过程中需要跳转到很多地方进行操作，所以自己总结了一篇可以直接跟着从头到尾进行操作的文档，以方便后续的部署、升级、新增节点、减少节点的相关操作。 2. 提前准备 2.1. 基础组件 JDK：下载JDK (1.8+)，安装并配置 ...

玩转云端 | 拥有HBlock这项“存储盘活绝技”，数据中心也能“热辣瘦身”！

博主头像 夏天马上就要到了，“瘦身”不光是特定人群的需求，也是数据中心的需求。构建轻量化、低碳化、高性价比的新型数据中心，更有效地支撑经济社会数字化转型，已成为业界主流趋势。 如何让数据中心“热辣瘦身”？轻量级存储集群控制器——天翼云存储资源盘活系统HBlock必不可少！ “HBlock健身房”究竟是如何发挥 ...

WhaleScheduler为银行业全信创环境打造统一调度管理平台解决方案

博主头像 项目背景 数字金融是数字经济的重要支撑和驱动力。近年来，我国针对数字金融的发展政策频频出台，《金融科技发展规划 （2022-2025年）》、《“十四五”数字经济发展规划》、《关于银行业保险业数字化转型的指导意见》、《金融标准化“十 四五”发展规划》等相继发布，顶层设计逐步完善。 2024年，政府工作 ...

用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本

博主头像 在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？ 为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况，特地提前跑一下海豚定时调度这个任务，看看 ...

天翼云入选“2023年度数据要素价值创新标杆示范案例”！

博主头像 近日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”于北京成功举办。大会公布了“2023年度数据要素价值创新标杆示范案例”评选结果，天翼云“海南省数据产品超市公共数据资源开发利用平台”与“福州... ...

裁员了！别错过2024年大数据工程师必备的10项技能

博主头像 在当今快速发展的世界中，数据被视为新的石油。随着对数据驱动洞察的日益依赖，大数据工程师的角色比以往任何时候都更为关键。 这些专业人员在管理和优化组织内的数据操作中扮演着至关重要的角色。在本文中，我们将探索2024年大数据工程师必须具备的十项技能。 理解大数据工程师的角色 在深入技能之前，了解大数据工 ...

hive on spark内存模型

博主头像 内容介绍 hive on spark的调优,那必然涉及到这一系列框架的内存模型。本章就是来讲一下这些框架的内存模型。 hive on spark的任务，从开始到结束。总共涉及了3个框架。分别是：yarn、hive、spark 其中，hive只是一个客户端的角色。就不涉及任务运行时的内存。所以这里主要 ...

实时数仓构建：Flink+OLAP查询的一些实践与思考

博主头像 以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓**，其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题。 很多人一提起实时数仓，就直接大谈特谈Hudi，Flink的流批一体等，但实际上，**实时数仓包括任何架构体系的构建如... ...

用海豚调度器定时调度从Kafka到HDFS的kettle任务脚本

博主头像 在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？ 为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况，特地提前跑一下海豚定时调度这个任务，看看 ...

Apache SeaTunnel 社区 3 月月报

博主头像 各位热爱 SeaTunnel 的小伙伴们，SeaTunnel 社区 3 月月报来啦！这里将记录 SeaTunnel 社区每个月的重要更新，并评选出月度之星，欢迎关注。 SeaTunnel 月度 Merge Stars 感谢以下小伙伴 3 月为 Apache SeaTunnel 做的精彩贡献（排名不分 ...

123···20>