在当前快速发展的技术格局中，企业寻求创新解决方案来简化运营并提高效率成为一种趋势。 Apache DolphinScheduler作为一个强大的工具，允许跨分布式系统进行复杂的工作流任务调度。本文将深入探讨如何将Apache DolphinScheduler适配并整合进现代IT环境，提升其在云原生部 ...

版本说明 由于作者目前接触当前最新版本为2.3.4 但是官方提供的web版本未1.0.0，不兼容2.3.4，因此这里仍然使用2.3.3版本。 可以自定义兼容处理，官方提供了文档：https://mp.weixin.qq.com/s/Al1VmBoOKu2P02sBOTB6DQ 因为大部分用户使用Se ...

近日，由新一代信息技术产业研究院、赛迪未来产业研究中心共同主办，中国电子学会区块链分会、至顶科技联合承办的“2024未来信息技术大会暨首届数据要素创新发展论坛”于北京成功举办。大会公布了“2023年度数据要素价值创新标杆示范案例”评选结果，天翼云“海南省数据产品超市公共数据资源开发利用平台”与“福州... ...

在当今快速发展的世界中，数据被视为新的石油。随着对数据驱动洞察的日益依赖，大数据工程师的角色比以往任何时候都更为关键。 这些专业人员在管理和优化组织内的数据操作中扮演着至关重要的角色。在本文中，我们将探索2024年大数据工程师必须具备的十项技能。 理解大数据工程师的角色 在深入技能之前，了解大数据工 ...

内容介绍 hive on spark的调优,那必然涉及到这一系列框架的内存模型。本章就是来讲一下这些框架的内存模型。 hive on spark的任务，从开始到结束。总共涉及了3个框架。分别是：yarn、hive、spark 其中，hive只是一个客户端的角色。就不涉及任务运行时的内存。所以这里主要 ...

以Flink为主的计算引擎配合OLAP查询分析引擎组合进而构建实时数仓**，其技术方案的选择是我们在技术选型过程中最常见的问题之一。也是很多公司和业务支持过程中会实实在在遇到的问题。 很多人一提起实时数仓，就直接大谈特谈Hudi，Flink的流批一体等，但实际上，**实时数仓包括任何架构体系的构建如... ...

在实际项目中，从Kafka到HDFS的数据是每天自动生成一个文件，按日期区分。而且Kafka在不断生产数据，因此看看kettle是不是需要时刻运行？能不能按照每日自动生成数据文件？ 为了测试实际项目中的海豚定时调度从Kafka到HDFS的Kettle任务情况，特地提前跑一下海豚定时调度这个任务，看看 ...

我们讨论面试中各大厂的SQL算法面试题，往往核心考点就在于窗口函数，所以掌握好了窗口函数，面对SQL算法面试往往事半功倍。 ...

各位热爱 SeaTunnel 的小伙伴们，SeaTunnel 社区 3 月月报来啦！这里将记录 SeaTunnel 社区每个月的重要更新，并评选出月度之星，欢迎关注。 SeaTunnel 月度 Merge Stars 感谢以下小伙伴 3 月为 Apache SeaTunnel 做的精彩贡献（排名不分 ...

各位热爱 DolphinScheduler 的小伙伴们，DolphinScheduler 社区月报开始更新啦！这里将记录 DolphinScheduler 社区每月的重要更新。 社区为 DolphinScheduler 3.2.x 版本做了诸多功能改进和 bug 修复 DolphinSchedule ...

4月10日，以“Data+AI，构建新质生产力”为主题的袋鼠云春季发布会圆满落幕。大会中，袋鼠云带来了一系列“+AI”的数字化产品与最新行业沉淀，旨在将数据与AI紧密结合，打破传统的生产力边界，赋能企业实现更高质量、更高效率的数字化发展。 2部白皮书：聚焦行业沉淀 《行业指标体系白皮书》：系统阐述了 ...

很高兴和大家宣布，Apache DolphinScheduler 社区今年再次成功入选入选由中国科学院软件研究所开源软件供应链点亮计划发起的“开源之夏”活动。 入选公示链接：https://mp.weixin.qq.com/s/9ExBWGoFPzZ0_SrpAcosZg 此活动旨在鼓励和引导在校学 ...

在日新月异的数字化经济时代，企业和组织不断寻求利用先进技术构建自身的核心竞争力。其中，大数据与AI的深度融合正在成为推动企业实现新质生产力的关键路径。 在此背景下，袋鼠云举办春季发布会，以“Data+AI，构建新质生产力”为主题，旨在深度探讨如何将数据与AI紧密结合，以期打破传统的生产力边界，赋能企 ...

1.综述 Hive的聚合函数衍生的窗口函数在我们进行数据处理和数据分析过程中起到了很大的作用 在Hive中，窗口函数允许你在结果集的行上进行计算，这些计算不会影响你查询的结果集的行数。 Hive提供的窗口和分析函数可以分为聚合函数类窗口函数，分组排序类窗口函数，偏移量计算类窗口函数。 本节主要介绍聚 ...

第4章 Hadoop文件参数配置 实验一：hadoop 全分布配置 1.1 实验目的 完成本实验，您应该能够： 掌握 hadoop 全分布的配置 掌握 hadoop 全分布的安装 掌握 hadoop 配置文件的参数意义 1.2 实验要求 熟悉 hadoop 全分布的安装 了解 hadoop 配置文件 ...

本文分享自华为云社区《GaussDB DWS的SQL ON ANYWHERE技术解密》，作者：tooooooooooomy。 1. 前言 适用版本：【8.1.1（及以上）】 查询分析是大数据要解决的核心问题之一，虽然大数据相关的处理引擎组件种类繁多，并提供了丰富的接口供用户使用，但相对传统数据库用户 ...

Apache DolphinScheduler已支持Apache SeaTunnel任务类型，本文介绍了SeaTunnel任务类型如何创建，任务参数，以及任务样例。 一、Apache SeaTunnel SeaTunnel 任务类型，用于创建并执行 SeaTunnel 类型任务。worker 执行该 ...

作者 | ALIREZA SADEGHI 翻译 | Debra Chen 简介 虽然生成式人工智能和ChatGPT带来的沸沸扬扬的炒作令科技界为之一振，但在数据工程领域，2023年仍然是一个令人振奋和充满活力的一年，数据工程生态系统变得更加多样化和复杂化，系统中的所有层面都在不断创新和演进。 随着各 ...

作者 | Shawn Gordon 翻译 | Debra Chen 原文链接 | What the Heck is Apache SeaTunnel? 我在2023年初开始注意到Apache SeaTunnel的相关讨论，一直低调地关注着。该项目始于2017年，最初名为Waterdrop，在Apac ...

在金融行业数字化转型背景下，银行等金融机构面临着业务模式创新与数据应用的深度融合。业务上所需要的不再是单纯的数据，而是数据背后映射的业务趋势洞察，只有和业务相结合转化为业务度量指标，经过数据分析处理呈现为报表进行展示，才能真正体现它们的价值。 但在需求转化为指标的过程中，存在需求管理杂乱、登记维护难 ...