Home

大数据和后端服务之间的差别，远比后端服务之间，比如推荐架构、搜索架构、直播架构等的差别要大。两者比较的文章似乎很少见。 但实际上，我在做后端服务的时候，也曾调研过能否使用大数据的组件，比如 Flink、Kafka。很多后端服务也会用到大数据的存储，比如 Hbase 来存储数据。 还记得刚从后端转到大数据开发时，对各种差别感到疑惑。如今做了几年大数据，有的疑惑逐渐解开，有的疑惑依旧看不清，有必要阶段性的总结一下。当然，工程师不应该限制自己是大数据、前端还是后端还是算法，但是试图理清区别和联系，能够让我们的视野看的更高。 1. 大数据的技术本质还是后端服务 以在大数据离线任务开发中，常见的 Apache DolphinScheduler 工作流调度系统为例。DolphinSched...

Flink 使用 Fabric8 Kubernetes client1作为 Kubernetes 的客户端，本文结合 Flink 提交 JobManager、TaskManager 的代码介绍 Fabric8 的使用。 1. Flink 使用 Fabric8 相关源码 Fabric8 是一个 Java 的 Kubernetes 客户端，使用一套自定义的 DSL 跟 REST API 交互。 我们可以使用链式调用方式访问和操作集群资源，例如： ListOptions options = new ListOptions(); options.setLabelSelector("type=flink-native-kubernetes"...

博客里的文章，命名和规则都比较有规律。现在工作里 SQL 接触非常多，今天突然在想用 SQL 分析一把博客文章，介绍下 calcite . 1. 文章数据结构化 文章结构化的数据，可以粗略提炼出以下结构： 标题：从文章内容提取 title 字段 发布时间：从文章内容提取 date 字段 tags: 从文章内容提取 tags 字段 url: 从文件名提取 直接上代码： case class PostMeta(url: String, title: String, date: String, tags: String) { def toArray: Array[AnyRef] = Array(url, title, date, tags) } object...

这篇笔记主要介绍 Flink 任务使用 Application Mode 提交到 K8S 集群的流程，使用 flink 1.12 版本说明。 Flink 任务的启动流程，简言之分为三步: 提交任务：不同 Mode(Application/PerJob/Session)的区别主要是用户代码是否在这一步执行. 启动 JobManager: 跟 Resource Provider(YARN/K8S)申请资源、运行用户代码、初始化 TM 等。 启动 TaskManager：执行 JM 指定的具体算子，与 JM 保持心跳。 由于这些开源项目代码变动很快，因此我尽量从 why 的角度，同时忽略代码间类调用的细节，通过一些重点代码介绍。 1. 提交 无论是 PerJob 还是...

1. 工作 2023年花了很大的精力，把自研的任务调度系统迁移到了 DolphinScheduler. 原有的调度系统使用 PHP 开发，非常古老，可能比公司成立时间还要早。如果放到十年前看，有很多可圈可点之处。但是近几年只能勉强维护，新的功能需求，开发两周，再加两周补开发带来的 bug. 由于离线任务调度系统的高峰是在凌晨，迁移过程熬夜挺多。也总结了一些经验，发表在了 https://mp.weixin.qq.com/s/smsNDH2MYpoys-qWz4O0Sg 22年总结实时计算时，担心 Flink 任务动态扩缩这个项目，很多收尾的工作，由于人力撤出导致盘点不全。23年这块还是出了一些问题，值得反思的地方很多。进一步的，如果提前处理了，问题就不会发生，但是价值如何自证?...

1. JDBC 定义 Java Database Connectivity (JDBC) 定义了一套访问数据库的 API. Java Database Connectivity (JDBC) is an application programming interface (API) for the Java programming language which defines how a client may access a database.1 好处是几乎可以使用完全相同的代码，访问不同的数据库：MySQL、Hive、Doris、Presto 等等。 定义在 package java.sql，主要包含了 DriverManager Driver Connection...

文件存储格式，即数据在磁盘上是如何组织的，比如 leveldb 的 sst 文件由 DataBlock、FilterBlock、IndexBlock、Footer 等组成。这种格式的设计，适应了单机写多读少、读取新写入数据的场景。 1. 大数据为何偏爱列存储 Apache ORC、Apache Parquet 都是典型的列存储格式，大数据的场景，为何偏爱列存储？ 首先无论场景如何变化，从单机到大数据，面临的磁盘性能是一致的，引用 Jeff Dean 演讲的数据1： Latency Comparison Numbers (~2012) Operation Time in Nano Seconds ...