Mkdir700's Note

Mkdir700's Note

ETL

【Airflow踩坑】XCom大数据传递反序列化失败

我在做一个ETL任务时,发现上流任务的返回值(5W条数据),无法在下流任务中解析出来。
1013
0
0
2022-01-01
【入门Airflow】Connection管理|如何连接数据库?

【入门Airflow】Connection管理|如何连接数据库?

在很多时候,我们都在和数据是打交道,所以经常会去做一些数据库连接,比如Mysql、Mongo等等。 如果直接把数据库连接写在DAG中,这虽然是可行的,但这会暴露数据库连接等敏感信息,并且当数据库连接信息发生变化时,维护成本也将大大提升。
【入门Airflow】 编写第一个DAG

【入门Airflow】 编写第一个DAG

我们接触一个新的框架总会有许多新概念,这些概念虽然比较重要,但我想它的功能才是我们初步接触最想体验的,所以我更偏向于在使用的过程中去逐

【入门Airflow】 使用Docker在本地快速搭建Airflow

前言本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ,并且附上安装过程的截图。其实官方文档步骤写得都是比较详细,奈何这英语能力真的拉跨。不过还是建议大家在使用过程中遇到的任何问题,优先去查看官方文档,有奇效。​官方文档:https://airflow.apache.org/