【Airflow踩坑】XCom大数据传递反序列化失败

我在做一个ETL任务时，发现上流任务的返回值（5W条数据），无法在下流任务中解析出来。

查看全文

清平调•其一 - 李白

清平调•其一云想衣裳花想容，春风拂槛露华浓。若非群玉山头见，会向瑶台月下逢。

查看全文

菊花 - 元稹

菊花秋丛绕舍似陶家，遍绕篱边日渐斜。不是花中偏爱菊，此花开尽更无花。

查看全文

【入门Airflow】 如何实现动态DAGs ？利用多任务提升效率

静态多任务造点假数据from faker import Fakerimport pymongofaker = Faker(locale='zh_CN')client = pymongo.MongoClient("mongodb://localhost:27018")coll =

查看全文

【入门Airflow】Connection管理|如何连接数据库？

在很多时候，我们都在和数据是打交道，所以经常会去做一些数据库连接，比如Mysql、Mongo等等。 如果直接把数据库连接写在DAG中，这虽然是可行的，但这会暴露数据库连接等敏感信息，并且当数据库连接信息发生变化时，维护成本也将大大提升。

查看全文

寄扬州韩绰判官 - 杜牧

青山隐隐水迢迢，江南秋尽草未凋。二十四桥明月夜，玉人何处教吹箫。

查看全文

【入门Airflow】 编写第一个DAG

我们接触一个新的框架总会有许多新概念，这些概念虽然比较重要，但我想它的功能才是我们初步接触最想体验的，所以我更偏向于在使用的过程中去逐

查看全文

【入门Airflow】 使用Docker在本地快速搭建Airflow

前言本文主要参考官方文档编写。我将顺着官方文档的流程在本地安装Airflow ，并且附上安装过程的截图。其实官方文档步骤写得都是比较详细，奈何这英语能力真的拉跨。不过还是建议大家在使用过程中遇到的任何问题，优先去查看官方文档，有奇效。​官方文档：https://airflow.apache.org/

查看全文

一个脚本解决CSDN远程图片转存失败的问题

前言接口分析接口签名X-Ca-KeyX-Ca-NonceX-Ca-Signature接口参数效果代码前言平时写文章用的是Typroa+PicGo，我贴的所有图片都是保存在oss上的，当我把带有远程图片地址的markdown粘贴到csdn的编辑器中时，往往存在一个问题，总有一部分图片会转存失败，但是我

查看全文

小试牛刀-利用AST平坦化一段瑞数代码

前言第一式：鬼影迷踪第二式：森罗万象处理逻辑Step1-处理if...else if...Step2-补全if...else...Step3-平坦化小结参考文章前言最近一直在学习AST相关的知识，本篇文章就来小小的尝试下，利用AST平坦化控制流。正常的执行逻辑： a -> b -> c混

查看全文