开源项目数据高级
Apache Airflow
工作流编排平台，适合学习数据管道、调度与可观测性。
Apache Software Foundation约 2 小时pythonorchestration
按主题浏览
数据工程
共 10 条
开源项目人工智能进阶
OpenAI Python SDK
OpenAI API 官方 Python SDK，适合学习类型化客户端、流式响应与 API 兼容维护。
OpenAI约 2 小时pythonapi
开源项目数据高级
Apache Spark
大规模数据处理引擎，适合学习分布式计算、SQL 引擎与性能优化。
Apache Software Foundation约 2 小时distributed-systemssql
开源项目数据入门可直接上手
改进 Operators 文档页面
这是一个为 Airflow Summit “Contributors” Workshop 保留的 issue。它带有 contributors-workshop 标签。出于对本次 workshop 组织者和参与者的尊重，请勿实现针对此 issue 的 PR。 > > 如果在 Airflow Summit 之后此 issue 仍然开放，…
apache/airflow约 4 小时数据工程文档
开源项目数据入门可直接上手
编辑连接窗口中额外字段的敏感数据可见
3.0.3 从Airflow版本3.0.2升级到3.0.3后，在编辑连接页面中，额外字段和额外字段JSON中的敏感数据变得可见。在Airflow UI中，进入“编辑连接”窗口时，敏感数据应被掩码。Ubuntu 24.04 其他基于Docker的部署，Airflow使用Docker Swarm部署。设置见…
apache/airflow约 4 小时推理部署数据工程
开源项目数据入门可直接上手
无法选择backfill DAG运行所需的DAG版本
3.0.0 我正在对DAG进行大量编辑，并且希望重新运行指定日期范围的backfill。当我这样做时，Airflow会使用最初运行的DAG版本执行backfill，而且在UI中似乎没有方法可以指定我想使用最新的DAG版本重新运行。最新版本应该…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
Web界面中DAG导入错误消息悬空
其他Airflow 2版本（请在下方指定）2.10.2 无论怎样，我们在Airflow的Web界面中都会看到此消息。无论此DAG是否存在，错误仍然显示。我们在互联网上找到了许多针对不同Airflow版本的不同主题。有些来自2018年。因此，用户经常目睹这些da…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
AIP-82：添加通用消息系统提供商
相关：#49938。几位用户指出，Airflow 3 中引入的事件驱动调度功能目前仅支持 Amazon SQS。因此，我在 #49938 中加入了 Kafka 通用消息队列提供商，但仍有相当多的常见提供商对 Airflow 用户实现事件驱动功能有用……
apache/airflow约 4 小时数据工程云与基础设施
开源项目数据入门可直接上手
添加对通过https使用Papermill的支持
github 我想在JupyterHub中连接到远程内核。问题#34840似乎提供了将传输设置为"transport"的访问方式。我希望通过https和令牌进行访问。2.9 ubuntu 20.04 官方Apache Airflow Helm图表-创建papermill连接-尝试使用https主机和附加令牌进行连接…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
job表缺少BackfillJob类型的dag_id和executor_class
2.9.1 当使用airflow dags backfill命令对任何DAG执行backfill时，我注意到job表中的dag_id和executor_class列为空（null）。这导致job表中的条目如下：但是，在2.6.0之前的版本中，job表中的条目包含dag_id和executor_cl…
apache/airflow约 4 小时数据工程