开源项目数据入门可直接上手
改进 Operators 文档页面
这是一个为 Airflow Summit “Contributors” Workshop 保留的 issue。它带有 contributors-workshop 标签。出于对本次 workshop 组织者和参与者的尊重，请勿实现针对此 issue 的 PR。 > > 如果在 Airflow Summit 之后此 issue 仍然开放，…
apache/airflow约 4 小时数据工程文档
按机构浏览
apache/airflow
共 11 条
开源项目数据入门可直接上手
编辑连接窗口中额外字段的敏感数据可见
3.0.3 从Airflow版本3.0.2升级到3.0.3后，在编辑连接页面中，额外字段和额外字段JSON中的敏感数据变得可见。在Airflow UI中，进入“编辑连接”窗口时，敏感数据应被掩码。Ubuntu 24.04 其他基于Docker的部署，Airflow使用Docker Swarm部署。设置见…
apache/airflow约 4 小时推理部署数据工程
开源项目数据入门可直接上手
在 breeze 工具中支持 podman
启用 breeze 使用 podman 进行容器管理。鉴于开源性质、无许可问题、OCI 兼容镜像以及改进的安全性和性能，将 podman 作为 breeze 工具的容器管理选项。
apache/airflow约 4 小时性能优化云与基础设施
开源项目数据入门可直接上手
允许将config_path作为参数传递给KubernetesExecutor
目前，当使用带有KubernetesExecutor的executor_config时，config_file路径必须是硬编码的。如果我们尝试使用Jinja模板（“{{ params.config_path }}”）动态传递它，就会导致错误。静态配置的示例：然而，如果我们尝试动态传递它，它会失败：这w…
apache/airflow约 4 小时云与基础设施
开源项目数据入门可直接上手
无法选择backfill DAG运行所需的DAG版本
3.0.0 我正在对DAG进行大量编辑，并且希望重新运行指定日期范围的backfill。当我这样做时，Airflow会使用最初运行的DAG版本执行backfill，而且在UI中似乎没有方法可以指定我想使用最新的DAG版本重新运行。最新版本应该…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
使用 chartdb 生成数据库 ERD
https://github.com/chartdb/chartdb 是一个非常受欢迎的项目，能生成漂亮的 ERD schema（~不过不确定由于 AGPL-3.0 许可我们是否可以使用它？~）我们应该更新生成脚本以使用它。注意：这个库仅用于开发。我们不会将其分发给用户，因此我们可以接受…
apache/airflow约 4 小时数据库
开源项目数据入门可直接上手
Web界面中DAG导入错误消息悬空
其他Airflow 2版本（请在下方指定）2.10.2 无论怎样，我们在Airflow的Web界面中都会看到此消息。无论此DAG是否存在，错误仍然显示。我们在互联网上找到了许多针对不同Airflow版本的不同主题。有些来自2018年。因此，用户经常目睹这些da…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
AIP-82：添加通用消息系统提供商
相关：#49938。几位用户指出，Airflow 3 中引入的事件驱动调度功能目前仅支持 Amazon SQS。因此，我在 #49938 中加入了 Kafka 通用消息队列提供商，但仍有相当多的常见提供商对 Airflow 用户实现事件驱动功能有用……
apache/airflow约 4 小时数据工程云与基础设施
开源项目数据入门可直接上手
添加对通过https使用Papermill的支持
github 我想在JupyterHub中连接到远程内核。问题#34840似乎提供了将传输设置为"transport"的访问方式。我希望通过https和令牌进行访问。2.9 ubuntu 20.04 官方Apache Airflow Helm图表-创建papermill连接-尝试使用https主机和附加令牌进行连接…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
控制映射任务组中单个任务流的状态
最初由ntnhaatj于2023年8月20日发布，您好，由于我之前的问题在此处提出，其中也包含了深度优先执行模型的上下文，我想开一个issue来进一步讨论此事。基于映射任务组中实现的深度优先执行模型：目前，上游/下游…
apache/airflow约 4 小时
开源项目数据入门可直接上手
job表缺少BackfillJob类型的dag_id和executor_class
2.9.1 当使用airflow dags backfill命令对任何DAG执行backfill时，我注意到job表中的dag_id和executor_class列为空（null）。这导致job表中的条目如下：但是，在2.6.0之前的版本中，job表中的条目包含dag_id和executor_cl…
apache/airflow约 4 小时数据工程