数据基础
能够独立取得、检查和整理数据。
- Excel / Sheets
- SQL 查询
- Python 与 Pandas
学习方向
数据分析
从问题定义、数据清洗和统计判断出发，产出可解释、可复现的分析。
技能地图
从基础到真实交付
分析思维
把业务问题变成可检验的分析问题。
- 描述统计
- 抽样、偏差与相关性
- 指标定义
表达与验证
让图表和结论经得住追问。
- 数据可视化
- 可复现 Notebook
- 结论边界与反例
真实课题
完成一项对社团、校园或公开数据有用的分析。
- 需求访谈
- 分析报告
- 作品发布与复盘
把技能用起来
推荐学习与实践条目
查看本方向全部机会 →开源项目数据入门可直接上手
编辑连接窗口中额外字段的敏感数据可见
3.0.3 从Airflow版本3.0.2升级到3.0.3后，在编辑连接页面中，额外字段和额外字段JSON中的敏感数据变得可见。在Airflow UI中，进入“编辑连接”窗口时，敏感数据应被掩码。Ubuntu 24.04 其他基于Docker的部署，Airflow使用Docker Swarm部署。设置见…
apache/airflow约 4 小时推理部署数据工程
开源项目数据入门可直接上手
在 breeze 工具中支持 podman
启用 breeze 使用 podman 进行容器管理。鉴于开源性质、无许可问题、OCI 兼容镜像以及改进的安全性和性能，将 podman 作为 breeze 工具的容器管理选项。
apache/airflow约 4 小时性能优化云与基础设施
开源项目数据入门可直接上手
控制映射任务组中单个任务流的状态
最初由ntnhaatj于2023年8月20日发布，您好，由于我之前的问题在此处提出，其中也包含了深度优先执行模型的上下文，我想开一个issue来进一步讨论此事。基于映射任务组中实现的深度优先执行模型：目前，上游/下游…
apache/airflow约 4 小时
开源项目数据入门可直接上手
允许将config_path作为参数传递给KubernetesExecutor
目前，当使用带有KubernetesExecutor的executor_config时，config_file路径必须是硬编码的。如果我们尝试使用Jinja模板（“{{ params.config_path }}”）动态传递它，就会导致错误。静态配置的示例：然而，如果我们尝试动态传递它，它会失败：这w…
apache/airflow约 4 小时云与基础设施
开源项目数据入门可直接上手
无法选择backfill DAG运行所需的DAG版本
3.0.0 我正在对DAG进行大量编辑，并且希望重新运行指定日期范围的backfill。当我这样做时，Airflow会使用最初运行的DAG版本执行backfill，而且在UI中似乎没有方法可以指定我想使用最新的DAG版本重新运行。最新版本应该…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
使用 chartdb 生成数据库 ERD
https://github.com/chartdb/chartdb 是一个非常受欢迎的项目，能生成漂亮的 ERD schema（~不过不确定由于 AGPL-3.0 许可我们是否可以使用它？~）我们应该更新生成脚本以使用它。注意：这个库仅用于开发。我们不会将其分发给用户，因此我们可以接受…
apache/airflow约 4 小时数据库
开源项目数据入门可直接上手
Web界面中DAG导入错误消息悬空
其他Airflow 2版本（请在下方指定）2.10.2 无论怎样，我们在Airflow的Web界面中都会看到此消息。无论此DAG是否存在，错误仍然显示。我们在互联网上找到了许多针对不同Airflow版本的不同主题。有些来自2018年。因此，用户经常目睹这些da…
apache/airflow约 4 小时数据工程
开源项目数据入门可直接上手
AIP-82：添加通用消息系统提供商
相关：#49938。几位用户指出，Airflow 3 中引入的事件驱动调度功能目前仅支持 Amazon SQS。因此，我在 #49938 中加入了 Kafka 通用消息队列提供商，但仍有相当多的常见提供商对 Airflow 用户实现事件驱动功能有用……
apache/airflow约 4 小时数据工程云与基础设施