高级数据工程师与应用 AI 工程师
专业能力
按技术领域查看使用时间、项目职责和相关认证。
数据平台架构
PVH：500+TB AWS 数据平台；ENYQUANT：云与电力市场数据平台。
幂等 ETL 与运行可靠性
PVH：配置驱动、幂等 ETL；数据质量、可观测性与调度。
项目职责
- PVH（2020–2022）：开发配置驱动、幂等的生产 ETL；同一输入重复处理时，目标数据保持一致。
- 负责管道数据质量检查、运行可观测性与跨时区调度。
- Python
- SQL
- Spark
- Airflow
- AWS
- Idempotent ETL
SQL 与数据管道
PVH：SQL、YAML 契约、自动校验和 Airflow DAG 工厂。
Spark 与性能优化
Spark / PySpark、Python：2016 年起使用；HDP、EMR 与 GKE 项目经历。
使用时间
Python · Spark / PySpark：自 2016 年起
项目职责
- KPN：开发 Hive/Spark ETL，安装和运维 Hortonworks HDP 集群。
- ABN AMRO：开发 Python/Spark/Hive 管道，将 Hive 工作负载迁至 PySpark。
- FedEx：开发和运维 Spark/EMR ETL；在既有 GKE 集群上用 Kubernetes YAML 和 kubectl 部署、迁移及运行 Spark 工作负载。
- PVH：开发 Spark 生产 ETL。VodafoneZiggo：演进既有 Scala/Spark ETL 框架。
相关认证
- Databricks Certified Associate Developer for Apache Spark 2.4 · 2020-11
- PCAP – Certified Associate in Python Programming · 2021-09
- Spark
- PySpark
- EMR
- GKE
云平台与基础设施
AWS、Azure、GCP 与阿里云：使用年份、平台建设职责和相关认证。
AWS
自 2018 年起使用FedEx · PVH · VodafoneZiggo
- FedEx：用 Terraform 管理 AWS 基础设施，开发 Spark/EMR ETL。
- PVH：参与 500+TB 数据平台架构与开发，建设幂等 ETL 和事件驱动的 Serverless 流程。
- VodafoneZiggo：建设、运行 DMS 全量加载与 CDC 任务。Terraform 自 2018 年起使用。
相关认证（取得 → 到期） · AWS Certified Solutions Architect — Associate · 2020-10 → 2023-10
Azure
2024 · 2026PVH（2024）· ENYQUANT（2026）
- PVH：参与 Azure Databricks 方案评审，支持数据平台迁移。
- ENYQUANT：从零负责平台设计与实施，涵盖 Azure Databricks、Microsoft Foundry（原 Azure AI Foundry）、Azure Data Factory、ADLS、关系数据库和 Azure Functions。
- 负责网络、Key Vault、Microsoft Entra ID 与权限管理、Azure Monitor 监控与可观测性，以及 Terraform 基础设施代码和 CI/CD。
相关认证（取得 → 到期） · Databricks Certified Data Engineer Associate · 2024-12 → 2026-12
GCP
2019–2020 · 2024FedEx（2019–2020）· PVH（2024）
- FedEx：用 Terraform 管理 GCP 基础设施，开发 BigQuery 工作负载；在既有 GKE 集群上用 Kubernetes YAML 和 kubectl 部署、迁移和运行 Spark。
- PVH：在数据平台项目中使用 BigQuery 和 Cloud Storage。
Alibaba Cloud
自 2026 年起使用ENYQUANT（2026）
- 从零设计、搭建、部署和运维阿里云平台，承担全部实施与运行职责。
- 范围覆盖存储、RDS 关系数据库、VM、组网和 Serverless 函数。
质量与交付自动化
VodafoneZiggo：PowerCenter 转换与 GitLab CI/CD 校验；覆盖 40+ 名开发者。
项目职责
- VodafoneZiggo（2022–2024）：将 PowerCenter 工作流转换、前置校验和迁移检查接入 GitLab CI/CD，覆盖至少 40 名开发者。
- KPN（2016–2018）：用 Robot Framework 开发系统健康检查；使用 Python、Ansible 和 Jenkins 自动化基础设施与交付任务。
- GitLab CI/CD
- PowerCenter
- ETL validation
CDC 与平台迁移
VodafoneZiggo：AWS DMS Full Load + CDC；数百 TB Oracle → Snowflake。
数据科学工程支持
JupyterHub、MLflow、Spark 生产作业与训练数据时间语义。
项目职责
- VodafoneZiggo：为 4–5 名数据科学家建设 JupyterHub + MLflow 服务。
- FedEx：运维 JupyterHub，将数据科学家的 Spark 分析代码部署为生产作业并调优。
- ENYQUANT：定义历史训练数据的时间点可见性，实施固定快照读回与数据检查。
- JupyterHub
- MLflow
- Python
- Spark
- Point-in-time data
Agent 架构与治理
ENYQUANT：团队合同、共享能力接口、权限与资源协调。
Agent 验收与工具工程
ENYQUANT：Python 验收 CLI、Docker 分发、合同检查与结构化报告。
使用时间
ENYQUANT · 2026
项目职责
- 开发 Docker 分发的 Python 验收 CLI，连接开发合同、测试选择、来源采样计划和结构化报告。
- 检查代码版本、合同和数据来源，建立错误粒度、单位、成员及缺失证据的拒绝路径。
- 设计最终镜像的双架构验证与发布门禁；设计内容与实际执行状态分别记录。
- Python CLI
- Docker
- Contract Validation
- Structured Reports
- CI/CD