Dewei Zhai

工作经历

1. Feb 2026 — present

   Enyquant

   Data Platform Owner & Platform Architect

   • 从零建设公司的云与数据平台，负责架构、代码、部署和日常运行。
   • 60 天交付一个国家五年的电力运行与市场数据，为模型训练定义数据的时间点可见性。
   • 将可比日常工作负载从 Databricks + ADF 迁至单台 VM 上的 DuckDB、Polars 和 DuckLake，月成本降低约 95%。
   项目复盘 →

2. Nov 2023 — Oct 2025

   PVH · Tommy Hilfiger & Calvin Klein

   Lead Data Engineer

   • 在约十人的团队中承担架构负责人职责，支持 500+TB AWS 数据平台。
   • 引入 YAML 契约、校验和 DAG 工厂，将一个代表性的 Dashboard 交付周期从 4–6 周缩短到 1–2 小时；平台支持 60+ 个 Dashboard。
   • 将受控 PII 流程改为事件驱动的 Serverless 架构：典型时延约 2 小时 → 5–10 分钟，相关 AWS 成本降低约 90%。
   项目复盘 →

3. Sep 2022 — Jan 2024

   VodafoneZiggo

   Senior Data Engineer

   • 在 100+ 人的数据团队中改进 Scala/Spark ETL，并运行 AWS DMS Full Load + CDC，支持 Oracle → Snowflake 迁移。
   • 为 40+ 名开发者建设 PowerCenter 转换与 GitLab CI/CD 校验，将反馈从数小时或数天缩短到几分钟，估算每周节省 40+ 小时手工工作。
   • 为 4–5 名数据科学家建设 JupyterHub + MLflow 服务。
   项目复盘 →

4. Dec 2020 — Aug 2022

   PVH

   Senior Data Engineer

   • 在原有迁移接近完成后，为 500+TB AWS 平台建设 Adobe、Salesforce 和 SAP 集成。
   • 开发配置驱动、可幂等执行的 ETL，改进数据质量、可观测性与跨时区调度。

5. Aug 2018 — Nov 2020

   FedEx · former TNT Digital

   Data Engineer

   • 用 Terraform 管理 AWS/GCP 基础设施，开发 BigQuery 与 Spark/EMR 工作负载；在既有 GKE 集群上部署、迁移和运行 Spark。
   • 重构覆盖 175 个业务案例的 Spark 作业：原版本运行三小时后内存溢出，新版本在五分钟内完成全部计算。

6. Feb 2018 — Jul 2018

   ABN AMRO

   Data Engineer

   • 为 DIAL 平台建设 Python/Spark/Hive 管道，将 Hive 工作负载迁移到 PySpark。
   • 将每周约三天的手工 Excel 工作自动化，脚本约三分钟完成。

7. Nov 2016 — Jan 2018

   KPN

   Big Data Consultant

   • 为企业客户交付和运维裸机 Hortonworks HDP 集群，开发 Hive/Spark ETL 与 Python、Ansible、Jenkins 自动化。
   • 建设 Robot Framework 健康验证套件，每周为团队节省八小时以上手工检查。

8. Oct 2012 — Nov 2016

   KPN

   Network Quality Engineer

   • 负责电信方案的技术验证与生产验收，包括设计审查、测试和运维交接，并用 Python 与 PostgreSQL 做分析和自动化。

9. Jun 2009 — Oct 2012

   Huawei

   Software Test Engineer

   • 负责 KPN 荷兰核心网数据库切换的测试与交付。经过数月测试与分阶段迁移规划，团队完成 1,200 万用户迁移，生产事故为零。