Dewei Zhai

Senior Data Engineer & Applied AI Engineer

Expertise

Technologie-ervaring, projectverantwoordelijkheden en relevante certificeringen.

Dataplatformarchitectuur

PVH: 500+TB AWS-platform. ENYQUANT: cloud- en elektriciteitsmarktdata.

Projectverantwoordelijkheden

  • PVH (2020–2022, 2023–2025): platformarchitectuur binnen een kernteam van circa tien; Adobe-, Salesforce- en SAP-integraties, configuratiegestuurde ETL, datakwaliteitschecks en planning over tijdzones.
  • ENYQUANT (2026): verantwoordelijk voor cloud- en dataplatformarchitectuur, code, deployment en beheer met Airflow, DuckDB, Polars, DuckLake en objectopslag.
  • Azure
  • Alibaba Cloud
  • Airflow
  • DuckDB
  • Polars
  • DuckLake

Idempotente ETL & betrouwbaarheid

PVH: configuratiegestuurde, idempotente ETL, datakwaliteit en planning.

Projectverantwoordelijkheden

  • PVH (2020–2022): configuratiegestuurde, idempotente productie-ETL ontwikkeld met consistente doeldata bij herhaalde verwerking van dezelfde invoer.
  • Verantwoordelijk voor datakwaliteitschecks, operationele observability en planning over tijdzones.
  • Python
  • SQL
  • Spark
  • Airflow
  • AWS
  • Idempotent ETL

SQL & datapipelines

PVH: SQL, YAML-contracten, validatie en een Airflow DAG-factory.

Projectverantwoordelijkheden

  • PVH (2023–2025): SQL van analisten in productieoplevering opgenomen; YAML-contracten, statische validatie, datakwaliteitschecks en een DAG-factory ontwikkeld.
  • Oude en nieuwe resultaten vóór ingebruikname vergeleken; het platform ondersteunde 60+ dashboards.
  • SQL
  • YAML
  • Airflow
  • Data contracts

Spark & performance

Spark / PySpark en Python sinds 2016; projecten op HDP, EMR en GKE.

Gebruiksperiode

Python · Spark / PySpark: sinds 2016

Projectverantwoordelijkheden

  • KPN: Hive/Spark ETL ontwikkeld; Hortonworks HDP-clusters geïnstalleerd en beheerd.
  • ABN AMRO: Python/Spark/Hive-pipelines en migratie van Hive-workloads naar PySpark.
  • FedEx: Spark/EMR ETL ontwikkeld en beheerd; Spark op een bestaand GKE-cluster uitgerold, gemigreerd en uitgevoerd met Kubernetes YAML en kubectl.
  • PVH: Spark productie-ETL ontwikkeld. VodafoneZiggo: het bestaande Scala/Spark ETL-framework doorontwikkeld.

Relevante certificeringen

  • Databricks Certified Associate Developer for Apache Spark 2.4 · 2020-11
  • PCAP – Certified Associate in Python Programming · 2021-09
  • Spark
  • PySpark
  • EMR
  • GKE

Cloud & infrastructuur

AWS, Azure, GCP en Alibaba Cloud: gebruiksjaren, platformverantwoordelijkheden en certificeringen.

AWS

Sinds 2018

FedEx · PVH · VodafoneZiggo

  • FedEx: AWS-infrastructuurbeheer met Terraform en Spark/EMR ETL-ontwikkeling.
  • PVH: architectuur en ontwikkeling op een 500+TB dataplatform, idempotente ETL en eventgedreven serverless workflows.
  • VodafoneZiggo: DMS Full Load- en CDC-taken gebouwd en beheerd. Terraform gebruikt sinds 2018.

Certificering (afgifte → afloop) · AWS Certified Solutions Architect — Associate · 2020-10 → 2023-10

Azure

2024 · 2026

PVH (2024) · ENYQUANT (2026)

  • PVH: Azure Databricks-ontwerpen beoordeeld en dataplatformmigratie ondersteund.
  • ENYQUANT: verantwoordelijk voor platformontwerp en implementatie vanaf nul, met Azure Databricks, Microsoft Foundry (voorheen Azure AI Foundry), Azure Data Factory, ADLS, relationele databases en Azure Functions.
  • Verantwoordelijk voor netwerken, Key Vault, Microsoft Entra ID en bevoegdheden, Azure Monitor-observability, Terraform-infrastructuurcode en CI/CD.

Certificering (afgifte → afloop) · Databricks Certified Data Engineer Associate · 2024-12 → 2026-12

GCP

2019–2020 · 2024

FedEx (2019–2020) · PVH (2024)

  • FedEx: GCP-infrastructuur met Terraform beheerd en BigQuery-workloads ontwikkeld; Spark op een bestaand GKE-cluster uitgerold, gemigreerd en uitgevoerd met Kubernetes YAML en kubectl.
  • PVH: BigQuery en Cloud Storage gebruikt in het dataplatformproject.

Alibaba Cloud

Sinds 2026

ENYQUANT (2026)

  • Het Alibaba Cloud-platform vanaf nul ontworpen, gebouwd, uitgerold en beheerd, met volledige verantwoordelijkheid voor implementatie en beheer.
  • Scope: opslag, RDS-relationele databases, VM’s, netwerken en serverless functies.

Kwaliteit & opleverautomatisering

VodafoneZiggo: PowerCenter-conversie en GitLab CI/CD-checks voor 40+ ontwikkelaars.

Projectverantwoordelijkheden

  • VodafoneZiggo (2022–2024): PowerCenter-workflowconversie, voorafgaande validatie en migratiechecks in GitLab CI/CD opgenomen voor minstens 40 ontwikkelaars.
  • KPN (2016–2018): systeemchecks met Robot Framework ontwikkeld en infrastructuur- en oplevertaken met Python, Ansible en Jenkins geautomatiseerd.
  • GitLab CI/CD
  • PowerCenter
  • ETL validation

CDC & platformmigratie

VodafoneZiggo: AWS DMS Full Load + CDC; honderden TB van Oracle naar Snowflake.

Projectverantwoordelijkheden

  • VodafoneZiggo (2022–2024): als cloudbeheerder en data engineer AWS DMS Full Load- en CDC-taken gebouwd en beheerd voor een Oracle-Snowflake-migratie van honderden TB.
  • Bijgedragen aan het bestaande Scala/Spark ETL-framework en technische migratieondersteuning.
  • AWS DMS
  • CDC
  • Oracle
  • Snowflake
  • Scala
  • Spark

MLOps-ondersteuning

JupyterHub, MLflow, productie-Spark-jobs en tijdsemantiek voor trainingsdata.

Projectverantwoordelijkheden

  • VodafoneZiggo: JupyterHub + MLflow-diensten gebouwd voor 4–5 data scientists.
  • FedEx: JupyterHub beheerd en Spark-analysecode van data scientists in productie gebracht en geoptimaliseerd.
  • ENYQUANT: point-in-time zichtbaarheid voor historische trainingsdata gedefinieerd en snapshotgebonden readback en datachecks geïmplementeerd.
  • JupyterHub
  • MLflow
  • Python
  • Spark
  • Point-in-time data

Agentarchitectuur & governance

ENYQUANT: teamcontracten, gedeelde interfaces, bevoegdheden en resourcecoördinatie.

Gebruiksperiode

ENYQUANT · 2026

Projectverantwoordelijkheden

  • Teamcontracten, gedeelde capability-interfaces en workflows voor ontdekken, toepassen, bijdragen en publiceren ontworpen voor de AI-samenwerkingsrepo.
  • Agentbevoegdheden, gedeelde-resourcecoördinatie en opleverbewijsregels onderhouden; dubbele instructies samengevoegd en eigenaarschap vastgelegd.
  • AI Agents
  • Skills
  • Plugins
  • Context Design
  • Resource Coordination

Agentvalidatie & tooling

ENYQUANT: Python-validatie-CLI, Docker-distributie, contractchecks en rapporten.

Gebruiksperiode

ENYQUANT · 2026

Projectverantwoordelijkheden

  • Een via Docker verspreide Python-validatie-CLI ontwikkeld voor ontwikkelcontracten, testselectie, bronsteekproefplannen en gestructureerde rapporten.
  • Codeversies, contracten en bronnen gecontroleerd, met afwijzing van verkeerde intervallen, eenheden, leden en ontbrekend bewijs.
  • Dual-architecture imagechecks en releasegates ontworpen; ontwerp en uitvoeringsstatus worden apart vastgelegd.
  • Python CLI
  • Docker
  • Contract Validation
  • Structured Reports
  • CI/CD

Agentworkflows & gedeelde oplevering

ENYQUANT: drie gedeelde Skills voor dataontwikkeling en brononderzoek.

Gebruiksperiode

ENYQUANT · 2026

Projectverantwoordelijkheden

  • Dataontwikkeling en brononderzoek verpakt in drie gedeelde Skills met samengevoegde broncode; invoer, toolversies, bevoegdheden, acceptatiebewijs en stopvoorwaarden vastgelegd.
  • Omgevingsdetectie, UTF-8-lezing en overdracht bij geblokkeerde uitvoering aangepast op basis van Windows/WSL-agentproeven van een ander teamlid.
  • AI Agents
  • Skills
  • Plugins
  • Workflow Engineering
  • Behavioral Validation