Về tôi
Kinh nghiệm
Senior Data Engineer
Gate - - Bây giờ
职位: Senior Data Engineer | 时间段: 2025-06 ~ 2026-03 | 工作内容: 深耕Web3风控数据领域，作为核心骨干参与Gate风控数据基建与平台建设，覆盖离线数仓建设、指标跑批计算、实时数仓、OLAP服务、全局监控等全链路场景。优化Dolphin Scheduler资源调度，平抑集群负载峰值，资源利用率提升20%，任务时长缩短30%；主导Doris平滑升级与底层SQL优化，保障高可用SLA；从0到1搭建全局监控告警中心，覆盖慢查询、CPU、内存，设计大SQL自动Kill机制，告警准确率超过95%，排障时效压缩至10分钟内；落地现货、合约等反欺诈离线策略，完成设备指纹动态解析、高精度K线及0点全站资产快照开发，核心多维查询响应降至3秒以内。攻克第三方设备指纹多层嵌套及JSON字段动态解析难题，实现增量落表；设计长周期风控特征模型并向Doris输出，修复VIP降级漏洞；打通Kafka到PySpark核心离线处理流程，构建稳定高效的OLAP数据服务层，支撑业务决策。
Technology Lead
Infosys Technologies (Shanghai) - - Bây giờ
职位: Technology Lead | 时间段: 2024-02 ~ 2025-02 | 工作内容: 负责新零售云仓数据平台架构治理，主导基于Databricks的数仓重构与全链路DQC建设，保障数据质量与SLA稳定交付。基于Databricks和Azure治理膨胀的ADS/DWS层，增设DM层沉淀共性逻辑并统一指标口径，解决烟囱式开发问题；建立每层核心表DQC稽核机制，重新分配调度任务，将夜间资源使用峰值由90%+压降至60%+，整体产出时效提升1.2小时。
大数据技术专家
新希望集团 - - Bây giờ
职位: 大数据技术专家 | 时间段: 2018-04 ~ 2024-01 | 工作内容: 负责集团级数据中台架构重构与禽BU离线数仓建设，推进底层开发规范落地与体系化数据治理，赋能跨部门协同与业务自助取数。参与从CDH到数据中台的重构及Kafka、Flink、Doris实时数仓建设，打通数据服务壁垒；推行底层开发与模型规范，提升规范化交付能力；规范数据生命周期，下线超2000张无用表，释放存储800T，整合30多个烟囱模型；推进ODS穿透治理，穿透率由15%降至2%；治理800万+小文件，优化48个高消耗任务，节省38%资源，基线产出最晚时间提前1.5小时。
大数据工程师
亦非云互联网技术上海有限公司 - - Bây giờ
职位: 大数据工程师 | 时间段: 2016-03 ~ 2018-03 | 工作内容: 负责基于Lambda架构的短视频流媒体大数据平台建设，主导底层ETL核心组件定制开发与多维业务指标模型搭建。搭建流批一体架构，处理日均千万级埋点日志，实现准实时流计算与离线比对，误差率控制在0.5%以下；深入Flume底层进行二次开发，编写自定义拦截器解决断点续传、小文件过多及手机号脱敏问题；编写复杂Hive UDAF计算短视频流畅度，构建用户行为漏斗、留存率及播放质量等分析模型，赋能产品决策。
