About Me
资深数据工程师，5年大数据开发经验，精通Flink、Spark实时计算，擅长Doris、Hive数据仓库建设，熟悉Kafka、Hadoop生态，具备全链路数据开发能力，主导过实时数仓、安全分析引擎及营销活动数据平台开发。
Experience
Data Engineer
某公司 - - Now
职位: Data Engineer | 项目: 1.开发和搭建基于Doris的实时数据仓库，使用Flink对Kafka安全日志数据接入、清洗、分流等，开发安全事件.\n2.参与安全分析引擎的开发，使用Flink对威胁图谱，告警外发，资产统计等功能。\n3.参与安全平台数据计算的程序管理和实时计算模块的搭建。\n4.负责App中大数据平台指标和报表的开发，参与实时数仓开发，编写 Flink 程序，比如营销活动红包领取，活跃用户统计、私域渠道，直连客户等;\n5.负责云营销活动开发，使用Flink开发程序，实时有效资格，供下游权益平台使用，比如风险评估、基金购买和钱包开户等；\n6.负责大数据智能大屏的维护和开发工作， 编写 Spark Streaming 程序，供大屏实时云图和项目覆盖展示使用；\n7.通过 Python 编写Spark 和 Hive SQL 完成相应明细的计算以及业务部门的业务需求，比如相关数据落入Hive数据仓库和相关分层分群和客户迁徙等报表的统计；