关于我
资深数据工程师,精通Greenplum/PostgreSQL/MySQL等数据库开发与运维,擅长ETL流程优化及Clickhouse引擎应用。具备银行信创改造、GIS空间数据处理及券商ETL全流程经验,熟练使用Kettle、PostGIS、PGPool-II等工具。持有PG认证,掌握Python/S...
经验
Data Engineer
国内某银行 - - 现在
职位: Data Engineer | 时间段: 未明确 | 工作内容: 1.负责Greenplum、PostgreSQL、Mysql数据库的安装部署、日常运维2.优化ETL流程,通过插件+Shell脚本调整,提升数据传输效率3.Clickhouse数据库开发,针对不同的Clickhouse引擎,满足不同的业务场景,提升报表查询效率
Data Engineer
国内某GIS公司 - - 现在
职位: Data Engineer | 时间段: 未明确 | 工作内容: 1. 数据库开发:采用拉链表实现历史数据变更管理,支持灵活展示不同时间切片的数据版本;设计并实施实时库与静态库的双向同步机制,保障数据的一致性与业务的连续性2. 数据分析:基于PostGIS与QGIS等工具,构建空间数据处理流水线,通过SQL批处理脚本,高效完成客户地理数据的筛选、空间连接运算等需求3. 负责PGPool-II与PGBouncer中间件的规划与实施,通过读写分离、连接池管理及负载均衡策略配置,构建高可用、高性能的PostgreSQL数据库访问层
Data Engineer
国内某券商公司 - - 现在
职位: Data Engineer | 时间段: 未明确 | 工作内容: 1.独自承担项目ETL全流程开发与运维,用KETTLE对数据进行采集、加工、调度、监控;2.熟练掌握 Oracle、MySQL、Hive、Spark。存储过程书写,优化 执行较慢的 sql 语句3.运用Excel高级功能(数据透视表、VLOOKUP等)对明细数据进行聚合与核对,支持业务部门多维度分析需求


