个人评价
1、 熟练数据仓库模型设计以及常用的数据建模理论,可独立把控数据仓库的各层级设计;
2、 熟练 Mysql/Oracle/Hive 等数据库,精通 SQL 及性能调优,有6年离线数据开发经验;
3、 熟练 Hadoop/Hive/Spark/Flink/Azkaban 等大数据存储和计算系统,并具有项目实践经验;
4、 熟练 Linux 系统,以及 Shell 脚本、Python、Java等编程语言;
5、 8年数据仓库开发经验,3年DBA经验,有数据质量管理和数据安全相关经验;
6、 拥有CDGP证书、CDGA证书、OCP证书和PMP证书。
工作经历
广东省新黄埔中医药联合创新研究院 202211 - 202310
负责统筹规划并迭代医疗行业数据中台的架构设计,核心技术代码实现;
负责整体数据治理体系的设计,包括主数据管理、元数据管理、数据质量管理、数据安全管理等领域的规划和落地;
负责带领团队完成HIS(医院系统)系统、MDT(多学科会诊)系统、IOT(物联网)系统的数仓规划和开发,包括分层建设、主题模型、模型设计,以及BI系统和大屏建设和落地;
负责跟进项目进度以及解决相关数据问题,以及数据质量管理和数据安全问题;
负责数据团队技术培训,帮助团队人员快速成长.
广州云徙科技有限公司 202108 - 202211
负责现有大数据平台架构架构设计与选型,核心技术代码实现;
根据需求完成术选型总体架构设计,解决技术难点,并形成标准的数据中台标准架构方案;
负责跟进项目进度以及解决相关数据问题,以及数据质量管理和数据安全问题;
负责解决项目团队碰到的技术难度和缺陷问题;
负责数据团队技术培训,帮助团队人员快速成长。
浩鲸云计算科技股份有限公司 201905 - 202108
负责国际电信大数据项目规划建设、技术选型、方案设计、数据架构设计、核心模块开发以及项目落地实施;
负责数据仓库设计以及搭建,组织人员进行后期维护。
负责与客户进行需求调研、项目需求设计、定制化需求开发以及业务领域核心数据报表开发。
负责完成从业务模型到数据模型的设计工作,业务模型分析及转换,实现复杂的业务逻辑在大数据平台实现;
协助团队完成系统工具设计以及功能优化。
培训员工大数据以及数据仓库技术和成长路径规划。
广东亿迅科技有限公司 201503 - 201905
负责业务系统及自动化运维平台的开发及运维。
日常报表需求口径分析和模型设计。
基于PostgreSQL的数据仓库核心代码开发。
培训同事大数据(Hive语法)技术。
设计开发Python网站。
武汉思达网络有限公司 201209 - 201503
依据业务需求设计数据存储结构、负责系统数据库定期检查。
根据项目需求完成SQL语句的编写(包括存储过程、函数)、调试等工作。
SQL语句优化以及数据库性能分析与调优。
数据库安装、调试、管理维护、备份恢复和迁移等工作。
负责日常服务器的巡检、维护,负责系统与应用平台管理,包括状态监控、故障处理等操作。
负责故障处理问题以及优化数据库等工作;
软件开发、测试及发布工作。
负责数据采集、分析、处理、以及维护工作。
培训员工数据库知识。
项目经验
联创明医中医医院 202301 - 202307
Hadoop 数据仓库 医院 挂号 物联网
项目描述:
根据医院门诊数据,进行数据仓库搭建,从而进行用户画像以及相关算法分析,用于支撑医院管理决策,提高医院诊疗水平和教学质量,进而提升医院的品牌服务能力。
工作内容:
根据医疗行业以及医院数据确定相关分析主题。
基于hadoop体系规划和部署同步脚本,以及离线数据开发(HiveSpark)和实时数据开发(Flink)。
负责进项目进度以及解决相关数据问题。
负责代码以及数据质量把关。
门店智能补货系统 202108 - 202203
Hadoop 数据仓库 Hive azkaban ambari flink 数据中台
项目描述:
为客户提供高效的多场景补货工作台,根据商品销售预测、公司的经营战略等因素,结合历史销售、实际库存、周转天数,为客户提供补货决策建议。
基于企业经营目标,结合需求预测,综合库存、商品销售等数据,应用不同的库存管理策略。
为商家输出数智化的补货计划,物料采购计划,以及配送计划。
工作内容:
数据中台(基于Hadoop体系)离线系统日常维护工作。
根据需求完成基于hadoop体系数据仓库模型设计以及Hive脚本开发。
负责进项目进度以及解决相关数据问题。
负责Hive代码以及数据质量把关。
客户项目上线和交付。
新茶饮行业数据质量治理 202108 - 202202
数据质量 数据仓库 数据稽核 数据中台 数据治理
项目描述:
由于新茶饮行业数据源质量不统一,而且客户在处理上面没有标准化建立体系。
本项目在结合历史经验和行业业务经验,总结出一套标准的数据质量稽核和处理流程。
包括收集原始数据分析数据质量问题、制定物料数据标准、清洗物料数据以及数据质量优化等。
工作内容:
新茶饮行业数据质量治理标准建立。
项目数据一致性、准确性、完整性业务标准建立。
项目数据质量稽核的核心代码实现。
设计数据质量和数据中台系统集成方案。
开发基于python稽核不通过通知程序,包括钉钉通知和邮件通知。
EDW管会模型架构开发 202005 - 202108
Hadoop 数据仓库 Hive Oracle 存储过程 数据架构
项目描述:
国际电信业务是基于Oracle传统数据仓库建设。
将其中BI报表的数据仓库各个层次改造成基于Hadoop集群的数据仓库。
其中涉及DWD层、汇总层、报表层模型重新设计和的代码开发。
工作内容:
国际部电信大数据管会项目数据架构设计、功能模块设计、核心模块开发以及地实施与改造;
负责与客户进行需求调研、项目需求设计、定制化需求开发以及业务领域核心数据报表开发。
负责完成从业务模型到数据模型的设计工作,实现复杂的业务逻辑在大数据平台实现;
培训员工大数据以及数据仓库技术和成长路径规划。
中国移动分析平台支撑研发 201905 - 202005
Hadoop 数据仓库 Hive 数据建模 kafka 离线数仓
项目描述:
项目以提升数据质量、强化数据安全、融合赋能、完善标签体系,为客户业务运营分析注智赋能为目标。
结合业务实际需求,基于数据分析平台服务能力组件,从底层数据仓库建设到上层业务分析应用,为业务提供数据全流程支撑方案。
工作内容:
完成数据资产中心的建设工作。
包括基础数据源的梳理和汇聚,进行基础数据中心(ODS)、公共数据中心(CDM)、应用数据中心(ADS)三大数据层的数据模型设计和开发工作安排。
完成基于Hadoop平台日常业务报表业务口径梳理,开发。
包括小时、日、月表等粒度共 32 个模型报表的建设和上线。
跟进大数据门户迁移进度,包括数据资产、智能取数模块的部署和测试上线。
基于Hive重点业务的分析平台建设和日常支撑工作。
中国电信公司广东分公司EDA项目 201503 - 201905
PostSQL 数据仓库 数据集市 SQL优化 指标口径 需求分析
项目描述:
满足集团规范及能力要求建设,实现集团月模型提速24小时上报,日模型提速4小时上报;
客户标签优化,应对省内业务发展,优化六大细分市场、光纤宽带、3G、4G等标签,实现对各业务部门统计分析工作的快速支撑;
宽表模型支撑,新增客户、套餐价值、欠费等宽表模型,支撑各业务部门进行个性化的专题分析;
工作内容:
数据仓库中DWD层数据模型的开发与优化。
日常报表日报和月报指标模型需求口径分析、开发与优化。
ODS应用架构优化,实现对企业数据门户和ODS应用的架构、功能、展现方式进行优化;
自助取数工具优化,新增模板取数、预约取数、自定义SQL、交叉表展现等功能。
知了ICU 201709 - 201711
Python爬虫 Django Bootstrap Nginx 实时处理 大屏
项目描述:
该项目主要功能模块分为首页商品展示、影视展示、搜索功能等。是一套商品优惠券领取的网站。
用户可以浏览商品,领取淘宝优惠券,搜索商品以及存储电影等。
页面采用Html ,CSS, JQuery等技术,运用了bootstrap框架展示页面,后台使用Django框架,Postgresql数据和Python语言。
工作内容:
在本项目中本人既是Leader也是高效的执行者角色。
本人独立完成了整个项目的设计工作,并参与开发与测试等环节中。
该项目主要功能模块分为首页商品展示、影视展示、搜索功能等。
页面采用Html ,CSS, JQuery等技术,运用了bootstrap框架展示页面,后台使用Django框架,Postgresql数据和Python语言。
湖北省社保数据同步业务 201209 - 201503
Oracle 架构设计 参数调优 单元测试
项目描述:
湖北省各个县市每天、每周、每月查询和统计信息,以及每天实时同步和延时同步功能。包括社保数据、医保数据的查询、更新、增加、下载。
工作内容:
数据库设计,Oracle架构、数据库后台程序开发以及项目性能优化及维护。
其中包含:表设计、索引设计、表空间设计、Oracle数据参数设计、存储过程设计以及编写并测试、后期维护与性能优化