数据仓库工程师工作内容(九篇)(全文完整)

时间:2023-05-14 08:30:07 浏览量:

下面是小编为大家整理的数据仓库工程师工作内容(九篇)(全文完整),供大家参考。

数据仓库工程师工作内容(九篇)(全文完整)

无论是身处学校还是步入社会,大家都尝试过写作吧,借助写作也可以提高我们的语言组织能力。范文怎么写才能发挥它最大的作用呢?下面是小编帮大家整理的优质范文,仅供参考,大家一起来看看吧。

数据仓库工程师的工作内容篇一

1、负责大数据开发工作;

2、负责公司数据服务接口平台的建设;

3、参与打造数据中台内容的规划、设计、开发工作,实现高质量数据的互通与共享; 4、参与数据模型体系构建及数据主题设计和开发,搭建离线、近线、实时数据公共层;

5、参与构建非结构化数据体系,进行网络数据爬取,数据清洗,特征挖掘,统计分析,并结合应用场景实现落地。

岗位要求:

1、本科以上学历,计算机、数学、统计学等相关专业;

2、熟悉数据集成、数据仓库、数据分析等全流程数据处理,具备开源或阿里大数据平台实战经验,如hive/spark/maxcompute;

3、熟悉数据治理体系,包括数据模型、数据标准、数据质量等;

4、熟悉常见的离线、实时、流式数据应用场景及架构;

5、至少掌握一门开发语言,java/python;

6、具备良好的沟通能力和设计文档编写能力;

7、懂数据挖掘、知识图谱的构建者优先。

数据仓库工程师的工作内容篇二

职责:

1.参与打造数据中心内容的规划、设计、开发和优化工作,实现高质量数据的互通与共享;

2.参与数据模型体系构建及数据主题设计和开发,搭建离线、实时数据仓库;

3.参与数据产品与应用的数据研发;

4.负责日常应用系统监控,发现异常问题及时分发,并跟进后续处理;

5.编写python程序,或etl技术完成日常数据抽取和整理任务,可独立进行数据分析;

岗位要求:

1.熟悉etl开发、数据仓库设计流程,熟悉oracle, ms sql server 等主流数据库,表结构设计,存储过程编写;

2.熟练掌握常用linux命令,具备shell编程能力,熟练掌握python编程语言

3.具有较强的语言表达和沟通能力,良好的团队合作精神

4.逻辑思维能力强,对数据敏感,有较强学习能力和创新思维;

5.具有高度的责任感和敬业精神,能够承受较大的工作压力

数据仓库工程师的工作内容篇三

职责:

1、负责金融行业数据仓库开发工作

2、负责与多个应用对接的接口和框架设计

3、充分理解产品需求,能够结合需求进行任务设计,完成详细设计文档的编写。

岗位要求:

1. 从事数据仓库及商业智能(bi)领域工作至少3年以上,熟悉数据仓库模型设计方法论,并有实际的模型设计经验,有大型数仓建设经验优先;

2. 精通数据仓库领域知识和管理技能,包括但不局限于:元数据管理、数据质量、主数据管理、性能调优等;

3.有主流商业/开源etl工具(informatica、datastage、kettle等)使用经验者优先;

4. 熟悉hadoop生态相关技术并有相关实践经验,包括hdfs、map-reduce、hive、hbase、spark等,具备海量数据加工处理(etl)相关经验;

5. 熟练使用java语言,对微服务架构有一定了解;

6. 具有较强的团队意识与良好的沟通能力及高度的工作责任感,热爱技术,有很强的钻研能力,乐于接受有挑战性的任务;

7、有团队管理经验优先。

数据仓库工程师的工作内容篇四

职责:

1、深入理解业务,了解需求和痛点,为风控和业务部门提供数据支持;

2、针对业务需求,参与数据仓库需求分析,制定etl相关设计方案和开发计划;

3、负责数据同步,数据整合清洗,以及数据质量的治理;

4、数据仓库模型设计,分层体系构建,元数据管理监控以及权限控制。

任职资格:

1、重点院校统招本科及以上学历,计算机基础扎实;

2、具有2年以上金融贷款类业务经验;

3、熟悉数据仓库理论和数据库建模,有redshift和aws经验优先;

4、精通pgsql/mysql等数据库,精通sql语言,具有数据库优化/sql优化相关经验;

5、熟练掌握python/shell语言。

数据仓库工程师的工作内容篇五

职责:

1、hpe、h3c、华为等服务器硬件安装和维护;

2、熟悉hpe、emc、华为等各品牌存储,能独立进行lun映射及存储故障解决;

3、熟悉服务器常用的raid、scsi技术;

4、对windows、linux等操作系统安装、排错;

5、协助业务部门做产品升级及方案制订;

任职资格:

1、大专及以上学历,计算机专业;

2、服务器相关行业具有三年及以上工作经验,具有独立服务器硬件故障判断能力,对故障进行独立解决,具有丰富的硬件安装和维护经验;

3、熟悉vmware、华为、h3c等虚拟化技术及虚拟化软件操作;

4、具有一定的网络规划及实施能力,具备网络基本知识,可排查常见的网络故障;

5、具备数据库维护经验更佳;

数据仓库工程师的工作内容篇六

职责:

负责大数据数据仓库的建设,根据数据仓库及bi项目的需求,制定相关的设计方案和开发计划;

参与数据的分析处理和数据统计内容的架构设计与研发;

组织项目组成员完成数据仓库的开发和运维等;

负责公司数据规范、数据标准、数据指标梳理与定义;

协助技术人员完成数据管控平台的搭建,完成数据规范管理体系到信息平台的落地实施;

组织开展对数据平台各模块的内容进行培训;

制定和审计业务系统数据数据库模型设计规范;

任职资格:

有一定的互联网数据仓库经验;

深入了解 hadoop 生态系统,熟悉hbase、hive、storm、spark等大数据开发工具中一种或几种;

具备大型数据仓库架构设计、模型设计、etl 设计的相关经验;

关系型数据库原理基础扎实,熟悉 mysql/postgresql等的使用和调优;

有独立设计数据仓库经验、熟悉数据仓库相关理论知识者优先;

数据仓库工程师的工作内容篇七

职责:

(1)分析需求,完成相关数据抽取、数据清洗、数据探索、数据建模分析等工作;

(2)按要求完成数据分析报告、建模报告、数据报表等;

(3)对数据进行深度挖掘和建模,做运营和用户等各方面分析,深度挖掘运营优化和用户行为特征等,推动分析问题的解决,为业务决策提供日常支持;

(4)与业务部门和技术部门对接,完成设计,编写,维护和完善公司业务相关的算法。

(5)参与项目成果汇编,对相关结果进行解读和汇报。

任职要求:

(1)大专以上学历,统计、数学、计算机、软件专业优先;

(2)熟练使用python,mysql语言,具有一定的工程能力,完善的文档和注释习惯。熟悉jupyterlab远程代码编写环境,linux常用命令。会使用r,java,scala等语言更佳。

(3)熟悉数据分析过程,能够完成数据抽取、数据处理、数据建模、数据分析报告等任务;

(4)一定的数据挖掘/机器学习理论和技术基础,了解常用的数据挖掘算法如:聚类模型、线性回归、逻辑回归、分类模型、决策树模型等。

数据仓库工程师的工作内容篇八

职责:

1. 负责数据etl开发,根据数仓层级结构及主题域划分,规范清洗代码,提供准确数据

2. 负责数据质量治理,发现异常业务逻辑或数据质量问题,推动业务优化及改善。

3. 负责数据开发需求评审、结合数据分析体系制定etl清洗方案;

任职要求:

1. 一年以上数据仓库etl设计及开发经验,有bi经验者优先

2. 熟练使用 sql,熟悉hql常用内部函数,有一定的 hql性能调优经验优先

3. 具备数据仓库架构设计、模型设计、etl设计,调度的相关经验优先;

4. 对数据敏感,有较强数据分析和解决问题能力;

5. 积极沟通,主动了解业务需求,愿意尝试新的技术领域。

数据仓库工程师的工作内容篇九

1、调整和优化中试生产工艺,确保生产工艺的稳定。

2、负责中试工艺规程、批记录、部门管理性文件起草、修订及培训。

3、负责中试工艺验证文件起草、修订、培训、执行。

4、负责中试工艺相关cr、偏差、capa等起草、跟踪。

5、批指令单、限额领料/退库单的准备,批记录的领用、审核和上交。

6、检查车间sop文件,若发现存在问题,及时发送至相应人员对文件进行更新。

7、负责车间gmp检查,确保现场合规操作,符合gmp要求。

8、遵守公司规章制度,严格按sop操作。

9、领导安排的其它工作。

推荐访问:数据仓库 工程师 内容 数据仓库工程师工作内容(九篇) 2023年数据仓库工程师的工作内容(九篇) 数据仓库工程师前景