最新大数据架构师工作内容(23篇)

时间:2023-05-14 08:30:07 浏览量:

下面是小编为大家整理的最新大数据架构师工作内容(23篇),供大家参考。

最新大数据架构师工作内容(23篇)

在日常的学习、工作、生活中,肯定对各类范文都很熟悉吧。相信许多人会觉得范文很难写?下面我给大家整理了一些优秀范文,希望能够帮助到大家,我们一起来看一看吧。

大数据架构师工作内容篇一

1.负责数据仓库建设,基于数据驱动构建企业级数据模型,根据架构设计进行各层数据模型开发。

2.面向pb级别超大规模数据处理和查询需求,设计适合业务变化的合理的多维数据分析系统架构,满足多样性需求。

3.构建设计良好的数据流、调度系统、查询引擎、监控系统,保证系统稳定高效运行,以实现数据的最大价值。

4.指导团队成员开展数据仓库建设。

5.参与重点项目的评审,参与企业数据管理体系建设。

任职要求:

1.统招本科及以上学历。

2.从事数据仓库领域至少5年以上,熟悉数据仓库模型设计与etl开发经验 ,掌握kimball的维度建模设计方法,具备海量数据加工处理(etl)相关经验 。

3.具有一定数据模型和数据架构基础,熟悉hadoop\hive和常用数据库。

4. 精通sql,有一定的sql性能调优经验,熟悉hive sql的开发。

5.具有管理团队开发经验,具备良好的组织能力、协调能力及项目管理能力。

6.具有较好的文字功底及语言表达能力,能够快速、准确地理解需求。

7.具有专研、快速学习和创新精神,具备独立分析问题和解决问题的能力。

8.具有责任心,时间观念强,工作独立性强,有良好的团队合作精神。

9.全日制普通本科毕业。

大数据架构师工作内容篇二

职责:

1. 规划设计大数据平台整体架构,规划各种组件,并且指导技术团队完成相关系统验证、安装、部署、配置;

2. 负责制定大数据平台技术规范和接口规范,指导研发团队按照规范进行系统开发;

3. 配合商务人员完成售前技术支持工作;

4. 完成其他与数据应用有关的技术工作;

任职要求:

1. 计算机相关专业本科学历,5年以上工作经验;

2. 对大数据技术栈有非常深刻的了解;具备架构设计的实际经验;

3. 对信息安全架构设计及实施有一定的经验;

4. 熟悉linux、windows等操作系统的安装配置;

5. 熟悉互联网应用的安装配置;熟悉常见大数据技术栈组件的安装配置;熟悉visio等绘图工具的使用;

6. 有卫生信息化建设经验者优先;有容器安装部署经验者优先。

大数据架构师工作内容篇三

职责:

1、负责大数据平台架构的规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、参与企业级大数据产品和应用规划;

4、研究跟进大数据架构领域新技术并分享;

5、大数据处理和分析应用平台的设计指导。

任职资格:

1、 具备深厚的分布式系统或数据库系统的理论基础,熟悉分布式计算系统的工作机制,具有分布式文件系统、分布式数据库系统、集群存储系统等架构设计经验;

2、熟悉bi平台架构及相关项目标准,大数据解决方案包括hadoop、spark、storm、机器学习等大数据平台解决方案;

3、熟悉mysql/postgresql/oracle/mongodb/redis等主流数据数据库;

4、 精通linux/unix环境,精通j java、scala、python、r中的一种或多种语言;

5、 具备优秀的团队意识和沟通能力,学习能力和主动性强,具有钻研精神,充满激情,乐于接受挑战;

6、大专及以上学历,3年及以上工作经验。

大数据架构师工作内容篇四

职责:

1.能够带领技术人员基于hadoop平台进行海量数据应用系统开发;

2.负责结构化和非结构化数据的解析和清洗,海量数据查询和报表展现;

3.负责超大规模数据平台的搭建、维护和优化;

4.负责大数据采集、存储框架研究,参与在线或离线数据存储模型设计;

5.负责大数据平台新技术的开发使用和性能优化,测试。

任职资格:

1.计算机相关专业本科及以上学历;

2. 熟悉hadoop相关各种开源项目,比如hdfs/hive/hbase等有实际应用。(5年以上开发经验者优先);

3.两年以上熟练编写mapreduce代码经验,有三年以上网络日志分析、etl经验。熟悉日志分析框架chukwa,flume,scribe者优先;

4.两年以上海量数据存储的安装部署、优化、二次开发经验,对大规模数据存储、传输、处理等有丰富的经验;

5.在数据挖掘、数据密集型处理、分布式计算、网格计算领域有深入理论基础;

6.具有较强的文档撰写能力,较强的团队精神和合作精神,对工作有热情,能承受压力。

大数据架构师工作内容篇五

职责

1、负责企业级大数据平台、数据云服务的设计与开发;

2、基于大数据生态圈,支持智慧交通等大数据场景应用实现;

3、负责公司大数据产品的设计、封装与落地;

4、负责学习大数据相关算法研究、实现与应用

任职要求

1、统招本科及以上学历;2年以上智慧城市建设或交通行业信息化相关工作经验,3年以上大数据架构设计、开发经验;

2、精通大数据生态圈的技术,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具备源码级问题解决和集群优化改造能力;

3、熟悉常用编程语言,包括java、python、scala等;

4、具有很强的技术研发和创新能力,能有效把握技术发展方向,有较强的执行能力、学习能力、沟通能力、适应能力,责任心强;

大数据架构师工作内容篇六

职责:

1、负责dmp技术架构设计与构建,根据业务规划及技术规划制定应用架构方案;

2、负责设计构建dmp数据采集、存储及分析框架,设计数据处理的技术流程和规范;

3、负责核心功能的架构与代码模板编写,开发与维护系统公用核心模块;

4、负责基于大数据技术的海量数据的自动化分析处理和统计工作。

岗位要求:

1、计算机或相关专业本科以上学历,三年以上的开发经验,二年以上大数据相关软件架构的实际经验;

2、精通大数据处理技术,熟悉hadoop/storm技术体系,有hadoop、hive、hbase项目经验;

3、具有较强的架构能力,具有分布式计算、实时计算、数据仓库、数据挖掘系统的架构经历优先;

4、对数据敏感,洞察力强,了解国内外广告发展趋势;

5.、擅长系统分析与设计,精通常用的设计模式,擅长性能调优;

6、熟悉dmp/rtb技术原理,了解用户的行为分析及建模;有rtb/dsp/ssp/exchange/dmp等广告行业从业经历。

大数据架构师工作内容篇七

职责:

1、负责大数据项目技术架构评估与设计;

2、负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;

3、负责对使用关键技术的预研和选型,完成poc;

4、指导工程师完成开发工作,并能分享技术经验。

任职要求:

1、3年以上相关工作经验,其中具有1年以上架构设计经验

2、熟悉商业智能系统相关技术,如 etl、数据仓库、olap开发;

3、精通设计模式,熟悉面向服务架构(soa)以及其它常用软件架构思想,有soa方案设计、开发实施的实际经验,要具备实际的服务规划、服务粒度划分经验;并且要善于设计可重用组件和可定制化产品。

4、相关技术栈:java /scala/flume/hive/kafka/hbase/ spark/storm/redis;

5、有扎实的计算机基础,熟悉java等编程语言;

大数据架构师工作内容篇八

职责:

负责大数据平台架构的规划和设计,主导系统的架构设计和核心模块开发,确保项目质量和关键性能指标达成;

负责大数据平台技术框架的选型与技术难点攻关,指导开发大数据平台的开发,保证大数据产品的上线运行;

负责深入理解业务需求,对业务建模,设计系统架构,满足业务需求;

负责协助策略和算法工作,保障数据挖掘建模和工程化;

负责根据业务需求整合优化数据架构,保证产品的可靠性、稳定性;

负责指导开发人员完成数据模型规划建设、分析模型构建及分析呈现;

负责研发技术发展方向,新技术领域的探索,将新技术应用到公司大数据平台,提升公司效能

任职要求:

本科及以上学历,拥有5年以上大数据平台产品或分布式系统设计经验,6年以上的开发经验;

精通hadoop,熟悉大数据生态技术,如storm、spark、scala、flume、kafka、zookeeper、yarn、sqoop、cdh、solr 、kylin、impala、hive、hbase、kerberos、sentry等,有大规模集群架构、开发及运维经验;

熟练掌握java/scala语言,实现面向对象开发思想ooa,ood,oop;

熟悉linux操作系统,熟练掌握脚本言语shell/perl/python等编码语言;

熟练掌握数据仓库设计,开发工作。能够根据业务设计并开发数据仓。

具备源码级问题解决和集群优化改造能力者优先;

能快速的学习新的开源框架和知识体系,并应用到现有架构体系中;

逻辑清晰,快速的学习能力,良好的沟通能力、团队协调能力。

具备良好的团队合作精神,较强的沟通交流能力,具备良好的技术领导能力;

具备良好的文档撰写能力和技术团队管理能力

大数据架构师工作内容篇九

职责:

1、负责大数据项目平台架构的评估、规划和设计

2、开发大数据平台的核心模块代码,负责大数据平台的搭建,完成系统调试、集成与实施,保证大数据产品的上线运行

3、根据业务需求整合优化数据架构,保证产品的可靠性、稳定性

4、指导开发人员完成数据模型规划建设,分析模型构建及分析呈现

5、深入研究大数据相关技术和产品,跟进业界先进技术;

6、根据项目要求编写相关技术文档;

7、负责大数据平台的架构评审,代码评审,上线评审;参与数据应用需求、设计、审核和评审;

8、负责核心模块研发,负责大数据平台的搭建,完成系统调试、集成与实施;

9. 负责关键功能的开发,技术难题的解决,以及输出代码的关键把控;

10. 负责对使用关键技术的预研和选型,完成 poc ;

11. 指导工程师完成开发工作,并能分享技术经验。

任职资格:

1、精通linux操作系统,熟练使用java;

2、3年以上大数据项目实战经验,两个项目的架构设计经验,熟悉hadoop、hbase、storm、spark、pig等开源框架,并熟悉其工作原理;

3、有hadoop、spark、hbase平台性能调优经验;

4、熟悉其它分布式存储相关技术,包括hdfs,hive、redis、mongodb、 flume、kafaka、sqoop、zookeeper、elasticsearch等;

5、熟悉java开发常用框架.如spring、mybatis等;

6、熟悉关系型数据库如oracle及数据库编程。

7、能够根据项目情况安排人力、分配任务,具有较强的团队管理能力。

8、硕士以上学历,20xx年以上的工作经验。

大数据架构师工作内容篇十

职责:

1、 基于公司大数据基础和数据资产积累,负责大数据应用整体技术架构的设计、优化,建设大数据能力开放平台;负责大数据应用产品的架构设计、技术把控工作。

2、 负责制定大数据应用系统的数据安全管控体系和数据使用规范。

3、 作为大数据技术方案到产品实现的技术负责人,负责关键技术点攻坚工作,负责内部技术推广、培训及知识转移工作。

4、 负责大数据系统研发项目任务规划、整体进度、风险把控,有效协同团队成员并组织跨团队技术协作,保证项目质量与进度。

5、 负责提升产品技术团队的技术影响力,针对新人、普通开发人员进行有效辅导,帮助其快速成长。

任职资格:

1、 计算机、数学或相关专业本科以上学历,5-20xx年工作经验,具有大型系统的技术架构\应用架构\数据架构相关的实践工作经验。

2、 有分布式系统分析及架构设计经验,熟悉基于计算集群的软件系统架构和实施经验。

3、 掌握hadoop/spark/storm生态圈的主流技术及产品,深入了解hadoop/spark/storm生态圈产品的工作原理及应用场景。

4、 掌握mysql/oracle等常用关系型数据库,能够对sql进行优化。

5、 熟悉分布式系统基础设施中常用的技术,如缓存(varnish、memcache、redis)、消息中间件(rabbit mq、active mq、kafka、nsq)等;有实践经验者优先。

6、 熟悉linux,java基础扎实,至少3-5年以上java应用开发经验,熟悉常用的设计模式和开源框架。

大数据架构师工作内容篇十一

职责:

(1) 负责公司大数据平台搭建,相关的设计和技术开发工作,负责大数据存储系统、分布式计算系统、数据集成、挖掘算法等的设计、研发以及维护、优化工作;

(2) 通过数据分析技术,挖掘有利于营销中各业务场景的变量或规则类标签,以提升模型效果,为文旅、教育业务提供数学模型理论及编程支撑;

(3) 对接沟通业务系统研发团队和产品部门,提供数据驱动方面的专业咨询方案,并对业务的大数据应用场景提出建设性意见;

(4) 配合部门领导进行项目需求分析、设计开发工作。

任职要求:

(1) 计算机、统计学,数学等相关专业本科以上学历,5年以上大数据或文旅、教育数据产品设计开发经验,高效高质量产出需求和技术文档;

(2) 精通hadoop,熟悉大数据生态技术,如storm、spark、scala、flume、kafka、zookeeper、hive、hbase、kerberos等,有大规模集群架构、开发及运维经验;熟悉hdfs/mapreduce等;

(3) 熟悉java,能够独立应用python、r、sas或类似分析工具进行数据分析;

(4) 熟悉大数据挖掘、可视化分析,各种bi算法和产品等,在计算广告、搜索引擎、推荐系统、用户画像等有一个或多个算法领域的研发经验,能够运用数据作为产品解决业务方运营及决策问题;

(5) 有互联网行业工作经验者优先,有海量数据的机器学习算法实践经验优先;

(6) 工作认真、负责,有良好的团队合作精神,良好的分析能力、沟通技巧。

大数据架构师工作内容篇十二

职责:

1、负责企业大数据平台的基础建设、管理及制定拓展规划;

2、负责大数据平台相关自动化服务工具的设计、开发;

3、参与hadoop、hbase、spark等核心平台组件的开发、优化;

4、对平台特殊场景化的数据应用制定相关实践方案;

5、大数据团队的搭建。

任职资格:

1、统招本科以上学历,计算机等相关专业,5年以上工作经验;

2、具有hadoop等大规模集群管理经验、海量(pb)数据处理经验;

3、精通hadoop、hive、hbase等离线平台相关组件的原理机制;

4、了解或熟悉storm/spark/redis/kafka/mongodb等分布式系统;

5、熟悉高并发、分布式开发等相关知识,具有后端服务优化相关经验;

6、熟悉爬虫常用框架以及反爬技术;

7、具有良好的沟通能力、分析问题与攻关问题的能力;

8、有责任心,工作积极,对新领域新技术有热情。

大数据架构师工作内容篇十三

职责:

负责大数据平台的规划和搭建、完成大数据平台的日常运营工作,为数据分析和展现提供支持;

对系统框架相关技术和业务进行培训,并负责核心代码编写,指导团队开发及解决出现的系统问题;

参与基于大数据平台的创新业务场景进行数据产品的架构设计,负责数据产品的研发交付;

负责处理大数据平台的疑难问题,为数据团队提供可靠的技术支持;

负责数据质量、稳定性等数据管理,数据内部共享融通的数据平台,让数据标准更规范、数据获取更高效;

及时跟进大数据领域新技术并分享,提升团队技术能力。

任职要求:

本科或以上学历,5年以上数据系统建设经验,3年以上大数据架构设计经验;

精通 java,python,scala 等一种大数据开发语言,熟悉hadoop生态圈,包括但不限于hdfs,hive,spark, 有丰富的大数据项目的实践经验;

具备创新精神,条理清晰,沟通表达和逻辑思维能力强;

熟悉数据仓库的设计和开发,对数据架构有深入的了解和具备相关的项目实践经验优先;

对sql on hadoop 的开源查询引擎(如presto、 apache drill ) 原理有深入研究优先;

有敏捷大数据和数据可视化实践经验优先。

大数据架构师工作内容篇十四

职责:

1、负责公司的大数据处理框架的研发设计工作,梳理可实现方案和技术规范;

2、开发、完善公司大数据平台;参与公司离线、实时大数据处理系统的设计、开发、测试及多个业务模块的自动化集成;

3、负责业务平台数据统计分析模块的设计与规划;

4、负责公司产品研发过程中的数据及存储设计;

5、带领和培养团队完成组织分解的目标;

任职要求:

1、统招本科及以上学历,计算机、软件工程相关专业,至少8年以上工作经验,5年以上大数据开发经验;

2、熟悉java、hadoop、hdfs、hive、hbase、spark、storm、flume等相关技术的基础架构

3、熟悉数据仓库,数据算法,分布式计算技术理论,具有大数据整体系统架构设计经验;

4、熟悉linux系统,熟练使用shell/perl/python脚本处理问题;

5、对深度学习框架(tensorflow)和机器学习(svm 随机深林贝叶斯等)有一定了解的优先;

6、能够组织项目开发组协同工作,包括团队沟通、计划、开发环境管理等

大数据架构师工作内容篇十五

职责:

根据大数据业务需求,设计大数据方案及架构,实现相关功能;

搭建和维护大数据集群,保证集群规模持续、稳定、高效平稳运行;

负责大数据业务的设计和指导具体开发工作;

负责公司产品研发过程中的数据及存储设计;

针对数据分析工作,能够完成和指导负责业务数据建模。

职位要求:

计算机、自动化或相关专业(如统计学、数学)本科以上学历,3年以上大数据处理相关工作经验;

精通大数据主流框架(如 hadoop、hive、spark等);

熟悉 mysql、nosql(mongodb、redis)等主流数据库,以及rabbit mq等队列技术;

熟悉hadoop/spark生态的原理、特性且有实战开发经验;

熟悉常用的数据挖掘算法优先.

大数据架构师工作内容篇十六

职责:

1、负责公司大数据平台架构的技术选型和技术难点攻关工作;

2、依据行业数据现状和客户需求,完成行业大数据的特定技术方案设计与撰写;

3、负责研究跟进大数据架构领域新兴技术并在公司内部进行分享;

4、参与公司大数据项目的技术交流、解决方案定制以及项目的招投标工作;

5、参与公司大数据项目前期的架构设计工作;

任职要求:

1、计算机及相关专业本科以上,5年以上数据类项目(数据仓库、商务智能)实施经验,至少2年以上大数据架构设计和开发经验,至少主导过一个大数据平台项目架构设计;

2、精通大数据生态圈的技术,包括但不限于mapreduce、spark、hadoop、kafka、mongodb、redis、flume、storm、hbase、hive,具备数据统计查询性能优化能力。熟悉星环大数据产品线及有过产品项目实施经验者优先;

3、优秀的方案撰写能力,思路清晰,逻辑思维强,能够根据业务需求设计合理的解决方案;

4、精通oracle、db2、mysql等主流关系型数据库,熟悉数据仓库建设思路和数据分层架构思想;

5. 熟练掌握java、r、python等1-2门数据挖掘开发语言;

6. 熟悉云服务平台及微服务相关架构思想和技术路线,熟悉阿里云或腾讯云产品者优先;

7、有烟草或制造行业大数据解决方案售前经验者优先;

8、能适应售前支持和项目实施需要的短期出差;

大数据架构师工作内容篇十七

职责:

1.负责整个大数据平台架构的设计和构建;

2.负责构建大数据平台的数据交换、任务调度等通用平台;

3.制定开发、测试、实施、维护的标准和规范,指导和培训工程师,不断提升团队能力。

4.参与系统需求分析、架构设计、技术选型、应用设计与开发以及测试与部署,负责编写核心部分代码。

5.持续挑战新的技术方向,攻克大数据量、高并发、高可用、可扩展等技术难点。

任职要求:

1.3年以上大数据架构经验,丰富的数据仓库、数据挖掘、机器学习项目经验

2.大规模数据处理的架构和设计实战经验

3.精通spark、mr,熟练hdfs、yarn、hbase、hive、mongodb,熟悉kafka、redis、storm、mahout、flume、elasticsearch、graphdb(neo4j或其他)等,并具有丰富的大型数据平台工程经验

4.深刻理解大数据处理(流计算,分布式计算,分布式文件系统,分布式存储等)相关技术和实现方法

5.熟悉主数据、元数据、数据质量等企业数据管理相关的体系和方法,熟练linux/unix平台上的开发环境

6.本科或以上学历,计算机软件或相关专业,丰富的java开发经验和互联网背景优先。

7.具有比较强的问题分析和处理能力,有比较优秀的动手能力,热衷技术,精益求精

大数据架构师工作内容篇十八

职责:

1、大数据平台架构规划与设计;

2、负责大数据平台技术框架的选型与技术难点攻关;

3、能够独立进行行业大数据应用的整体技术框架、业务框架和系统架构设计和调优等工作,根据系统的业务需求,能够指导开发团队完成实施工作;

4、负责数据基础架构和数据处理体系的升级和优化,不断提升系统的稳定性和效率,为相关的业务提供大数据底层平台的支持和保证;

5、培养和建立大数据团队,对团队进行技术指导。

任职要求:

1、计算机相关专业的背景专业一类院校毕业本科、硕士学位,8年(硕士5年)以上工作经验(至少拥有3年以上大数据项目或产品架构经验);

2、精通java,j2ee 相关技术,精通常见开源框架的架构,精通关系数据库系统(oracle mysql等)和nosql数据存储系统的原理和架构;

3、精通sql和mapreduce、spark处理方法;

4、精通大数据系统架构,熟悉业界数据仓库建模方法及新的建模方法的发展,有dw,bi架构体系的专项建设经验;

5、对大数据体系有深入认识,熟悉kafka、hadoop、hive、hbase、spark、storm、greenplum、es、redis等大数据技术,并能设计相关数据模型;

6、很强的学习、分析和解决问题能力,可以迅速掌握业务逻辑并转化为技术方案,能独立撰写项目解决方案、项目技术文档;

7、具有较强的内外沟通能力,良好的团队意识和协作精神;

8、机器学习技术、数据挖掘、人工智能经验丰富者优先考虑;

9、 具有能源电力行业工作经验者优先。

大数据架构师工作内容篇十九

职责:

1、负责规划大数据平台及应用产品的需求和技术方案设计;

2、负责数据对接和对外服务设计、开发和维护,并能保证质量和性能;

3、负责基于大数据平台的应用设计、开发和维护;

4、能从系统全局和各子系统的角度思考可能存在的问题,并提出改进方案建议;

任职要求:

1、大学本科6年以上工作经验,计算机相关专业。

2、至少4年以上的java开发经验,3年以上大数据应用系统的开发和设计经验。

3、熟悉hadoop生态圈技术体系, 对离线计算、内存计算和流式计算均有深刻理解, 如hadoop、storm、spark三个中的任意二个, 能进行平台和组件优化。

4、精通hive、hbase仓库设计,深刻理解mr运行原理和机制,能进行以提供高任务执行效率的优化。

5、精通java开发,熟悉jvm调优, 对gc有深刻理解。

6、熟悉linux、shell、kafka、oracle、mysql、redis等相关技术, 能进行hbase可靠性诊断和维护。

7、快速研究和学习技术能力。

大数据架构师工作内容篇二十

职责:

1. 负责设计企业级大数据平台的整体架构,从技术层面制定清晰的大数据产品与系统技术架构,并负责实现关键技术和产品。

2. 负责设计具有创新价值的大数据底层平台、大数据上层应用系统等,带领团队完成有质变的技术解决方案。

3. 负责组织同事研究行内最前沿的技术发展方向,突破现有的技术难题。

4. 负责研究院对外项目合作协调与支持,编写项目建设方案及后期项目建设支持。

任职要求:

1. 硕士及以上学历,计算机相关专业。

2. java基础扎实,不少于8年的一线开发经验,精通spring boot/mybatis/restful api的开发与管理. 熟悉reactjs/angular/vue之一前端开发技术,熟悉maven或ant.,熟悉python语言开发加分。

3. 不少于4年大数据的直接研发经验,精通hadoop/spark系统,有hands-on的架构设计、性能调优、开发经验。有mongodb、kafka、hbase/cassandra/storm/hive 等系统的开发经验。

4. 掌握分布式系统原理,对分布式存储、流式计算、消息队列中的一项或多项有深入的理解和认识。

5. 熟悉分布式系统的监控、运维、故障恢复,高可用原理和设计理念。

6. 算法基础扎实,熟悉常见的数据结构,掌握大规模高并发访问、大数据开发等处理经验;熟练的linux系统, 网络, 内存和存储等方面知识。

7. 必须要有千万级别的项目管理经验,包括但不限于前期需求沟通,建设方案编写,中期项目实施,进度汇报,后期项目维护。

大数据架构师工作内容篇二十一

职责:

1.参与公司数据平台系统规划和架构工作,主导系统的架构设计和项目实施,确保项目质量和关键性能指标达成;

2.统筹和推进制造工厂内部数据系统的构建,搭建不同来源数据之间的逻辑关系,能够为公司运营诊断、运营效率提升提供数据支持;

3.负责数据系统需求对接、各信息化系统数据对接、软件供应商管理工作

5.根据现状制定总体的数据治理方案及数据体系建立,包括数据采集、接入、分类、开发标准和规范,制定全链路数据治理方案;深入挖掘公司数据业务,超强的数据业务感知力,挖掘数据价值,推动数据变现场景的落地,为决策及业务赋能;

6.定义不同的数据应用场景,推动公司的数据可视化工作,提升公司数据分析效率和数据价值转化。

任职要求:

1.本科以上学历,8年以上软件行业从业经验,5年以上大数据架构设计经验,熟悉bi平台、大数据系统相关技术架构及技术标准;

2.熟悉数据仓库、熟悉数据集市,了解数据挖掘、数据抽取、数据清洗、数据建模相关技术;

3.熟悉大数据相关技术:hadoop、hive、hbase、storm、flink、spark、kafka、rabbitmq;

4.熟悉制造企业信息化系统及相关数据库技术;

5.具备大数据平台、计算存储平台、可视化开发平台经验,具有制造企业大数据系统项目开发或实施经验优先;

6.对数据敏感,具备优秀的业务需求分析和报告展示能力,具备制造企业数据分析和数据洞察、大数据系统的架构设计能力,了解主流的报表工具或新兴的前端报表工具;

7.有较强的沟通和组织协调能力,具备结果导向思维,有相关项目管理经验优先。

大数据架构师工作内容篇二十二

职责

1、负责大数据架构设计,包括定义数据的存储、集成(etl)、应用,支撑业务运营和数据分析类需求实现;

2、制定数据治理领域的数据体系化管理措施,包括元数据设计、数据标准、数据质量、数据处理、数据安全等工作,确保数据可信与安全;

3、基于行业数据积累,满足业务的数据挖掘需求,实现从数据到资产的转变,根据目标行业建立具有前瞻性的数据模型;

4、对各产品的数据安全负责,主导制定和实施数据库系统安全策略,保证整体方案数据安全;

岗位要求

业务技能要求:

1、深入理解云化、数据仓库,在参与过的系统设计中,必须涉及这两项关键技术;

n2、精通或者熟悉hadoop体系架构,以及hdfs/hbase/hive/mapreduce/spark等技术,了解体系架构各组件的优缺点,有直接的产品设计与开发、部署、调优的经验;

3、精通或熟悉常见rdbms(oracle / postgresql / mysql)、nosql(redis / memcached/ mongodb)、全文搜索引擎(solr/elasticsearch)的使用及开发,了解各数据库优缺点, 熟悉与架构设计相关的数据存储、性能调优等相关领域知识,有相关项目经验尤佳;

4、熟悉业界常用的数据采集、集成、数据存储、计算、数据模型、数据分析的技术方案,具有数据分析或数据挖掘相关经验者优先;

n5、熟悉数据治理相关流程,包括数据接入、数据处理、数据治理、数据组织、数据服务等。

专业知识要求:

1、具备数据治理的知识与体系方案,包含政策、组织、角色、流程、规范等,以及规划相应的支撑方案。了解业界的数据管理方法论;

2、具备数据用例设计和开发能力。能够基于业务相关数据进行业务需求分析和痛点识别,将业务需求转化为数据的需求,完成数据用例的设计和开发;

3、精通海量数据(日增量百亿)级别数据仓库、数据集市的构建流程。熟悉公安、政务、工业、交通、医疗等多行业业务者优先。

大数据架构师工作内容篇二十三

职责:

1. 负责大数据平台的基础技术规划,编制相关规范文档。

2. 负责大数据平台的数据采集,处理,存储以及挖掘分析的架构实现。

3. 负责大数据平台的实际规划建设,包括环境和框架的规划搭建以及部分核心编码工作。

4. 负责大数据相关技术发展方向的预研。

5. 参与业务需求调研,根据需求及行业特点设计大数据解决方案并跟进具体实施项目。

6. 制定大数据平台中数据质量,业务质量监控及管理办法。

岗位要求:

1. 全日制本科及以上学历,5年以上工作经验,4年及以上大数据架构设计经验,熟悉大数据解决方案,包括hadoop平台、spark、storm、机器学习、深度学习等大数据解决方案。

2. 深刻理解大数据处理(流计算、分布式计算、分布式文件系统、分布式存储等相关技术)实现方法。有架构和设计实践经验。

3. 精通大型数据库oracle、sqlserver等的开发。

4. 精通java,python中的一种或多种语言。

5. 熟悉容器、虚拟化、微服务框架等相关技术。

6. 对数据敏感,有严谨的工作思路,良好的沟通能力和团队合作精神。

7. 熟悉r,python,sas、spss等数据挖掘经验者优先。

8. 高宽展性,高性能,和分布式系统的实践及运维经验者优先。

9. 有大型数据仓库实施、大数据平台数据开发经验,熟悉运营商业务者优先。

推荐访问:内容 数据 架构师 最新大数据架构师工作内容(23篇) 最新大数据架构师工作内容(23篇) 大数据架构师岗位职责