您的当前位置:首页正文

大数据岗位职责

来源:帮我找美食网

  工作职责:

  1、根据公司数据分析需求进行基于hadoop平台的项目开发;

  2、根据需求进行数据仓库模型设计,熟练使用kettle工具进行etl程序的开发;包括实时数据加工,计算,etl,管理,监控等;

  3、负责针对源系统进行数据抽取、处理、分析等相关工作,及项目中涉及到的数据库创建、维护及提供数据接口工作;

  4、负责设计并优化基于hive的数据仓库的建设;

  5、制定数据库备份和恢复策略及工作流程与规范。

  6、能出具消费品品牌制造行业应用的数据分析技术解决方案,并落地。

  任职资格:

  1.从事数据仓库领域至少2年以上,熟悉数据仓库模型设计与etl开发经验,具备海量数据加工处理相关经验;

  2.熟悉数据仓库领域知识和技能者优先,包括但不局限于:元数据管理、数据开发测试工具与方法、数据质量、主数据管理;

  3.有从事分布式数据存储与计算平台应用开发经验,熟悉hadoop生态相关技术并有相关实践经验着优先,重点考察hive、hdfs、hbase;

  4.熟练掌握kettlesqoop、datax、airflow等;

  5.有消费品品牌制造、零售行业经验,尤其快消品行业和财务领域数据项目经验者优先;

  6.熟悉分布式计算presto/imapa优先;

  7.有实时计算方面的`经验的优先。

因篇幅问题不能全部显示,请点此查看更多更全内容

Top