上海思恒信息科技

大数据开发工程师


工作职责:

1、根据设计需求进行基础的项目开发和调试;

2、对设计人员设计出来的文档提出合理的建议,特别是数据库的设计,考虑到并发和性能的要求;

3、项目中需要的新技术主动学习并应用于项目中;

4、对已开发出来的代码需要从规范和性能方面提出建设性方案。


任职资格:

1、三年及以上大数据建模等相关工作经验;

2、熟悉标准化的大数据模型构建以及实施流程等工作流程和标准;熟悉常用的大数据分析算法和业务建模;

3、熟练掌握mysql/oracle相关技术;

4、熟练掌握第三方应用工具,如rabbitMQ/rocketMQ,redis;

5、熟悉大数据开发语言Python、R、Perl等;

6、熟悉linux,数据库的常用操作和原理;

7、Hbase、Hive、CDH、spark等大数据中间件部署和scala语言使用能力;

8、熟练掌握mysql存储过程的编写和具备一定的数据库调优的能力;

9、了解Kettle、DataStage、Informatica等ETL工具以及LTS/Oozie任务调度工具,具备海量数据加工处理(ETL)相关经验;

10、掌握powerdesigner等建模工具;

11、具有良好敏捷开发、项目周期性迭代的经验;

12、具有设计良好性能的服务架构能力;

13、具备开发管理经验的优先,熟悉dobbux部署框架的优先。