大数据开发工程师
工作职责:
1、根据设计需求进行基础的项目开发和调试;
2、对设计人员设计出来的文档提出合理的建议,特别是数据库的设计,考虑到并发和性能的要求;
3、项目中需要的新技术主动学习并应用于项目中;
4、对已开发出来的代码需要从规范和性能方面提出建设性方案。
任职资格:
1、三年及以上大数据建模等相关工作经验;
2、熟悉标准化的大数据模型构建以及实施流程等工作流程和标准;熟悉常用的大数据分析算法和业务建模;
3、熟练掌握mysql/oracle相关技术;
4、熟练掌握第三方应用工具,如rabbitMQ/rocketMQ,redis;
5、熟悉大数据开发语言Python、R、Perl等;
6、熟悉linux,数据库的常用操作和原理;
7、Hbase、Hive、CDH、spark等大数据中间件部署和scala语言使用能力;
8、熟练掌握mysql存储过程的编写和具备一定的数据库调优的能力;
9、了解Kettle、DataStage、Informatica等ETL工具以及LTS/Oozie任务调度工具,具备海量数据加工处理(ETL)相关经验;
10、掌握powerdesigner等建模工具;
11、具有良好敏捷开发、项目周期性迭代的经验;
12、具有设计良好性能的服务架构能力;
13、具备开发管理经验的优先,熟悉dobbux部署框架的优先。