Data Expert/Architect

Location: 
Shanghai
Job Type: 
Permanent
Ref: 
BBBH740365
Salary: 
RMB81,000- RMB125,000 per month
Consultant: 
Prima Yi

职责

  • 负责基础数据平台的建设,包括基础的运维数据,资金数据,系统变更数据等。
  • 对全链路数据质量负责,进行实时监控,分析,最终提供保障数据的质量,包括低延时,高可用等指标。
  • 参与建设数据平台建设,满足实时数据流的上各种复杂计算需求,包括图计算,多流合并,以及各种常见transform计算。
  • 对接数据平台上的各种业务方,满足不断发展的业务需求。
  • 对接各类数据源系统,包括平台内部的各种queue,关系数据库,日志等系统。

要求

  • 较好的抗压能力,有ownership意识,追求实现自我价值。
  • 有ETL,ELK类业务的实际项目经验,掌握实时计算技术体系包括数据采集、计算引擎storm/spark/flink,对实时计算所涉及的事务、容错、可靠性有深入理解。了解背后的实现原理,并能够调优。
  • 对hadoop/yarn/hive等大数据工具有深入使用经验,熟悉大数据存储系统hbase/hdfs等,了解起背后的实现原理,并能够调优。
  • 精通C/C++,Java,Scala等其中一种,极佳的编程素养,有丰富的分布式开发经验。熟悉Linux系统,又一定的脚本开发能力。
  • 参与过超大规模数据项目,有百万级TPS数据处理经验者优先。

 

 

Prima Yi's picture
Prima Yi
Associate Consultant | IT Recruitment
pyi@morganmckinley.com