职责描述： 1、负责大数据离线和实时计算平台可扩展性架构设计、高可用性环境及撰写相关文档等工作； 2、收集项目大数据离线和实时计算需求和接口开发工作； 3、负责大数据离线和实时计算平台整体资源合理规划、性能优化、故障处理； 4、制定新东方大数据离线和实时计算平中数据质量、数据信息安全以及监控管理方案； 5、对大数据离线和实时计算平台框架技术预研和培训，负责为开发团队进行技术指导和问题解决。 任职要求： 1、本科及以上学历，2年以上大数据项目经验； 2、精通大数据离线和实时架构及相关项目标准，能够根据数据及业务需求构建大数据离线和实时计算平台，并随着需求和技术的进步，不断演进； 3、精通java、python中的一种或多种编程语言； 4、深入理解大数据离线和实时数据处理如：流计算、分布式计算、分布式存储等相关技术和实现方法，具备独立沟通需求，设计，架构的能力； 5、精通hadoop生态技术栈、hive、hbase、spark、presto大数据解决方案； 6、精通至少一种大数据实时计算处理引擎，如：spark streaming、flink； 7、熟悉starrocks、doris等实时数仓解决方案； 8、具有较强的文档编写能力，能够按照公司要求编写大数据架构设计文档。