Hadoop开发人员职位描述模板
Hadoop已经成为大型数据系统的基石. 事实上, Hadoop developers know how to write applications that interact with Hadoop; but they also know how to build, 操作, 并解决大型Hadoop集群的故障.
Hadoop已经成为大型数据系统的基石. 事实上, Hadoop developers know how to write applications that interact with Hadoop; but they also know how to build, 操作, 并解决大型Hadoop集群的故障.
Hadoop是一个大型软件栈. 一方面, 它处理底层硬件资源, 另一方面, 它提供了构建软件的高级API. 因此,Hadoop开发人员不仅要开发软件,还要操作软件.
此外, 对算法及其运行时特性的良好掌握对于高效地为Hadoop开发至关重要.
Hadoop开发人员-职位描述和广告模板
复制此模板,并将其修改为自己的模板:
公司介绍
{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. 提及办公时间, 远程工作的可能性, 以及所有你认为能让你的公司有趣的东西. }}
工作描述
我们正在寻找一名Hadoop开发人员来帮助我们构建大规模的数据存储和处理软件以及基础设施. 现有工具的知识是必不可少的,使用Hadoop API编写软件的能力也是必不可少的.
责任
- 编写与HDFS和MapReduce交互的软件.
- 评估需求和评估现有的解决方案.
- 构建、操作、监控和排除Hadoop基础设施故障.
- 开发工具和库, 维护其他工程师访问数据和编写MapReduce程序的流程.
- 开发文档和剧本来操作Hadoop基础设施.
- 评估和使用AWS / Google Cloud / Azure上的托管解决方案. {{如果您想使用托管解决方案}}
- 编写可伸缩和可维护的etl. {{如果您需要运行ETLs}}
- 了解Hadoop的安全机制,实现Hadoop安全. {{如果您需要组织内的细粒度安全性}}
- 编写软件将数据摄取到Hadoop中.
技能
- 您了解JVM运行时、Java语言,理想情况下还了解另一种基于JVM的编程语言. {{如果对现有代码有影响,请提及Java版本}}
- 你知道计算机科学的基础知识,尤其是算法的复杂性.
- 你知道分布式系统中的权衡.
- 您精通产生可维护软件的软件工程原理,并且可以在实践中使用它们.
- 您已经使用了Hadoop发行版.
- 您已经使用过一个或多个计算框架,例如火花.
- 熟悉HBase、Kafka、ZooKeeper或其他Apache软件. {{根据需要添加或删除Apache软件}}
- 您了解Linux及其操作、网络和安全性.
- 您知道如何有效地移动大型数据.
Toptal Engineers最近的Hadoop文章
为关系数据库数据分析师提供的HDFS教程
Twitter数据挖掘:使用Python进行大数据分析的指南
介绍Apache火花的例子和用例
面向大众的大数据架构:ksqlDB和Kubernetes教程
优秀代码的六诫:编写经得起时间考验的代码
我是如何在黑客马拉松中使用Apache火花和Docker来构建天气应用程序的
现在就雇佣一名顶级Hadoop开发人员
Toptal是一个面向顶级Hadoop开发人员的市场, 工程师, 程序员, 程序员, 架构师, 和顾问. 顶级公司和初创公司可以雇佣专职(全职), 每小时, 或者兼职Hadoop自由职业者,为他们的关键任务软件项目工作.
查看他们的个人资料Toptal连接 排名前3% 世界各地的自由职业人才.