Hadoop

Hadoop开发人员职位描述模板

Hadoop已经成为大型数据系统的基石. 事实上, Hadoop developers know how to write applications that interact with Hadoop; but they also know how to build, 操作, 并解决大型Hadoop集群的故障.

分享

Hadoop已经成为大型数据系统的基石. 事实上, Hadoop developers know how to write applications that interact with Hadoop; but they also know how to build, 操作, 并解决大型Hadoop集群的故障.

Hadoop是一个大型软件栈. 一方面, 它处理底层硬件资源, 另一方面, 它提供了构建软件的高级API. 因此,Hadoop开发人员不仅要开发软件,还要操作软件.

此外, 对算法及其运行时特性的良好掌握对于高效地为Hadoop开发至关重要.

Hadoop开发人员-职位描述和广告模板

复制此模板,并将其修改为自己的模板:

公司介绍

{{写一段简短而醒目的关于你公司的文字. 一定要提供有关公司文化、津贴和福利的信息. 提及办公时间, 远程工作的可能性, 以及所有你认为能让你的公司有趣的东西. }}

工作描述

我们正在寻找一名Hadoop开发人员来帮助我们构建大规模的数据存储和处理软件以及基础设施. 现有工具的知识是必不可少的,使用Hadoop API编写软件的能力也是必不可少的.

责任

  • 编写与HDFS和MapReduce交互的软件.
  • 评估需求和评估现有的解决方案.
  • 构建、操作、监控和排除Hadoop基础设施故障.
  • 开发工具和库, 维护其他工程师访问数据和编写MapReduce程序的流程.
  • 开发文档和剧本来操作Hadoop基础设施.
  • 评估和使用AWS / Google Cloud / Azure上的托管解决方案. {{如果您想使用托管解决方案}}
  • 编写可伸缩和可维护的etl. {{如果您需要运行ETLs}}
  • 了解Hadoop的安全机制,实现Hadoop安全. {{如果您需要组织内的细粒度安全性}}
  • 编写软件将数据摄取到Hadoop中.

技能

  • 您了解JVM运行时、Java语言,理想情况下还了解另一种基于JVM的编程语言. {{如果对现有代码有影响,请提及Java版本}}
  • 你知道计算机科学的基础知识,尤其是算法的复杂性.
  • 你知道分布式系统中的权衡.
  • 您精通产生可维护软件的软件工程原理,并且可以在实践中使用它们.
  • 您已经使用了Hadoop发行版.
  • 您已经使用过一个或多个计算框架,例如火花.
  • 熟悉HBase、Kafka、ZooKeeper或其他Apache软件. {{根据需要添加或删除Apache软件}}
  • 您了解Linux及其操作、网络和安全性.
  • 您知道如何有效地移动大型数据.
参见:Toptal不断增长的社区驱动列表 Hadoop面试必备问题

Toptal Engineers最近的Hadoop文章

找到合适的Hadoop面试问题

阅读社区驱动的Hadoop面试问题列表.
阅读它们,评论它们,甚至贡献你自己的.

阅读问题

现在就雇佣一名顶级Hadoop开发人员

Toptal是一个面向顶级Hadoop开发人员的市场, 工程师, 程序员, 程序员, 架构师, 和顾问. 顶级公司和初创公司可以雇佣专职(全职), 每小时, 或者兼职Hadoop自由职业者,为他们的关键任务软件项目工作.

查看他们的个人资料

Adrian Dominiczak

自由Hadoop开发人员
波兰Toptal成员2020年7月21日

Adrian是一名拥有近十年专业经验的高级大数据工程师. 艾德里安的职业生涯是从三星R&他在Santander和Lingaro从事过一系列项目,从银行和制药行业的机器学习和大数据工程到大数据和云架构. Adrian的专业领域主要是Hadoop和火花.

显示更多

Selahattin Gungormus

自由Hadoop开发人员
火鸡Toptal成员2021年5月4日

Selahattin是一名数据工程师,拥有多年使用开源技术构建可扩展数据集成解决方案的实践经验. 他擅长使用Hadoop等分布式处理平台开发数据应用程序, 火花, 和卡夫卡. Selahattin在AWS和Azure等云架构类型方面也有实践经验, 以及使用Python和JavaScript框架开发微服务

显示更多

德米特里•科兹洛夫

自由Hadoop开发人员
加拿大Toptal成员2021年2月24日

Dmitry是一名高级大数据架构师,在数据仓库方面拥有16年以上的经验, BI, ETL, 分析, 还有云. 他领导的团队在金融行业交付了24个项目, 保险, 电信, 政府, 教育, 矿业, 制造业, 和零售. 德米特里在快节奏的环境中茁壮成长, 表现出有效领导的能力, 管理, 支持团队, 并以BI的身份为多个项目提供咨询, 数据仓库, 大数据专家.

显示更多

在Toptal Network中发现更多Hadoop开发人员

开始招聘

Toptal连接 排名前3% 世界各地的自由职业人才.

加入Toptal社区.