BI 开发工程师与商业智能开发工程师
BI 开发工程师的定位是搭建具体的报表。商业智能开发工程师的定位则是更广泛的整体项目:KPI 定义、语义模型,以及谁有权定义某个数字的含义。
企业在迪拜招聘数据人才,通常是为了解决几类颇为不同的问题:数据分散在各个系统中,需要一条可靠的管道;一个数据库需要搭建或维护;一堆数字需要转化为能据以行动的报表;或者一项平台方面的决策,需要在投入资金前先获得一位有经验人士的第二方意见。本类别把这些工作全部归纳在同一个板块下,划分为十九个职位,而不是笼统的一个”数据人员”,因为每项工作所需的技能几乎互不重叠。
把错误的职位名称套用到一个数据问题上,是我们见过最常见的失误。一家只需要有人整理表格并搭建一个仪表盘的企业,并不需要一位数据架构师,而一家需要把生产数据库迁移到新地区的企业,也不需要一位数据分析师。下方的对比表按十九个职位实际做的工作进行了梳理,方便您依据实际问题,而不是依据职位名称,在迪拜招聘数据工程师或任何一位合适的专才。
按职位划分
大致按从搭建和运行数据平台,到分析、架构和特定工具的顺序分组。
| 职位 | 主要工作内容 | 何时需要这个职位 |
|---|---|---|
| 数据工程师 | 搭建并运行用于迁移和清洗数据的管道 | 数据分散在多个位置,获取可靠版本需要大量人工操作 |
| 数据科学家 | 基于现有数据进行统计建模、预测和机器学习 | 需要解决的是真正的预测性问题,而不只是描述性报表 |
| 数据分析师 | 把现有数据转化为报表、仪表盘和具体答案 | 您需要基于已有数据回答一个业务问题 |
| 数据架构师 | 设计数据在整个企业中如何建模、存储和治理 | 多个系统和团队需要一套共享且经过规划的数据结构 |
| 数据库开发工程师 | 为应用设计数据库架构,并编写查询和存储过程 | 某个应用的数据库需要搭建或扩展 |
| 数据库工程师 | 在生产环境中保持数据库的性能、可用性并做好备份 | 现有数据库运行缓慢、存在风险,或需要迁移 |
| SQL 开发工程师 | 在关系型系统中编写并调优 SQL 查询和报表 | 工作内容由 SQL 本身决定,而不是某个特定的数据库产品 |
| BI 开发工程师 | 基于现有数据搭建具体的报表和仪表盘 | 您需要搭建特定的报表,而不是一整套更广泛的报表体系 |
| 商业智能开发工程师 | 建立 KPI 定义、语义模型和报表治理体系 | 多个团队需要口径一致的数字,而不只是一个仪表盘 |
| Power BI 开发工程师 | 专门在 Microsoft Power BI 上搭建和维护报表 | 您的组织已将 Power BI 定为标准工具 |
| Tableau 开发工程师 | 专门在 Tableau 上搭建和维护仪表盘 | 您的组织已将 Tableau 定为标准工具 |
| Looker 开发工程师 | 专门在 Looker 上搭建和维护模型与仪表盘 | 您的组织已将 Looker 或 LookML 定为标准工具 |
| ETL 开发工程师 | 搭建按计划提取、转换并加载数据的任务 | 数据需要按可靠的计划在系统之间迁移 |
| 数据仓库开发工程师 | 设计并搭建报表工具所读取的数据仓库 | 由于没有合适的数据仓库,报表变得缓慢或数据不一致 |
| 大数据工程师 | 为单个数据库无法承载的数据搭建管道和存储 | 真正的限制因素是数据量本身,而不只是复杂度 |
| Snowflake 开发工程师 | 专门在 Snowflake 平台上搭建和调优数据工作 | 您的数据仓库已经运行在 Snowflake 上 |
| Databricks 工程师 | 专门在 Databricks 平台上搭建管道和模型 | 您的数据或机器学习工作已经运行在 Databricks 上 |
| Hadoop 开发工程师 | 维护并扩展现有 Hadoop 集群上的工作 | 一套既有的 Hadoop 系统需要支持或迁移规划 |
| Spark 开发工程师 | 在 Apache Spark 上编写分布式数据处理任务 | 某条管道需要快速处理单台机器无法承载的数据量 |
在相近职位之间做选择
有几对职位描述的其实是密切相关的工作,区分方式在于工作范围或所涉及的具体工具。
BI 开发工程师的定位是搭建具体的报表。商业智能开发工程师的定位则是更广泛的整体项目:KPI 定义、语义模型,以及谁有权定义某个数字的含义。
数据库开发工程师负责设计和搭建;数据库工程师负责让成果在负载下持续运行。在小型项目中,往往由一个人同时承担这两项工作,这一点值得在向我们提交简报时说明。
Snowflake、Databricks、Hadoop 和 Spark 专才,本质上都是专注于某个特定平台的数据工程师。当您在迪拜招聘数据工程师、但尚未选定平台时,可以先从通才或数据架构师入手,等平台确定后再引入专才。
合作方式
本页上的大多数职位,既适合作为按月加入您团队、承担持续管道、仓库或报表工作的专职开发人员,也适合作为一个有明确交付成果和移交环节的限定项目。当您希望把数据工程师或分析师直接招入自己团队的编制,并希望获得寻访和评估候选人的帮助时,招聘支持是合适的方式。咨询服务最适合数据架构决策和平台评审,在这类场景中,投入预算前获得一位经验丰富的外部意见,比动手搭建本身更重要。
阿联酋相关事项
几乎适用于本页上的每一个职位。
任何涉及客户或员工数据的角色,从数据库开发工程师的架构设计,到数据工程师的数据管道,都受《2021 年第 45 号联邦法令》约束,这是阿联酋关于个人数据保护的联邦法律,据 阿联酋政府门户网站 的概述,只要处理行为涉及阿联酋居民的数据,无论处理发生在境内还是境外都适用。请尽早与负责设计管道或数据库的人员提出数据存放位置及可访问权限的问题,而不是等到搭建完成之后。
全部职位
基于您已有的数据开展统计建模、预测和机器学习,可作为专职开发人员、限定项目、招聘支持或咨询服务提供。
了解更多按计划迁移和转换数据的管道,为仪表盘、数据仓库和模型提供数据支持,可作为专职开发人员、限定项目、招聘支持或咨询服务提供。
了解更多把您已有的数据转化为报表、仪表盘和清晰的答案,可作为专职开发人员、限定项目、招聘支持或咨询服务提供。
了解更多其他数据岗位赖以搭建的模型、平台和治理规则,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多为上层应用量身打造的架构设计、查询和存储过程,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多让生产数据库保持高速运行、按时备份并始终可用,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多跨关系型系统的查询编写、调优和报表逻辑,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多用您已有的数据构建具体的报表和仪表盘,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多跨多个团队的 KPI 定义、语义模型和报表治理,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多基于 Power BI Desktop 和 Power BI 服务构建的数据模型、DAX 度量值和已发布报表,让销售或财务负责人能真正信任其中的数字。
了解更多专门针对 Tableau 平台的仪表盘、计算字段和 Tableau Server 或 Cloud 发布,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多在 Google Cloud 的 Looker 平台上搭建 LookML 模型、Explore 和嵌入式分析,可通过专属聘用、限定项目、招聘支持或咨询四种方式获得。
了解更多按计划在系统之间可靠地提取、转换和加载数据,可作为专职开发人员、限定项目、招聘支持或咨询服务提供。
了解更多设计并搭建报表工具所读取的数据仓库,可作为专职开发人员、限定项目、招聘支持或咨询服务提供。
了解更多为数据量已超出单台数据库服务器承受能力的企业,提供分布式存储、集群处理和流式接入服务,可作为专职开发人员、限定搭建或架构评审提供。
了解更多在 Snowflake 上进行数据仓库设计、Snowpipe 数据接入和兼顾成本的查询调优,可作为专职开发人员、限定项目、招聘支持或咨询服务提供。
了解更多在 Databricks 上进行湖仓架构搭建、Delta Lake 管道以及基于 notebook 的数据工程,可作为专职开发人员、限定搭建、招聘支持或咨询服务提供。
了解更多为已运行或需要维护成熟 Hadoop 集群的企业,提供 HDFS、YARN 和 MapReduce 相关工作,可作为专职开发人员、限定项目、招聘支持或咨询服务提供。
了解更多分布式处理任务、Spark SQL 和 Structured Streaming 工作,针对真实集群性能调优,可作为专职开发人员、限定搭建、招聘支持或咨询服务提供。
了解更多直接解答
数据工程师负责搭建和维护让数据可用且可靠的管道与存储系统。数据分析师则基于已经可访问的数据开展工作,回答具体的业务问题并搭建报表。大多数刚起步的企业首先需要一位分析师,等到获取干净数据的人工工作成为瓶颈时,再引入数据工程师。
数据库开发工程师负责为应用设计架构、编写查询和存储过程。数据库工程师则负责在数据库建成之后让其持续运行:性能调优、复制、备份与恢复。小型项目往往可以由一个人同时承担这两项工作;而大规模的生产系统通常需要拆分成两个角色。
在小规模场景下通常可以,因为两者都需要扎实的 SQL 和 Python 基础。随着数据平台和分析工作双双增长,这两个角色会朝着不同方向发展,让一个人同时兼顾往往会拖慢两边的进度。
只有在您的数据已经运行在该平台上,或您已经选定该平台时才需要。如果您尚未选定平台,数据工程师或数据架构师可以先帮您做出选择,再考虑招聘某个产品的专属专才。
请描述您拥有哪些数据、这些数据目前存放在哪里、需要为哪个问题或系统提供支持,以及大致的数据量。一次简短的通话会补全其余信息,随后您将收到一份根据该简报确定范围的书面固定价格方案。
资料来源
书面固定价格
已收到,我们正在为您撰写报价。
工作时间内您将在 45 分钟内收到。请查收确认邮件。