这位 NLP 工程师搭建的方言感知处理
针对客户实际书写方式的阿拉伯语处理,无论是正式标准阿拉伯语、海湾方言,还是同一条消息中两者混用。
大多数企业在迪拜招聘 NLP 工程师,是因为一款通用文本工具已经在阿拉伯语上让他们失望了,比如一个只能匹配完全相同措辞的搜索功能,一个主要用英语示例训练的分类器,或者一个能读懂正式标准阿拉伯语、却理解不了客户实际书写方式的聊天机器人。这个角色深入到这类功能的底层,修复语言处理本身的问题。
这种深度是真实存在的:阿拉伯语文字会根据位置以不同方式连接字母,携带在出现时会改变词义、但在日常书写中通常被省略的可选变音符号,还覆盖了海湾地区及更广区域内彼此不同、也与标准阿拉伯语不同的口语方言。像纽约大学阿布扎比分校 CAMeL 实验室的 CAMeL Tools 这样专门为此搭建的工具包之所以存在,正是因为以英语为先的通用 NLP 工具,如果不加调整,很难妥善处理这些情况。
这个角色搭建的内容
企业在迪拜招聘 NLP 工程师背后的语言层面工作,而不是搭建在其之上的单一功能。
针对客户实际书写方式的阿拉伯语处理,无论是正式标准阿拉伯语、海湾方言,还是同一条消息中两者混用。
正确地把阿拉伯语文本切分为有意义的单元,考虑到英语工具从未处理过的连字、可选变音符号和词形变化。
您产品实际会遇到的真实文本示例,经流利审校核实,用于诚实地衡量模型,而不是依赖为不同文本搭建的基准。
针对阿拉伯语特有的示例,调整或微调现有模型,弥补通用模型在您这类文本上暴露出的差距。
确保搜索或分类把一条阿拉伯语查询和它对应的英语查询视为相关内容,而不是两段互不相关的文本。
说明通用工具在您的阿拉伯语文本上具体哪里表现不足,并附有证据,以便合理评估修复方案,而不是凭猜测。
值得关注的技能
专门针对阿拉伯语的深度,而不只是对 NLP 工具的一般了解。
| 技能或工具 | 良好水平的表现 | 为什么重要 |
|---|---|---|
| 阿拉伯语文字与词法 | 能说明阿拉伯语词形、词根模式和变音符号如何影响处理,而不只是说”阿拉伯语更难” | 模糊的了解无法转化为一个在真实阿拉伯语文本上真正好用的模型 |
| 方言处理 | 确实处理过方言阿拉伯语,而不只是用过标准阿拉伯语训练数据 | 只在正式阿拉伯语上调优的模型,往往会误读人们实际的书写方式 |
| 评估数据集搭建 | 从零搭建过阿拉伯语评估集,并有流利审校核实标签 | 公开基准很少能足够贴近您具体客户的阿拉伯语,难以信赖 |
| 工具包使用经验 | 使用过专门的阿拉伯语 NLP 工具包,而不只是原封不动地套用英语流程 | 通用工具会悄悄处理不好专门的阿拉伯语工具能捕捉到的情况 |
| 双语意识 | 在产品需要同时支持两种语言时,会把阿拉伯语和英语一并纳入设计,而不是把阿拉伯语当作事后补充 | 上线后才为阿拉伯语补做的功能,通常需要真正的返工,而不是小修小补 |
CAMeL Tools 自家的文档,见此处,直接涵盖了方言识别和词法分析,一位真正的 NLP 工程师应当把这两者视为日常工作的一部分,而不是陌生的术语。
与我们合作的方式
对于随着新功能上线、阿拉伯语质量持续重要的产品,专职工程师是合适的选择,长期加入您的团队。限定项目适合一个明确的缺口,搭建评估数据集并修复它揭示出的问题,附带一份书面报告交付。咨询适合已有开发人员、但希望在为某项功能在真实阿拉伯语文本上的实际表现投入更多工作前,获得外部专业审查的团队。招聘支持适合正在搭建自有长期阿拉伯语 NLP 能力、而不是委托单个项目的企业。
评估候选人
能区分真正的方言经验和一般 NLP 背景的问题。
用真实客户书写方式写成的消息,而不是干净的正式句子,问一个通用工具在这上面会出什么错。
他们处理过哪些方言,因此在做法上有什么改变。含糊的回答通常意味着实际接触有限。
询问示例是如何获取的,标签是如何核实的,由谁核实。没有流利人士审核过的数据集不是可靠的衡量标准。
真正有深度的候选人会主动说明缺失变音符号会如何改变一段文本可能的含义。
一小段方言或混合文字的样本,重点核实结果是否真的符合一位流利阿拉伯语读者的理解。
对于专门为阿拉伯语深度而在迪拜招聘 NLP 工程师的决策来说,这些检验方式最为重要,因为一般的 NLP 面试本身不会暴露出这类缺口。
认证
真实阿拉伯语文本上的深度,而不是一纸证书,才是需要核实的东西。
CAMeL Tools 这类阿拉伯语 NLP 工具包,以及上文提到的通用云端语言服务,都是开放工具和 API,而不是认证项目,因此这个细分领域中声称拥有的任何资质,都没有官方依据可以核实。评判真实的阿拉伯语输出,是在迪拜招聘 NLP 工程师时更可靠的方式。
如果您这边没有人能流利阅读阿拉伯语,在做出决定前,请找一位能读的人来审核候选人的样本输出。这一个步骤能捕捉到单靠技术面试完全会遗漏的问题,无论您通过哪种方式在迪拜招聘 NLP 工程师,都值得这么做。
阿联酋相关事项
阿拉伯语深度真正改变迪拜产品的地方。
从右到左的界面布局本身,无法修复为从左到右语言搭建的底层文本处理,因此界面方向和语言处理这两项工作需要一并规划。
如果评估数据集是用真实客户消息搭建的,阿联酋的《2021 年第 45 号联邦法令》为个人数据设定了基于同意的规则,因此在这些数据被用于搭建或测试模型之前,应先做匿名化处理或征得同意。请在收集真实客户文本之前,与您在迪拜招聘的 NLP 工程师一起提出这一点。
直接解答
NLP 开发工程师搭建搜索、分类或抽取等功能,通常使用现有的模型或服务。NLP 工程师则深入到语言本身,为某个通用工具处理不好的特定方言、文字问题或评估缺口,搭建或调整专门的模型。
阿拉伯语从右往左书写,使用会改变词义的可选变音符号,而且区域内各地的口语方言,与标准阿拉伯语以及彼此之间都存在差异。只在英语文本上搭建和测试过的工具,一旦涉及阿拉伯语,往往会带着不成立的假设。
这取决于您的用户。如果客户按照自己说话的方式给您写消息,用的是阿联酋或更广泛的海湾方言,一个只在正式标准阿拉伯语上调优过的模型,可能会遗漏母语读者一眼就能看懂的意思。告诉我们您的客户实际是怎么书写的,我们可以评估这中间的差距。
收集您产品实际会遇到的真实文本示例,请一位流利的审校核实,并用这套数据集诚实地衡量模型,而不是依赖为另一种阿拉伯语文本搭建的公开基准。
不是,同样深度的阿拉伯语处理能力,对文档处理、内容审核、情绪分析以及任何读取真实阿拉伯语文本的功能都同样重要,不仅限于对话类功能。
资料来源
书面固定价格
已收到,我们正在为您撰写报价。
工作时间内您将在 45 分钟内收到。请查收确认邮件。