ai人工智能算法工程师
随着人工智能进入当今越来越多的技术中,有抱负的算法工程师面临着独特的困境。 一方面,他们必须竞争以具备足够的AI资格,才能拥有发展前景。 另一方面,在面临竞争的相同AI模型的作用下,他们可能会过时。
如今,AI已成为开发人员中的一个如此流行的领域,以至于那些仍未参加该课程的重返同学聚会的人有可能成为同学笑话的对头。 不过,算法工程师远不是自动化程度日益提高的世界的新主人,他们很快就会被他们正在构建的用于简化它的相同开发工具所取代。 随着竞争的加剧,人类工作岗位的减少,新兴开发商制定战略以最大化其职业机会比以往任何时候都更为重要。
在本文中,蚂蚁金服的高级算法工程师赵一鸣(赵一鸣)考察了AI战场,并为希望长期在算法工作中占上风的新手提供了建议。
近年来,人们对人工智能的浓厚兴趣已成为计算界的必需品。 同时,科技公司的人力资源服务台上堆满了简历,里面充斥着诸如AI,参数调整,CNN,LSTM和图像识别之类的关键字。 以后者为例,即使是小学生,现在也有机会使用微控制器和计算机视觉技术。
在整个行业中,人工智能部门正从以业务为中心的以研究为中心的机构转移到前台和后端办公结构。 现在,前端的那些是具有明确KPI和激烈的外部竞争的业务部门,而后端的那些像数据库这样的基础结构一样集成到公司的基础结构中。 修道院的研究生涯曾经是AI专家的期望,而实际部署如今在不可预见的情况下盛行。
尽管这些事态发展出现得很快,但已经清楚地看到了两部分危机的明显迹象。 首先,来自应届毕业生和培训生的大量廉价劳动力充斥了当今的市场,从而确保了未来人类算法工程师的激烈竞争。 其次,工程师每天使用的算法必定会从人才库中淘汰数量众多的创造者。 鉴于这两种模式,AI人才市场必将在不久的将来成为竞争激烈的战场。
工具和框架的稳步发展使模型设计的编码变得越来越简洁。 十年前,使用C ++和矩阵库从头开始实现梯度下降涉及数千行代码,通常至少需要高中学历。 如今,有数十种Keras和图形模型构建工具可为您提供帮助,甚至初级学生也可以设计可用的二进制分类模型。 强大的类库倾向于消耗更多不同的知识点并掩盖内部复杂性,从而给用户流程带来相当大的惯性。 尽管许多人投资于掌握模型的使用,但硕士级别的从业人员将倾向于使用更具逻辑意义的基础技术。
深度学习本身的性质在具有真正数学才能的开发人员和没有真正数学才能的开发人员之间形成了巨大的鸿沟。 与SVM和决策树不同,严格的数学论证需要极高的抽象技能,这是由于涉及大量非线性,复杂的层次关系和输入信号。 合理的方法或适合其使用的数据类型常常会逃避其作者的原因,而许多最新的使用方法是开发人员之间口口相传的原始经验和技巧的结果,例如反对严格的理论。 甚至为什么批量归一化有效的原因(在使用只需要中学数学背景才能理解的公式时)也是很多争论的主题。 虽然一小撮顶尖专家可以深入研究模型并进行数学分析和证明以解释其工作原理,但业内大多数人在遵循“参数”的可疑路径后,很快就进入了算法工程的长期平台开发阶段。调整”到不确定的目标。
在上图所示的AI学习曲线中,曲线的最左侧部分表示陡峭而短暂的进入阶段,在此阶段中,基本矩阵理论,演算和编程的研究至关重要。 随之而来的是,长期的平台开发中级开发逐渐向着越来越大的挑战发展。 虽然用户友好的工具可以缩短这两个阶段的入门时间并减少很多学习曲线,但曲线的最右边部分始终保持陡峭,从而将顶尖专家与大量不那么先进的专业人员分开。
简而言之,算法工程入门很容易,但是掌握实践却非常困难。 可以使用类似的曲线来描述AI人才在每个进步阶段的各自收入水平。 前面提到的AI人才市场危机最直接地影响了平台阶段的人才,因为他们对理论的理解不多,对工具的依赖性很高,并且具有很高的可替换性。 当当前的AI繁荣最终过去时,那些尚未从此阶段进步的人将没有什么真正的技能或知识可以继续学习。
随着市场的发展以及新员工不断证明有能力为可行的模型提供代码,对于公司是否愿意为高级工程师增加业务的少量利润进行投资,前景仍然一片黯淡。仅百分之一。
具有讽刺意味的是,第一个被AI模型取代的人很可能是构建它们的算法工程师。
与工程职位相比,算法职位通常更不容易被替换。 由于业务需求的复杂性,当前的技术几乎不可能生成一组软件应用程序或服务。 (如果可能的话,我们已经进入了自主AI的时代。)根据所涉及数据的性质,自动生成的端到端模型逐渐可用于各个领域的行业级别,即图像和语音应用程序以及广告推荐(可以直接应用模型)。 随着理论和经验的改进,在这些领域中人类正变得越来越可替换。
随着自动特征生成和优化的发展,特征工程师的职位越来越不合理。 同样,随着深度网络技术的兴起和业务搜索的挑战,参数调优工程师也必将倒闭。在AutoML下,参数搜索变得更加便捷。 过去花费大量精力来构建的数据重排和预测链接已成为公司的基本组成部分,这意味着数据工程师很容易被解雇。 对于许多有能力聘用的人而言,现在的语是:“如果一台机器能够做到,那我为什么需要你?”
AI研究论文的当前趋势表明广告推荐模型正在Swift成熟。 许多独立技术已被整合到完整的方法中,从而进入了算法工程的平台阶段。 下一个需要超越的领域应该是图像生成,而文本生成由于其固有的抽象性和歧义性,仍然是算法工程师的最后一块干地。 然而,这也将在未来五年内取得爆炸性的突破。
迄今为止,人工智能已经受到了大约五年的关注。 尽管它的未来仍然不确定,但它必将成为一个更加两极化的领域。 基本功能可能仍将属于通用程序员的领域,而对更复杂模型甚至独立AI的研究将成为高级专家的主导。
在科技公司,对传统软件开发和产品设计的需求远远超过了对AI算法的需求。 这些算法是在危机时刻的一种奢侈,而不是一种至关重要的援助形式。 即使是最好的算法也无法补救落后的业务模型,而当这种模型的经济性下降时,首先是人们会花钱但无关紧要的算法才被淘汰。 尽管顶级算法专家无需担心这种发展,但绝大多数人将难以找到可靠的路线和最佳的职业道路。
以下各节提供了一些建议,即算法工程师应该在建立方向感方面有用。
寻求算法工程未来的任何人都应该至少完整阅读一次TensorFlow之类的核心代码,其中最重要的此类代码取决于其专注领域。 即使在理论上没有严格的基础进行特定的工作,也没有人应该盲目地进行编码。 在职业生涯中应避免的潜在陷阱包括对工具可提供的易用性的依赖。 工程师应改为熟悉工具箱中每个功能的特性,并充分了解模型中的数据流,以便在调优时快速删除不可靠的参数。
算法设计的一项主要收获是其科学精神和实验思想,这是很难通过工程技术来培养的。 例如,在阅读论文时,认为AB的实验设计更有可能构成论文的核心,而认为引言,模型设计和实验结果足以进行探索是错误的。 具体而言,在这里可以确定实验设计是否严格,样本是否公正,核心效应是否合理以及结论是否可证明。 在代码行或参数修改的后面,您可能会发现很难思考和实验,而算法设计需要严格而细致的思考。 即使是那些将来不会使用算法的人,也会发现这样的经历是宝贵的资产。
算法工程领域,与之相关的业务以及从事该领域的人员对于尽早理解至关重要。 人工智能只是一种工具,其抽象水平意味着它不会很快成为跨不同领域的灵丹妙药。 如果您无法与AI专家进行深度竞争,那么在服务领域发展强大的数据敏感性并成为跨行业专家非常重要。
在AI +金融,AI +医学和AI +体育等领域的许多成功案例表明,熟悉特定应用程序设置或业务领域背后的数据和人性的重要性,而这些应用程序或业务领域中的机器将无法减少不久的将来。 这些跨行业的组合很可能会在人才市场出现高峰之后带来许多工作机会。
今天,即使是高级专家也面临着一些困惑。 随着算法背景的人们在职业道路上的成长和分歧,这一问题似乎是一条共同的经验线,将在未来几年挑战工程师。 在1980年代出生的新一代工程师中,有些人已经担任大公司的副总裁一职,而另一些人则领导了较小的团队或继续在创业环境中的基层工作。 面对即将到来的危机的可能性,他们的道路应提供独特的优势和机遇,以及整个领域将共同面临的挑战。
(赵一鸣赵一鸣写的原创文章)
关于阿里巴巴最新技术的第一手和深入信息→Facebook: “阿里巴巴技术” 。 Twitter: “阿里巴巴技术” 。
翻译自: https://hackernoon.com/staying-relevant-in-the-age-of-ai-an-alibaba-guide-for-algorithm-engineers-852e4e37b319
ai人工智能算法工程师