计算机编程将被淘汰之前大数据与教育:言和语的关系模型必将被理解并发挥作用
1.编程将被淘汰计算机"编写程序"的观念正在走向消亡,即除了非常专业的应用,大多数软件都将被人工智能系统所取代,这些系统是经过训练而不是编程的。在需要"简单"程序的情况下(不是所有东西都在GPU集群上运行数千亿个参数的模型),这些程序将由人工智能系统生成,而不是手工编码。
2.回顾计算机科学最早的先驱者
电子工程技术认为所有未来的计算机科学家都需要掌握对半导体、二进制算术和微处理器的设计的深刻理解来理解软件。今天99%的编写软件的人几乎都不知道CPU是如何工作的,更不用说晶体管集成电路设计基础物理学原理。未来的计算机科学家将与"软件"的经典定义相去甚远以至于他们很难逆转一个链接列表。
3.人工智能取代人工编程
人工智能编码助手只是在表面上做文章。未来的所有程序最终都将由人工智能编写,而人类最多只能扮演监督的角色。由这一预测可见,在人工智能内容生成方面正在取得非常迅速的进展,例如图像生成。DALL-Ev1和DALL-Ev2(仅15个月)在质量和复杂性方面的差异是惊人的。如果过去几年的人工智能工作中学到了什么,那就是很容易低估越来越大的人工智能模型的力量。几个月前看似科幻的事情正在迅速变成现实。不仅仅是像Github的CoPilot取代程序员的事情,用训练模型取代整个写程序的概念。未来计算机科学技术的学生不再需要学习诸如如何在二进制树上添加一个节点或用C++编码这样的初级技能。这种教育已过时,它就像教工程专业学生如何使用计算尺滑尺一样原始。
4.AI辅助大数据处理
未来的工程师将在几个按键中启动一个万亿级参数模型的实例,该模型已编码了人类的全部知识,准备好接受机器的任务要求。让机器做我们想做的事情的大部分智力工作,将是提出正确的例子,正确的训练数据,以及评估训练过程的正确方法。能通过少量的学习进行归纳的适当的强大的模型,将只需要一些须执行的任务的好例子。在大多数情况下,大规模的、由人类策划的数据集将不再是必要的,大多数"训练"人工智能模型的人,不会在PyTorch中运行梯度下降循环,或类似的东西。他们将以身作则给出示例,而机器将完成剩下的工作。
5.计算机科学与技术的革命
在新的计算机科学与技术里--机器将如此强大并且已经知道如何做许多事情,以至于该领域看起来不像是工程方面的努力,而更像是教育方面的努力!如何最好地教机器,与如何最好地教孩子的科学不一样:与(人类)儿童不同的是,人工智能系统将驾驶飞机,运行电网,甚至治理整个国家。当我们的重点转向教智能机器而不是直接为它们编程时,以往的计算机科学与技术的绝大部分内容就变得不重要了。传统意义上的计算机编程将会被机器学习尤其是人机交互、协作和协同等基于大数据的人工智能模型及其应用系统所替代。所有这些,是如何改变我们对计算机科学领域的思考方式?新计算单元不是实现冯-诺伊曼机器处理器、内存和基本输入输出(I/O)系统,而是一个大规模的、预先训练好的、高度适应人机交互环境的人工智能模型。不是可预测的、静态的过程,也不是由指令集、类型系统和可解性的概念所支配。基于人工智能的计算早已越过了可用于静态分析和形式证明的Rubicon。我们正在迅速走向这样一个世界:计算的基本构件是有脾气的、神秘的、自适应的代理。
6.没有人真正理解大型人工智能模型
它是如何工作的,这一事实强调了这种转变:人们正在发表研究论文,发现了现有大型模型的新行为,这些系统虽是由人类"设计"的。大型人工智能模型能够做一些它们没有被明确训练过的事情,这应该让尼克-博斯特罗姆2和其他任何担心超级智能人工智能失控的人感到害怕。除了实证研究,我们目前没有办法确定当前人工智能系统的极限。至于未来人工智能模型,其规模和复杂程度不亚于现在。对任何读过现代机器学习论文的人来说,焦点从程序转向模型是很明显的。这些论文几乎没有提到创新所依据的代码系统。人工智能系统构建块是更高层次的抽象,注意层、标记器和数据集即使是20年前的时间旅行者,也很难理解GPT-3论文(75页)中描述该模型建立的实际软件的三句话。
"我们使用与GPT-2相同的模型和架构,包括其中描述的修改后的初始化、预规范化和可逆标记化,不同的是,我们在转化器的层中使用交替的密集和局部带状的稀疏注意模式,类似于稀疏转化器。为了研究ML性能对模型大小的依赖性,我们训练了八个不同大小的模型,范围从1.25亿个参数到亿个参数的三个数量级,最后一个是我们称之为GPT-3的模型。以前的工作表明,在有足够训练数据的情况下,验证损失的缩放应该是一个平滑的幂律,作为规模的函数;训练许多不同规模的模型,使我们能够测试这个假设,无论是验证损失还是下游的语言任务。"
7.计算的基本定义的转变
带来巨大的机会,也带来了巨大的风险。现在是时候接受这是一个非常可能的未来,相应地发展我们的思维,而不是仅坐在这里等待流星的到来。更多AI编程:编程终将被淘汰?ACM