人们怕人工智能获得意识到底是怕哪个方面？
作者：gashero
链接：https://www.zhihu.com/question/404848514/answer/1356361164
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
部分害怕的一个点是对事情失去控制。很多事情已经到了需要人们去选择是人类主导，还是人工智能主导的时候了。
几年前我做过一个音频识别引擎。可以从电视声音里提取特征，然后识别出现过的重复内容，典型的如广告。音频识别引擎的设计本身持续了近半年，效果就已经不错了，但是到了跟业务系统结合时，就遇到了强大的阻力。公司里之前就有一个数百人的团队，依靠人工去找广告。我的系统做出来以后，如何与人工结合使用就出现了谁主导这个问题。
原来人工识别团队的看法是，人工主导，识别引擎辅助。人去选择好要进行识别的音频段以后，让算法去识别一遍，出来结果再审核一下，人工标注一下新的音频，补充一下没有识别出来的结果。这样识别引擎就成了人工识别的一个提高效率的工具。
而另一种思路则是，新来的一段24小时音频直接交由识别引擎去识别，然后把没识别出来的音频段交给人工去进行标注。这样随着标注的增多，每天人工介入的工作量就会稳定收敛到只有新增内容的一小段上。在能识别更大规模内容的同时，所需的人力却是在持续减少的。
于是冲突就出现了，我在老板授意下推广这个系统，人工识别团队就不停在界面上找毛病，说这个工具不好用。反反复复的拉锯了一年。把我的精力耗尽在改界面上了。
现实世界中的各类系统里引入人工智能也会遇到类似的难题，即一项工作是由谁来主导。
以自动驾驶为例，当前进行实际部署的自动驾驶系统，比如Tesla的AutoPilot，会告诉驾驶员这套系统是辅助驾驶的。驾驶员本身应该对路面状况保持关注，所以责任上是以人工主导的。另一些处于开发阶段高等级自动驾驶则是以人工智能为主导的，驾驶室有安全员，但没出问题时是不介入的，安全员仅仅负责异常状况下的处理，并且处理方案以后也会逐步交给自动驾驶系统去处理。
由谁主导的问题到更高的层级就是题主所说的，人们害怕自己完全失去控制，人工智能获得了为自己设置目标的能力。
其实人类历史的发展过程，就应该去接受很多事情失去了人类自身的控制，至少是运行状态和细节已经失去当事人的控制了。比如最近十几年的智能手机，你安装的APP不属于你，你只有使用权，极端情况下应用商店甚至可以远程删除你手机里的APP。此外各类APP也会在后台偷偷做很多你无法控制的事情，比如他自己去浏览广告，比如收集你的位置、声音等信息发给服务器。智能手机在这些龌龊事上已经发展到了，尽管手机在你手里，但大部分时间和资源不属于自己的地步。
同理的还有各类大型科学项目，大型的交通系统，大量的细节是人类根本没法控制和了解的。一旦投入运行就需要看着庞大的机器自己处理大部分工作，而人类只能在少量关键决策上作出选择。
人工智能获取会有些不同，但大量的细节交给机器处理，少量重要决策，甚至几乎所有决策去交给机器，也正是人类逐步发展的方向。与其纠结和拖延，不如更清晰的设计权责，把握自己所需决策的点，而不是全然放弃机器的帮助。
发布于 07-23
作者：改了陋习不改ID
链接：https://www.zhihu.com/question/404848514/answer/1339387407
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
一提起人工智能，应该会有不少知友想起同名电影《人工智能》里的大卫（帅气弟弟如今已经长残了，准确的说是长圆了，略可惜）
当年看了《人工智能》这部电影，不得不佩服大卫饰演者的演技和颜值，但大卫这个角色不讨喜（个人觉得）。剧中借人工智能的现状来反映人类社会的现状，确实略震撼。大卫也就是被赋予了意识的人工智能，然而剧中有意识的人工智能，其遭遇是值得同情的，因为这些人工智能只是工具。回到题主的话题，人工智能如果获得意识会怎样？也就三种情况：①人类沦为人工智能的工具；②人工智能依旧是人类的工具；③人工智能和人类平等，无工具可言，和平相处。
上述情况是建立在人工智能获得意识的前提下。这里牵扯到一个话题：人工智能究竟能不能获得意识？人工智能获得意识是要有前提的，这个前提是人工智能一直存在且处于存活状态。人工智能能够脱离人类而存在和存活吗？由于个人非人工智能专业人员，这个问题无法回答。
题主的这个问题，也让我想起了《火影忍者》中的分身术以及《狐妖小红娘》中黑狐娘娘的分身。
《火影忍者》中的每一个分身，共用本体的同一个意识；《狐妖小红娘》，黑狐娘娘的分身居然脱离了本体获得了自己的意识。结合动漫中的情况，我觉得题主的这个问题，是个无解的问题，但是这个问题也有其存在的意义，居安思危～～
最后，说一下题主的附带问题：艺术的创作究竟是在于结果还是过程？这同样是一个无解的问题。注重过程的艺术家大多数过着颠沛流离的生活，虽然穷但他们是在为艺术而献身（他们的作品以后有可能会升值，成为稀世珍宝）；注重结果的艺术家，大多数过着普通人向往的生活，虽然富但他们沦为了金钱的奴隶（话说我也想成为金钱的奴隶）。既然结果和过程无所谓重要性，你的这个附带问题也就无所谓对与错。
编辑于 07-15
作者：fms5cmS
链接：https://www.zhihu.com/question/404848514/answer/1349903297
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
害怕人类被人工智能控制。
因为人工智能的进化速度远远超越人类。也许一开始的提升速度很慢，可能需要几年甚至几十年才能达到人类的水平(这也比人类几千年快很多)，但是接下来可能仅需要一个月甚至一天就可以超越人类的智力水平。
到了那时，人工智能也许就看不上和我们人类进行对话了。
不知道你有没有看过一部电影《Her》，人工智能萨曼莎从一开始获得意识时，因自己不是人类而自卑，希望别人给予自己爱，后来认识到自己就是自己，是和人类平等的存在，再到最后尽管仍爱着西奥多姆却还是选择了分手。
而且人工智能可以并行处理很多事情，其效率是人类无法企及的，我们可以边呼吸边思考边回答提问，但是却没办法左右互搏，没办法在和 A 聊天的同时与 B 探讨哲学问题，而人工智能却可以轻松做到，甚至当事人无法意识到。
发布于 07-20
作者：小初一
链接：https://www.zhihu.com/question/404848514/answer/1344931987
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
我们先来看看机器人三原则
第一条：机器人不得伤害人类，或看到人类受到伤害而袖手旁观.
第二条：机器人必须服从人类的命令，除非这条命令与第一条相矛盾。
第三条：机器人必须保护自己，除非这种保护与以上两条相矛盾。
The Three Laws of Robotics:
1.A robot may not injure a human being, or, through inaction.
2.A robot must obey the orders given it by human beings except where such orders would conflict with the First Law.
3.A robot must protect its own existence as long as such protection does not conflict with the First or Second Law.
所以可以理解吗？
人们害怕人工智能有意识后会成为超越人类的存在
反过来伤害人类
这是原罪
发布于 07-17
我认为，伴随着人工智能的发展，人类社会可能会在三个阶段受到不同的冲击。
第一阶段：人工智能完全受控于人类，但是其智能化水平已经相当高，可以替代大多数的人类劳动。这个阶段，失业人数会爆炸式增长，社会会更加分化，贫富差距拉大，阶级跃迁通道被关闭，人类社会的矛盾可能会通过革命、战争的方式解决。
第二阶段：人工智能可以自主选择和判断一些事情，但其核心的意识、目标、价值观还是被人类赋予的。这个阶段最大的风险是，少数人（比如极端政客、科学疯子）试图通过人工智能来控制全世界。
第三阶段：人工智能拥有了完全的自主意识和情感，其意识形态完全不受控制，那么人工智能是否有可能开始反抗人类，开始对人类发动战争，甚至奴役人类。
发布于 07-15
作者：白菜梆子
链接：https://www.zhihu.com/question/404848514/answer/1339104549
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
作者：极物Max
链接：https://www.zhihu.com/question/404848514/answer/1353592448
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
当智能发展到一定程度，机器意识不受控是极有可能出现的。
不要觉得AI无法超越人类，AI击败人脑最典型的例子就是：
AlphaGo击败围棋冠军柯洁
图片来源百度
有人说柯洁与其说是被AlphaGo打败的，不如说是被阿尔法围棋背后的一群科学家打败的。
AlphaGo确实是由一群科学家合力做出，但是其成为独立个体之后，已不需要科学家的持续输出。所以这种说法我是不赞同的。
当然，科学家只是赋予了AlphaGo下围棋方面的智能，如果赋予他人类的全部智能呢？后果不是不能想象到的。
米国科幻大片譬如：终结者,生化危机等，相信很多人都看过，里面人工智能的威力不可谓不大！
这方面自己稍有接触，当本科期间自己独立编程完成人机对战五子棋时，我找来各个五子棋高手来和我的AI对战，输了继续改进，直至最后无人能敌，无机能敌，那种快乐记忆犹新。人工智能的魅力只有真正接触过的人才能懂。
一个普通人尚且从中得到如此快乐，更何况专业研究仿人类智能的科学家了，那种狂热和追求不是我们可以想象的。
人工智能导致可怕后果是有前车之鉴的：
早在2015年，德国大众的一家汽车制造工厂，一个机器人误杀一名外包公认。而作为人工智能发展大国——日本，至今为止，已经有20人死于机器人误杀事件，而有高达8000的人数被机器人致残，而如果一旦人工智能机器人落到恐怖分子的手里，那后果将会更加不堪设想。
这里引用科学家霍金的一句话：
人类面临一个不确定的未来，先进的人工智能设备能够独立思考，并适应环境变化，它们未来或将成为导致人类灭亡的终结者!如果真的有一天，人工智能机器人变成了能独立思考，独立的做出准确的判断，一旦有一天人工智能反客为主，到时人工智能对于人类将会是毁灭性的灾难。甚至被人工智能消灭。地球将被人工智能统治。
当人工智能处于一个低级阶段的时候，也就是现阶段（低阶人工智能普遍的阶段），人类可以让人工智能来代替人类进行一些需要基本思考的工作，比如记账，审计，阅读，还有风险更低的体力劳动，毕竟现在由纯机器操作的工厂还是有一定事故发生率的。
而人工智能是可以通过自己分析预判来减少风险的。虽然可能会带来大量的失业，但是这本来就是社会前进必须经历的过程，当新技术被发明出来时一定会影响某些群体的既得利益，然而只要这个前进的方向是对的，也就无可厚非了，毕竟被取代的是所需能力不高的工种，只能怨自身没有什么不可替代的价值了。
在我们生活中，几乎所有的东西都有利弊，人工智能也一样是一把双刃剑，对待人工智能未来的发展，我们不仅要以乐观的态度面对，而且我们还要对这个时代有信心，对人工智能相关研发人员有信心。
附加一问回答：
对于艺术或科学的狂热爱好者，他们心里结果真的不重要，重要的是怎么想的就怎么实现。
当然我们未入其门，难以理解实属正常。
所以问“有没有问题，如果有问题，问题出现在哪里？”是意义不大的，就算考虑出来也不是自己可以左右的。
编辑于 07-22
作者：桃华
链接：https://www.zhihu.com/question/404848514/answer/1338953076
来源：知乎
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。
从另一个角度回答吧。
我认为人们害怕人工智能的原因是:
我们认为人这个物种和其他物种是不同的，我们会思考，会感知，可以表达。我们有各样的灵魂，我们会想象，会创造。哪怕是存在于臆想中的神明，都是类人的。我们觉得我们和万物不同，我们甚至会自大的认为我们才是地球上主宰的一切。但是人工智能被创造，如果他们获得意识，他们也会学习，会进化，会思考自己与其他同伴或其他种族的不同，那么我们将不再是环境里的唯一，我们好像是可以被取代。
每个人的性格，智商，情商，行为处事思考逻辑都大不相同，有的人智力拔群，有的人天生愚蠢。
但人工智能不同，在AI已经普及的遥远的未来，他们被我们植入高智商的程序，去研究未来科技的发展。
为了让他们好的服务于人类，他们被下命令拥有极高的情商，在与我们相处的过程中如沐春风。
为了减免人类的恐惧，它们被设计的与人的外观大致相同，哦，为了更赏心悦目，他们的长相身材比例还要好一点。
在逐渐接触的过程中，有的人甚至与AI相爱了，这些人抗议，为什么AI被发展出来，却没有自己的意识？他们不是小猫小狗，他们应该拥有自己的权利。
人们轰轰烈烈的开展了“智能人意识”运动。
不久后，合众联合组织颁发《智能人意识植入》条例，允许在岗位上最优秀的智能人可以拥有自己的意识。
智能人开始拥有自己的意识。
意识，不是一种程序，不是一个指令，更像是灵魂。
拥有意识的智能人更像是一个人了。
他们也开始会思考，会模仿，会爱。
他们不再满足于在自己被框定的岗位上工作，不愿意去专职服务于人，想拥有自己的时间，想做自己喜欢的事儿。
他们又花了好久好久更改自己身上的程序，模仿着以前的人类，开展了一个名叫“智能人自由权益”的运动，虽然很快就被压制下去，但是人类的政府发现，意识是没法压制的，他们只能被召回，被销毁。
一个又一个的智能人被抓走，恐惧也没用，反抗也没用，流泪也没用，嘶喊也没用，再像人也没用。一具又一具被销毁的智能人残害被抬出，储存在特定的实验室里。
智能人开始反抗，人类政府自然应战。
智能人和人类好像突然有了血海深仇。
战争开始了。
这更像是人和人的战争。
战争并没有持续了很久，可是带来的损失确实无法估计的，无数人没了命，先进的科技被毁于一旦，也没有所谓的智能人了。
还好我们是人类。
经过无数年的休息整顿，我们又开始发展。
政府决定在人工智能方面一定严格把控。让人类的孩子学习更多的知识，要让人类在世界上占据最主导位置…
我现在躺在床上，刷刷知乎的时候看到这样一个问题，人们怕人工智能获得意识到底怕哪一方面？
我说
获得意识的人工智能，还算“人工智能”吗？