中国计算机学会青年计算机科技论坛 (CCF YOCSEF) 于2018年10月25日在杭州国际博览中心会议区二层新闻发布厅以“AI作恶，是世界末日还是杞人忧天？”为题，进行了研讨。
最近，谷歌、亚马逊、微软分别与美国军方、警方和移民局合作，研究人工智能在军事、警用和移民方面的用途；韩国科学技术院也与军方合作设立实验室，研究人工智能武器。这些研究不仅严重侵犯了人权、自由和隐私，还对人类的安全产生了威胁，是对人类作恶，从而遭到人工智能研究人员的强烈抵制。这也一定程度印证了霍金、马斯克和比尔盖茨等提出的人工智能威胁论，即人工智能会危害并最终毁灭人类
任何技术都是一把双刃剑，都有可能用于作恶。为什么人工智能作恶能引起这么大的反响？AI 作恶是世界末日还是杞人忧天？为了避免人工智能作恶，是否应该停止相关技术的研究？从立法角度如何看待和防止 AI 作恶？
针对以上问题，中国计算机学会青年计算机科技论坛 (CCF YOCSEF) 于2018年10月25日在杭州国际博览中心会议区二层新闻发布厅以“AI 作恶，是世界末日还是杞人忧天？”为题，进行了研讨。360集团技术总裁、首席安全官谭晓生总裁，北京大学法学院教授、互联网法律中心主任张平教授作为特邀嘉宾，做引导发言，同时邀请上海交通大学电子系特别研究员、青年千人倪冰冰研究员，南京理工大学教授、教育部高维信息智能感知与系统重点实验室副主任肖亮教授作为论坛嘉宾，一起参加与参会人员互动、讨论环节，分别从不同角度和层面进行了阐述，并发表自己的观点。
本次论坛 CCF YOCSE 学术委员、哈尔滨工业大学邬向前教授 CCF YOCSEF 副主席、上海交通大学董笑菊教授共同主持。在线由 CCF YOCSEF 候任学术委员、北京邮电大学高志鹏教授和 CCF YOCSEF 候任学术委员、美团点评资深技术总监王栋共同主持。
与人性搏斗，AI的善与恶
360集团技术总裁，首席安全官谭晓生总裁，阐述了自己的观点。
首先人性决定了AI的善与恶。AI 的善与恶，本质上依然是发明和发展 AI 的人的善与恶。
其次事情总有两面，当我们享受 AI 带给我们的便捷、便利的时候，也要承担 AI 所带来风险：AI 的算法可能存在缺陷、AI 的代码实现可能会存在缺陷、AI 所承载的硬件计算载体可能存在缺陷，更不要说 AI 已经被网络黑产和军方所采用，如同若干次技术革命时所面临的挑战一样。
谭晓生总裁还强调“物竞天择，适者生存”，我们应该拥抱变化，积极适应 AI 的快速发展。
AI作恶的实质是人类在作恶
北京大学法学院教授、互联网法律中心主任张平教授从法律角度分享了自己对 AI 作恶的认识。她认为“AI 作恶的实质是人类在作恶”。张平教授在发言中谈到，“AI的本质是人类的工具”，而法律对人类利用工具作恶的规制主要是从技术、产品以及人机混合体（新生命）三个方面进行。
从现有法律看，AI 作恶可分为“大恶”与“小恶”。“大恶”无外是达到了人类无法控制的顶级作恶--“反人类罪”，按照现行人类法律对于反人类行为当必除之； “小恶”的基本特征是将 AI 作为人类的工具用来作恶，包括大数据的滥用等。张平教授认为，要想制止AI作恶，应当从人类开始。张教授谈到，真正令人恐惧的是作恶的“人机混合体”。一些具有强大功能的“人机混合体”将更多享受地球以及宇宙的资源，而其他自然人将处于弱势，从而成为“被作恶对象”。
张教授认为在AI研发的规制上只可能从善良的角度尽可能做道德约束，但绝无法阻止人类中的“恶人”行为，小恶只能由事后的法律救济，大恶只能由人类命运决定，就像核武器一样，全人类恶之，但无法制止。任何工具都具有利弊两面性，从技术中立角度出发，人类不应当禁止工具的发明，反而，人类社会正是从工具的应用开始进化，所以作为工具的 AI 如果作恶的话，可以按照人类现行法律，追究其具有过错的控制人、持有人、利用人等“人”的责任，间接地也会追究无过错的其他关联人的责任。同时，张教授还给出了AI应当遵循的基本原则，即有益目的原则、安全性原则、价值归属原则和非颠覆原则等。
在自由思辨环节，参会者踊跃发言，阐明观点，形成了如下论点：
1.利用AI作恶是否是罪不可赦的
我们可以看到，现在有很多利用 AI 作恶的现象，比如人工智能武器，大数据滥用，隐私侵犯等。
(1) AI是一种工具，归根结底还是人在作恶。AI的发展不只是依赖于大数据，其有多种形式。要注意到 AI 本身是一种工具，有脆弱性，即容易被不法分子利用。同时，无论是多先进的技术，总会首先应用于作战，这是不可避免的。
(2) AI具有不可控性。可解释性是可控性的前提，而现阶段的基于深度学习的AI无法进行理论上的解释，即失去了AI的可控性。若是AI发展到一定的程度，可能会出现AI社会，导致人类的末日。
(3) AI作恶现象的出现是法律的缺失导致的。现有的法律没有对 AI 作恶进行明确的规定，很难界定 AI 产品作恶的法律责任。
2.通用人工智能是否是人类最后的发明
通用人工智能一直是专家学者们热议的重点，其对我们现有的生活会产生比较大的冲击。
(1) AI的发展，会影响人类智能的进化。AI发展十分迅速， AI 极大地方便了我们生活，可能会促进人类智能的发展，但同时也可能会使得部分人们不再勤于思考，或多或少会影响到人类的智能，也可能会导致人类部分技能的退化。
(2) 通用人工智能具有争论性。通用人工智能可能会是未来的发展方向，但是并不是唯一的方向。AI 的不可控因素较大，通用人工智能可能会导致机器控制人等严重的后果。但部分专家也认为通用人工智能不会导致人类的灭亡，不会成为人类最后的发明。
3.我们如何防止AI作恶。
在防止AI 作恶方面，专家学者们也给出了自己的意见。
(1) 防止AI 作恶的难度很大。AI的发展太过于迅速，进化很快，并且其有分散性和低门槛的特点，很难防止。
(2) 应该设立伦理委员会，对 AI 的研究进行审查。AI 作为一种技术，具有双面性的特点，但现阶段归根结底还是人的问题，我们或许可以考虑设立AI的研究禁区，从危害性和应用领域对AI进行分级，防止别有用心的人控制AI。
(3) 应该从多个角度对 AI 进行约束。首先是道德层面，研究者应该自律，在道德上约束 AI ，不让其成为作恶的工具；然后在法律层面进行相关的立法研究，约束AI；并且还要在技术层面上进行进一步的限制，以防止AI失控。
总之，AI 是社会和国家关注的重点，AI 作恶的问题是相关领域的专家学者在研究过程中应该时刻关注的问题，希望可以进行更加深入的思考。
论坛最后，由YOCSEF主席唐杰总结发言，对引导发言讲者、特邀嘉宾、执行主席和全体参会人士表示感谢。至此，本次论坛圆满结束。
