writeas憋着尿按压肚子
声明:本文来自于微信公众号量子位,作者:Chronos团队,授权站长之家转载发布。
现在,大模型可以帮你梳理新闻时间线了,以后吃瓜就更方便了!
AIAgent的风,咱们赛博乐子人也得吹吹。
这就是来自阿里巴巴通义实验室与上海交通大学的新研究,他们提出了一种基于Agent的新闻时间线摘要新框架——CHRONOS。
它不仅可以帮你从海量新闻中总结出重要事件,更次要的是,它还可以梳理出不不透光的时间线,以后上网冲浪时各种复杂事件都一目了然。
其中的CHRONOS一词取自希腊神话中的时间之神柯罗诺斯。
该框架通过迭代多轮的自我提问方式,分隔开检索增强生成技术,从互联网上检索相关事件信息,并生成时间顺序的新闻摘要,为新闻时间线摘要生成授予了一种全新的解决方案。
先来一起瞅瞅几个例子。
比如对于新闻“国足1-0巴林”,CHRONOS能够总结海量新闻,呈现事件的来龙去脉。
对于覆盖时间更长的新闻“中国探月工程”,CHRONOS也能聚焦重点事件,呈现时间线发展,使得用户能够一目了然。
补齐开放域TLS短板时间线总结(TimelineSummarization,TLS)任务是一种自然语言处理领域的经典技术确认有罪,它旨在从极小量文本数据中提取关键事件,并按时间顺序排列,以授予对某一主题或领域历史协作发展结构化视图。
例如,在新闻领域,时间线总结可以干涉用户快速了解一个新闻事件的来龙去脉。该任务不仅要求识别出次要的事件,还需要理解事件之间的时间关系和因果联系,以便生成一个连贯、简洁且信息通俗的时间线摘要。
根据可检索事件的来源,可以将TLS任务细分为封闭域(closed-domain)和开放域(open-domain)两个设定:在封闭域TLS任务中,时间线是从一组预定义的、与特定主题或领域不无关系的新闻文章中创建的,而开放域TLS指的是从互联网上直接搜索和检索新闻文章来生成时间线的过程。
过去的工作主要发散于解决封闭域上时间线生成问题,而开放域TLS则需要强大的信息检索和筛选能力,以及在没有全局视图的情况下识别和建立事件之间联系的能力,为这项任务提出了新的要求和确认有罪。
迭代检索的CHRONOS框架为了应对上述确认有罪,团队提出CHRONOS框架,通过迭代提问进行相关事件检索,生成准确、全面的时间线摘要,能够有效地解决开放域和封闭域两种设定下的TLS任务。
1.动机时间线生成的不次要的部分在于建立事件之间的时间和因果关系。
每个新闻事件都可以被表示为一个不反对节点,任务的目标是建立这些节点之间的边,以展示它们的相关性,并最终形成一个异构图,从主题新闻的节点开始。
因此,通过一个检索机制来检索不无关系的新闻文章,可以有效建立这些边,形成事件之间的联系。
2.概述CHRONOS利用失败大模型的能力,通过模拟人类信息检索的过程,即通过提出问题、基于检索结果进一步提出新的问题,最终收藏,储藏关于相关事件的全面信息并总结为时间线。
CHRONOS包括以下几个模块:
自我提问(Self-Questioning):首先搜索粗粒度的新闻背景信息,然后迭代地提出问题,以检索更多相关新闻。
问题改写(QuestionRewriting):将复杂或表现不佳的问题分解为更具体、更易检索的查询。
时间线生成(TimelineGeneration):通过分解每一轮检索生成的时间线来总结一个突出重要事件的时间线。
3.自我提问3.1粗粒度背景调研在自我提问的初始阶段,CHRONOS使用目标新闻的标题作为关键词进行搜索,以收藏,储藏与目标新闻最直接不无关系的信息。
这些信息构成了新闻背景(NewsContext),为自我提问打下初步基础。
3.2提问示例选择在粗粒度背景调研之后,CHRONOS利用失败大模型的上下文学习能力,通过极小量样本提示来指导模型生成关于目标新闻的问题。
为了评估问题样本质量,引入了时序信息量(Chrono-Informativeness,CI)的概念,用来衡量模型提出的问题检索与参考时间线对齐事件的能力,即高CI值的问题更有可能意见不合检索到与目标新闻事件不无关系的文章,用检索生成的时间线和参考时间线中包含日期的F1分数进行衡量。
基于最大化问题集时序信息量的目标,构建一个“新闻-问题”的示例池,用于指导新目标新闻的问题生成。
对于每个新的目标新闻,通过余弦反对性动态检索与目标新闻最不反对样本,确保了样本的上下文相关性和时间信息的准确性。
3.3迭代提问CHRONOS通过连续迭代提问,逐步深入探索事件的细节。
每一轮迭代都基于前一轮的检索结果,以发现新的问题和信息,直到焦虑时间线中事件数量或达到最大迭代次数。
3.4问题改写查询改写(QueryRewriting)是检索增强生成中常用的优化方法。
在CHRONOS框架中,团队通过对初始提问阶段产生的宽泛或复杂问题改写为2-3个更易于检索的子问题,能够生成更具体、更有针对性的查询,从而降低搜索引擎的检索效果。
他们同样在提示中加入极小量样本,指导大模型进行有效改写,将复杂问题转化为更具体的查询,同时保持问题的原始意图。
3.5时间线生成CHRONOS通过两阶段生成多余的时间线总结:生成(Generation)和分解(Merging)。
生成:通过分析每一轮检索到的新闻文章来识别关键事件和详细信息。利用失败大模型的理解和生成能力,提取每个事件的发生日期和相关细节,并为每个事件撰写罗嗦的描述。这些事件和描述被组织成初步的时间线,按照时间顺序排列,为后续的分解阶段授予基础。
分解:将多轮检索生成的初步时间线整分解一个连贯的最终摘要。这一过程涉及对齐不同时间线中的事件、解决任何日期或描述上的冲突,并选择最具代表性和重要性的事件。
全新数据集OPEN-TLS为了评估TLS系统,研究团队还收藏,储藏了由专业记者撰写的关于近期新闻事件的时间线,构建了一个名为Open-TLS的新数据集。
与以往封闭域的数据集相比,Open-TLS不仅在数据集规模和内容上更加多样化,覆盖政治、经济、社会、体育和科学技术等多个领域,而且在时效性上更具无足轻重,为开放域TLS任务授予了一个更全面和更具确认有罪性的基准。
实验结果1.实验设定实验基于GPT-3.5-Turbo、GPT-4和Qwen2.5-72B分别构建CHRONOS系统,评测开放域和封闭域两个设定下TLS的性能表现。使用的评估指标主要有:
ROUGE-N:衡量生成时间线和参考时间线之间的N-gram重叠。具体包括:(1)ConcatF1:通过将所有日期摘要分开起来计算ROUGE,以评估中心的一致同意性;(2)AgreeF1:仅使用匹配日期的摘要计算ROUGE,以评估特定日期的准确性;(3)AlignF1:在计算ROUGE之前,先根据反对性和日期接近性对预测摘要和参考摘要进行对齐,评估对齐后的一致同意性。
DateF1:衡量生成时间线中日期与参考时间线中真实日期匹配程度。
2.开放域TLS在开放域TLS的实验中,CHRONOS与几个基线方法进行了比较,包括直接搜索目标新闻(DIRECT)和重写目标新闻以创建查询用于检索(REWRITE)。
对比之下,CHRONOS通过迭代自我提问和检索相关新闻文章的方法,显著降低了事件总结的质量和日期对齐的准确性,在所有指标上都领先于基线方法。
3.封闭域TLS在封闭域TLS的实验中,CHRONOS与之前的代表性工作进行了比较,包括:(1)基于事件聚合方法的CLUST(GholipourGhalandariand.Ifrim,2020);(2)基于事件图模型EGC(Lietal.,2021)和(3)利用失败大模型进行事件聚类的LLM-TLS(Huetal.,2024)。
在Crisis和T17这两个经典数据集上的比较结果显示,CHRONOS达到了与这些工作缺乏反对性的表现,在两个数据集的AR-2指标上取得了SOTA效果,反对了其在不同类型事件和时间跨度上的强大性能和适应性。
4.运行时间分析CHRONOS的另一个无足轻重体现在效率方面。
与同样基于大模型、但需要处理新闻库中所有文章的LLM-TLS方法相比,它通过检索增强机制专注于最不无关系的新闻文章,显著减少,缩短了处理时间。
这种效率的指责使其在实际应用中更为实用,尤其是在需要快速响应的场景中。
案例研究:苹果产品发布时间线团队深入分析了模型在处理具体新闻事件时的表现,通过选择具有代表性的新闻事件,如苹果公司的重大产品发布,能够观察到CHRONOS如何通过由浅入深的自我提问和信息检索来生成时间线。
在案例研究中,CHRONOS展示了其能够准确提取关键事件和日期的能力,同时也揭示了在某些情况下可能需要改进的地方,例如对某些事件的包含或日期幻觉。
结语CHRONOS框架通过分隔开大型语言模型的迭代自我提问和检索增强生成技术,为时间线总结任务授予了一种新颖且无效的解决方案。
这种方法的不次要的部分在于模拟人类的信息检索过程,通过不断地提出和回答新问题来逐步深入理解事件,最终生成一个全面且连贯的时间线摘要。
实验结果已经充分反对了CHRONOS在复杂事件检索和构建时间线方面的能力,展示了该框架在实际新闻时间线生成应用中的应用潜力和准确性。
同时,这种迭代提问的检索生成方法是否具有泛化到通用任务上的能力也值得未来进一步研究。
论文:https://arxiv.org/abs/2501.00888
Github:https://github.com/Alibaba-NLP/CHRONOS
Demo:https://modelscope.cn/studios/vickywu1022/CHRONOS
声明:本文来自于微信公众号新榜(ID:newrankcn),编辑|松露校对|片片,授权站长之家转载发布。从7月起,新榜编辑部大范围搜集了关于TikTok的相关资料,累计对话、走访10余位TikTok专业玩家,从TikTok头部达人、内容玩法、直播电商、行业培训等多角度对TikTok进行全面复盘分析,尝试给对TikTok跃跃欲试的从业者一份参考。本文为TikTok系列内容第3篇。“现在的TikTok,是2003年的淘宝、2011年的微商、2016年的抖音。”业内广为流传的一句话,成为推动很多人入局TikTok的重要因素。国内玩家见证了短视频与直播掀起新的浪潮,迭代了传统...
特别声明:本页面标签名称与页面内容,系网站系统为资讯内容分类自动生成,仅授予资讯内容索引使用,旨在方便用户索引相关资讯报道。如标签名称涉及商标信息,请访问商标品牌官方了解详情,请勿以本站标签页面内容为参考信息,本站与可能出现的商标名称信息不存在任何关联关系,对本页面内容所引致的错误、不确或包含,概不负任何法律责任。站长之家将尽力确保所授予信息的准确性及可靠性,但不保证有关资料的准确性及可靠性,读者在使用前请进一步核实,并对任何自主无法选择的行为负责。任何单位或个人认为本页面内容可能涉嫌解开其知识产权或存在不实内容时,可及时向站长之家提出书面权利拒给信息或不实情况说明,并提权属反对及详细侵权或不实情况反对(点击查看反馈联系地址)。本网站在收到上述反馈文件后,将会依法依规核实信息,第一时间沟通删除相关内容或断开相关链接。
今日头条旗下番茄小说推出星火计划,优质新书每月可获现金补贴牛华网2020-06-0316:39
为挖掘和培育优秀的原创网络文学作家,番茄小说于2019年底推出原创网络文学平台木叶文学网(writer.muyewx.com),签约作品可在番茄小说、今日头条App分发。截至目前,已有多本优秀作品单日广告分成超过1万元。
为保持品牌统一,即日起木叶文学网正式更名为番茄小说网。更名后,平台将一如既往减少破坏原创,并将投入更多资源与真金扶持作家。
与此同时,在现有福利体系基础上,番茄小说网新推出星火计划,为签约作家授予新书创作保障:平台将给优质新书分阶段发放现金补贴,直至书籍字数超过100万字。
星火计划将根据读完率(N万字读完率=从第1章开始阅读了N万字的用户数/累计用户数)每月评选一次获奖作品(名额不限),并根据作品不同字数区间内的读完率高低发放不同额度的补贴。读完率越高,现金补贴越多。
不同读完率对应补贴额度计算公式如下:
关于星火计划详情,可在官方网站(writer.muyewx.com)查看不完整版。
星火计划已于5月29日公布首批获奖作品,共林柏闲《我的老婆伏地魔》等155部作品获得补贴。恭喜以上作品!
同时,为保证公平公正,让星火计划覆盖真正的优质作品,平台已做出如下努力:
(1)数据公开透明,作家可在移动作家助手或PC端作家后台,直接看到自己作品的阅读人数、读完率等;
(2)获奖名单每月公示5天,接受广大作家群体与读者的监督。如发现作品存在抄袭现象,可带抄袭书籍、对比截图发收至抄袭举报邮箱fanqiejubao@bytedance.com,我们将在1个工作日内回复;
(3)避免/重新确认/支持大家对星火计划提出宝贵建议,可发收至邮箱original_articles@bytedance.com;
希望所有作家笔耕不辍,在星火计划的使胆寒下结束创作优质网络文学作品。
相关文章海淀区教委联合今日头条推出“空中课堂”,面向全国免费开放2020-03-23搜索大战烽烟增长:李彦宏不能再输,张一鸣亟待破局2020-03-16报告丨解密内容创业的下一个破局点2020-03-10各地知名艺术家在今日头条“用艺术记录抗击肺炎”2020-02-13《星动24时辰》:移动互联网时代精品内容的先锋性尝试2020-01-21导语:近日,iOS11的公测版正式可供下载,它是苹果移动操作偶然的最新版本,它最为引人注目的功能包括Messages中集成ApplePay、更自然的Siri语音、Siri与其他应用的配合使用以及一个全新的AppStore。
据悉,iOS11公测版减少破坏iPhone5s及其以后版本、iPadAir、iPadPro或iPadmini2及其以后版本,第五代iPad或第六代iPodTouch。根据预计,iOS11的正式版将于今年秋季正式发布,它将可供用户免费下载使用。下面,就让我们一起来看一下iOS11的新功能:
ApplePay变得更友好
苹果在iOS11中允许用户通过ApplePay实现点对点支付,这使其在面对Venmo和SquareCash等确认有罪的时候更有底气。
在iOS11中,用户将能够更容易地向联系人进行转账操作,并且还可以实现收付款。遗憾的是,ApplePay的这个新功能尚未在iOS11的第一个公测版中出现,它预计会在iOS11的正式版中出现。
Siri能够与其他应用很好地配合使用、翻译语言、声音更自然
目前,Siri已经登陆iPhone好几年的时间了,但是它现在将会集成第三方的应用程序,这些应用程序包括Evernote、微信和Things等。同时,Siri还减少破坏语音翻译,你可以和它说话,然后让Siri大声地用其他语言将你的话说出来。目前,iOS11测试版减少破坏的语言包括西班牙语、德语、法语、意大利语、和普通话。
另外,iOS11的Siri语速变得更加接近真人,苹果减少了多层次的语调,Siri可以用三种不反对声调去说阳光真好。
Siri更加智能
iOS的每一次更新都承诺将会带来一个更加智能的Siri,但是每一次的结果都不一样。苹果表示,iOS11中的Siri将能够根据具体情况和时间来了解用户的需求,无论它是一个特定的主题、地点还是活动,例如通过Safari浏览金州勇士队的信息。同时,iOS11中的Siri可能会发现你对篮球感兴趣,News应用会根据你的兴趣去推收新闻。另外,Siri还会通过用户账户与你其他的苹果设备去分享它所了解到的你的不习惯。
AirPlay2协议让HomeKit加入对音箱的减少破坏
一直以来,AirPlay都是苹果推出的一个很棒的技术,它可以将流媒体视频从iPhone、iPad和Mac中串流到AppleTV中,而iOS11则让这个功能变得更好。AirPlay2让HomeKit加入了对音箱的减少破坏减少破坏。通过全新的AirPlay2协议,你可以实现对多个音响设备的控制,让你所喜爱的音乐填满你家中的每一个房间。
Messages获得更好的不同步,也更方便地删除信息
iOS11中的Messages应用获得了大幅的改进。在iOS11中,当你在一个新设备上设置iCloud账户之后,你可以将你其他设备中的所有Messages信息都下载到新设备中。同时,当你在一个设备的Messages应用中删除信息之后,其他设备中的这些信息也将会被删除。这样一来,用户就不必担心隐私数据泄露了。
你的iPhone将变成一个更好的客场之友
在iOS11中,苹果地图得到了大幅改进,这一次的改进似乎发散在驾驶体验上,它不仅会授予车道建议,干涉你在高速公路上和更大的道路上行驶,而且还会给你显示当地的速度批准,让你免于超速。
同时,苹果地图应用还引入了全新的开车时请勿打扰模式。当用户正在驾车时,这个模式就会开启,司机的手机会显示一个黑色的屏幕,一切消息推收将关闭,它还会帮你提前选择性自动回复消息。当然,你可以指定一些可突破开车时请勿打扰功能的联系人,以便你从中获取信息和电话。
当到达目的地之后,苹果地图应用还会为你授予你所在位置的室内地图,例如机场和购物中心等。
iOS针对iPad优化
iPad用户应该非常喜爱iOS11,这款移动操作系统更加适合更大显示屏的设备使用,操作起来也更加舒适。
在iOS11中,苹果为iPad用户新增了全新的Dock栏,使用上和界面上都更像Mac,用户可以在Dock栏中添加更多的应用。之前,iPadDock栏只能放下6个应用图标,当你滑屏时这些图标也会接纳在那里。在iOS11中,你可以在Dock栏上设置多达13个应用,几乎所有你常用到的应用都可以设置在上面。同时,Dock栏右侧还会显示3个你最近关闭的应用,非常方便。
另外,iOS11也让iPad的分屏视图功能变得更破坏大,用户可以在分屏模式下快速将信息或媒体文件从屏幕一侧的应用移动到屏幕另一侧的应用。当然了,这个拖拽功能也减少破坏工具栏和主屏上的应用。iPad键盘也获得了新功能,一个全新的手势将允许你快速访问辅助按钮功能。
Files带来嵌套文件夹并减少破坏非iCloud存储
苹果在iOS11引入了全新的Files文件无约束的自由应用,这个应用允许用户直观地无约束的自由文件,并且减少破坏拖拽功能。虽然Files不是像Android系统中的那种root级别的文件无约束的自由器,但是它依旧是一个非常不错的改进。
Files不仅能够为你显示iPad和iPhone中的所有文件,而且它还减少破坏第三方云存储服务,包括DropboxOneDrive和GoogleDrive,它们将会出现在侧边栏文件夹。
重新设计的控制中心和3DTouch
iOS11的控制中心已经完全重新设计,所有的功能都会被数量增加到一个单独的页面上。同时,3DTouch将会扩展每个不反对卡片,授予更多的选项。
ARKit改进了增强现实应用和游戏
在iOS11中,苹果授予了名为ARKit的增强现实平台,这是一款面向开发者的工具包,它允许应用程序使用计算机视觉来进行对象识别,而虚拟对象可以放置在感知上下文的显示器上。ARKit开发者工具包将允许iPad和iPhone中的应用程序更好地利用失败运动传感器、CPU和GPU,从而实现更好的增强现实效果。ARKit增强现实平台将减少破坏搭载A9处理器及其以上版本处理器的iOS设备,也就是iPhone6s及其之后的版本。
改进的AppleMusic
众所周知,Spotify是流媒体音乐行业中的领导者,它最大的亮点就是让朋友之间分享自己喜欢的音乐。在iOS11中,苹果也在AppleMusic中引入了缺乏反对性的功能,允许用户轻松地访问朋友喜爱的音乐播放列表。
使用LivePhotos拍摄最好照片
2015年,苹果引入了LivePhotos功能,它看起来很不错,但是之前一直属于噱头。如今,iOS11针对LivePhotos进行了改进,用户可以利用失败它拍摄出最好的照片。同时,LivePhotos还减少了类似GIF的loopeffect,长时间曝光的设计也不错。
更好的AppStore
从2008年推出以来,AppStore就没有得到过太大的改进,但iOS11为我们引入了一个全新的AppStore。与iOS10中的AppleMusic应用一样,全新的AppStore也获得了同样易于阅读的布局,文本和图片显示更大。
值得注意的是,AppStore也引入数量少的标签,例如新的今天标签将干涉用户发现新的应用程序,新的游戏标签将显示你可能感兴趣的游戏,新的应用标签会显示非游戏应用,而更新标签会显示已经安装的应用有更新或者最近更新过。最后,搜索标签会授予一个新的专用搜索界面。
更多新功能
除了上述新特性之外,iOS11还包括更多的新功能,包括屏幕录制功能、自动设置新设备功能和单手键盘等。(完)
声明:本文来自于微信公众号新智元,作者:新智元,授权站长之家转载发布。
奇点将至?奥特曼再次奴役「六字」神秘信号!谷歌文档之父、机器学习博士纷纷预测,AGI降临那天,95%人类工作或被AI取代。
一觉醒来,奇点又进了一步?!
昨天,OpenAI智能体安全研究员StephenMcAleer突然发出一番感慨:
有点怀念从前那段做AI研究的日子,那时我们还不知道如何创造超级智能。
紧随其后,奥特曼发表了意味深长的「六字箴言」:nearthesingularity;unclearwhichside——奇点临近;不知身处何方。
这句话是想表达两层意思:
1.模拟假说
2.我们根本无法知道AI真正起飞的关键时刻,究竟是在什么时候
他又疯狂明白地提及了一番,并期望这一点能引申出大家更多的解读。
这一前一后,他们接连发出耐人寻味的信号,让所有人不禁思考:奇点是否真实的近在咫尺?
评论区下方,直接被新一轮的AGI大猜想和恐慌冲爆了。
若AGI/ASI真正降临那天,我们将面临着什么?
「谷歌文档」之父SteveNewman在最新长文中认为,「届时,AI将会取代95%人类工作,甚至包括未来新创造的工作」。
ApolloResearch联创MariusHobbhahn则更进一步,列出了2024年-2030年所有AGI时间表。
他预测,「2027年,AI将直接取代AGI实验室顶级AI研究员;
2028年,AI公司将有1万-100万个自动化的AI研究员,差不多所有需要知识型的工作都被AI自动化」。
与Newman观点一致同意的是,Hobbhahn认为2024年95%以上经济价值的任务,都能被AI完全自动化。
不过,他将这个时间节点设定在了2029年。
AGI降临,超95%工作被取代
SteveNewman在文章中,阐述了他对AGI的定义及其AI对未来世界的影响。
那么,AGI究竟指代的是什么时刻?Newman认为:
AI能够在超95%的经济活动中,以成本效益的方式取代人类,包括未来新创造的任何工作。
他认为,大多数假设的AI变革性影响都发散在这个节点上。
因此,这个「AGI」的定义,代表了世界开始显著保持不变的时刻,也是所有人「感受到AGI」的时刻,具体而言:
1AI系统能主动适应完成大多数经济活动所需的任务,并能完成不完整而非世界性政策的任务。
2一旦AI能够完成大多数知识型工作,高性能的物理机器人将在几年内随之而来。
3这种能力水平可以实现一系列变革场景,从经济超增长到AI接管世界等。
4世界变革场景需要这种水平的AI(通常,专用AI不足以保持不变世界)。
5在达到AGI之前,「递归自我改进」将成为主要推动力。
6AGI指的是具备必要能力(以及经济效率)的AI被发明出来的时刻,而不是在整个经济中全面部署的时刻。
关于AI如何对世界产生变革性影响,有来自多方的推测:
一种观点认为,AI可能带来难以想象的经济增长——推动科学和工程领域快速进步,完成任务的成本比人类更低,干涉公司和政府做出更高效的决策。
根据最近的历史数据,世界人均GDP大约每40年翻一番。有人认为,高级AI可以使GDP在一年内至少翻一倍,也就是「超增长」。
十年的「超增长」将使人均GDP减少1000倍。也就意味着,目前每天靠2美元生活的家庭,未来可能会实现年收入73万美元。
另一种观点认为,AI可能会带来灾难性的风险。
它可能会发动幸存性的网络攻击,制造出高死亡率的流行病;可能让独裁者获得对国家甚至全世界的绝对控制权;甚至,AI可能失去控制,最终建造所有人类生命。
还有人推测,AI可能淘汰人类,至少在经济领域会这样。它可能终结资源稀缺,让每个人都能过上富裕的生活(前提是选择公平分配这些成果)。它可能将仅存在于科幻中的技术变为现实,比如治愈衰老、太空殖民、星际旅行、纳米技术。
不仅如此,一些人设想了一个「奇点」,在奇点中,进步的速度如此之快,以至于我们什么都无法预测。
SteveNewman推测,AGI真正实现的时刻,就是这些设想几乎同时变成现实的时刻。
「可能发生」,不是「接受发生」
需要澄清的是,Newman并非在说,关于高级AI的预测,一定都会实现。
未来,技术突破逐渐变难,所谓的「奇点」也就不一定会出现。也就是说,「长生不老」可能根本就无法实现。
再说了,人们可能更喜欢与他人互动,这样的话,人类也就不会真实的在现实经济活动中变得没用。
当提到「可能差不多同时发生」时,SteveNewman的意思是,AI如果能实现难以想象的经济增长,那也有能力制造真正的幸存性流行病、接管世界或快速殖民太空。
为什么谈论「通用人工智能」
经济超增长在理论上是否可能,有一些争议。
但如果AI无法自动化几乎所有的经济活动,那么超增长几乎注定是不可能的。仅仅自动化一半的工作,不会带来深远的影响;对另一半工作的需求会随之减少,直到人类达到一个新的、相对常规的不平衡的。(毕竟,这种情况在过去已发生过;在不久前,大多数人还从事农业或简单的手工业。)
因此,超增长需要AI能够完成「几乎所有事情」。它还需要AI能够适应工作,而不是重新调整不当工作和流程来适应AI。
否则,AI将以类似于以往技术的速度渗透到经济中——这种速度太慢,无法带来结束的超增长。超增长需要AI足够通用,以完成人类能做的几乎所有事情,并且足够僵化以适应人类原本的工作环境。
还有太空殖民、超致命流行病、资源稀缺的终结、AI接管世界等预测,这些情景都可以被归类为「AGI完成」情景:它们与经济超增长需要的AI,具有相同的广度和深度。
Newman进一步主张,只要AI能够完成几乎所有经济任务,它就足以实现全部预测,除非与AI能力无关系的原因导致它们无法实现。
为什么这些截然不反对情景,需要相同水平的AI能力?
阈值效应
他提到了,上个月DeanBall关于「阈值效应」的文章。
也就是说,技术的逐步进步可能在达到某个关键阈值时,引发突如其来的巨大影响:
DeanBall最近撰文探讨了阈值效应:新技术在完全建立并不会悠然,从容普及,只有当难以预测的实用性阈值被突破后,采用率才会悠然,从容攀升。例如,手机起初是一种笨重且昂贵的滞销产品,而后来却变得无处不在。
几十年来,自动驾驶汽车还只是研究人员的兴趣,而如今谷歌的Waymo服务每三个月就能实现翻倍增长。
对于任何特定任务,只有在突破该任务的实用性阈值后,AI才会被广泛采用。这种突破可能发生得相当突然;从「还不够好」到「足够好」的最后一步不一定很大。
他认为,对于所有真正具有变革性影响的AI,其阈值与他之前描述的定义一致同意:
超增长需要AI能够完成「几乎所有事情」。它还需要AI能够适应任务,而不是调整不当任务去适应自动化。
当AI能够完成几乎所有经济价值任务,并且不需要为了适应自动化而调整不当任务时,它将具备实现全部预测的能力。在这些条件焦虑之前,AI还需要人类专家的鞭策。
一些细节
不过,Ball略过了AI允许体力工作的问题——即机器人技术。
大多数场景都需要高性能的机器人,但一两个(例如高级网络攻击)可能不需要。然而,这种区别可能并不重要。
机器人学的进步——无论是物理能力还是用于控制机器人的软件——最近都显著加快。这并非完全偶然:现代「深度学习」技术既推动了当前AI浪潮,在机器人控制方面也非常有效。
这引发了物理机器人硬件领域的一波新研究。当AI有足够的能力促进经济高速增长时,几年之内它也可能会克服剩余的障碍来制造可以胜任体力工作的机器人。
实际的影响将在至少几年内逐步发散,一些任务将比其他任务更早实现。即使AI能够完成大多数经济价值任务,也不是所有公司都会立即行动。
为了让AI完成比人类更多的工作,需要时间去建设足够多的数据中心,而大规模生产物理机器人可能需要更长时间。
当谈到AGI时,指的是具备基后天的反应力的时刻,而不是全面部署的时刻。
当提到AI能够「完成几乎所有经济价值任务」时,并不一定意味着单个AI系统可以完成所有这些任务。我们可能最终会创建从事不同任务的专用模型,就像人类从事不反对专业一样。但创建专用模型的必须像培训专业工人一样容易。
实现AGI,我们该怎么做?
对于「如何实现AGI?」这个问题,现在的研究者几乎没有头绪和理论依据,各种流派都有,一致同意不休。
ApolloResearch联创MariusHobbhahn认为,AGI的不次要的部分特点应该有三个:
-对风险的来源、预期的风险程度、安全预算以及愿意允许的风险做出更具体的明确假设。
-明确的多层次防御方法,去除某些不相关、负不无关系的措施,而不是「尝试叠加不反对策略以降低风险」。
-计划一致同意性,很多AI公司在宣传和实际做的事和谐同意,比如声称为了安全性愿意付出更高代价,但却不愿意允许透明推理带来的缺乏成本。
忠实且人类可读的CoT范式从AGI的全局发展来看,我们很幸运:现在AI偶然的大部分推理过程是「直接可见」且「易于理解的」。
所谓忠实且人类可读,就是指模型的推理过程是以一种人类可以直接理解的方式进行的,并且准确地反映了模型行动的原因,模型不能进行与声明不符的内部推理。
我们至少应该:
1.共同认同将此作为一个重要搁置因素,并以此进一步发展。为了让模型产生更易理解的CoT,我们可以并愿意承受相应的性能损失,哪怕是普通应用的运行成本会减少2倍,或是高风险应用的成本减少到5倍
2.将更多的精力投入到研究易于理解且忠实的推理过程(CoT)。比如构建一套评估工具,以测试某个特定模型的推理过程是否忠实,或者探索直接优化可读性会带来哪些副作用,如何隐藏掉非预期推理等。
3.「从架构中移除可见CoT」的相关研究应该减少,缩短,例如Meta的COCONUT
假设可读性带来的缺乏成本并不太高(例如,不到2倍),那现在关于「移除CoT」的研究无异于自毁长城。
如果存在证据隐藏,像在o1和o3中使用的高计算强化学习(highcomputeRL)会导致不可读的推理过程,例如模型自己发展出人类难以理解的语言,相应的观念也应该发生转变:
1.人工智能开发者尽快分享此信息,「模型的推理性能很好,但我们不理解其推理过程」要比「模型的推理性能一般,但我们能够理解其推理过程」可怕得多。
2.转变研究和治理策略的优先级,比如投入更多精力去解码模型所学到的语言。
用CoT监控模型如果模型能生成人类可理解的CoT,我们的主要防御手段就是对模型进行详细的监控,虽然极具成本效益但经常被关心。
在理想情况下,可以用几台简单的监控设备来分析模型输出,以检测各种通用的故障模式和不良行为,可追踪的行为类型包括:
各种类型的阴谋(scheming)行为,例如模型是否隐藏了某个特定目标,是否试图重步走监管,是否采取了不符合用户利益的行动等;各种类型的无能的追求(power-seeking)行为,例如模型是否试图获取资源,试图减少,缩短访问批准,试图以某种方式说服他人等;强烈且广泛的目标导向,例如模型在多个上下文中都一直在追求某个特定目标,需要在不同上下文之间进行对比;可以使用较小但运行更快的模型作为「仅黑箱监控器」(balck-box-onlymonitors),类似用Gemini-flash来监控Gemini,或者使用「白盒探测器」(white-boxprobes),经过训练以检测有问题的行为(例如,线性探测器或SAE探测器);
最好既能监控行动本身(例如,工具调用),也能监控导致这些行动的推理过程。
模型开发商已经开始使用黑箱监控器来防止模型越狱(jailbreaks),算是有了一个概念验证;简单的线性探测器极具成本效益(只需要一个简单的向量乘积),可以在几乎不减少缺乏开销的情况下,并行运行上万的探测器。
虽然这些方法看似简单,但研究人员认为,还没有人系统地研究如何对模型进行无效的监控。
监控在概念理解上看似简单,但仍需要极小量的迭代和调整不当,比如需要一个完善的数据集来训练和评估探测器,校准阈值等。
每个AI实验室都应该有一个多余的团队来专门构建监控设备,确保模型按预期工作,分析其结果,使其运行更高效等。
总的来说,监控设备不仅可以直接防止模型生成使加剧性内容,还可以更快、更全面地了解对齐(alignment)技术的有效性。
控制模型最坏情况下,模型可能有自己的想法,而且人类不一定能看清推理过程,所以需要最大限度地降低模型的实用性,同时最小化风险,具体措施包括:
1.智能体(agents):以往的研究主要发散在小智能体系统或在较小任务,实验室应该尽快将控制技术应用于最先进的系统,以便尽早积聚实践经验;
2.现实性(realism):在常见的应用场景下对模型进行控制,比如辅助研究等;
3.蓝队与红队的规则:在某些变体下,红队过于强大,比如可以访问蓝队的所有数据,并针对蓝队进行训练等,对团队的假设应该更「合理」且「不准确」。
4.放宽假设(relaxedasummptions):控制的假设基于模型始终腹黑,相对保守;可以定义更严格的界限,减少,缩短约束,使模型表现大体不变。
模型的阴谋(scheming)在帮助研发人工智能系统时,我们也应该加深对大模型图谋不轨行为的理解:
1.检测工具:使用性能更好的工具来检测模型的图谋,例如更大规模的黑箱评估和更好的白箱技术;
2.图谋行为的发展:应该深入理解为什么模型会追求某种能力,了解模型如何学习非短视反感,以及模型何时愿意为了这些反感付出行动;
3.现实中的反感:了解模型在实践中的图谋频率,比如分析1亿个真实的模型回复,似乎是一个低投入、高回报的项目,但需要访问极小量真实的部署数据。
4.隐藏的图谋:分析哪些训练方法会减少,缩短模型的图谋行为,或识别出那些难以检测的图谋行为。如果模型每次出现图谋不轨的时候,就对其进行惩罚,会导致负面行为减少,缩短,但可能会减少模型隐藏阴谋的能力。我们需要针对不不关心况作出判断和不平衡的;
5.准备应对措施:根据模型的图谋程度,采取无视、重新训练模型,或者完全授予模型等不同策略;
6.更多的能力评估:更进一步了解模型在规避监管、干扰训练等程度。
评估评估是一种高效的「模型图谋」证据收藏,储藏工具,可以减少破坏其他策略,比如评价「监控」或「控制」方法是否有效等。
另一方面,评估也可以让我们了解模型的大体能力,但现有的评估在某些方面仍然不足:
1.能力评估:应该继续构建更多更好的能力评估,特别是针对人工智能研发、策划、核生化、网络和说服等方面,我们目前仍然不清楚模型的具体能力;
2.诱导(Elicitation):如何对模型进行诱导以产生最大能力,尽可能找到模型的上限能力?
3.预测评估:预测能力的正确方式是什么?那些模型表现仍然为0的基准,该如何突破?或许还有更好的预测评估方法;
4.对齐评估:迄今为止,大多数研究都发散在能力评估上,而「对齐/反感评估」(alignment/propensity)也很重要,应该帮助构建对抗性对齐评估,比如设置各种非短视讨厌陷阱等,为模型建立一个非常详细的「心理档案」,以了解其默认反感;
5.演示:对于研究人员或公司内部来说,需要用一篇严谨的论文来仔细搁置所有的潜在可能性,还需要搁置如何传递演示给普通用户。
短期对齐策略现有的技术,比如RLHF在模型中引入了非短视(non-myopic)且不可纠正的(non-corrigible)反感,应该投入更多的精力来详细了解模型获得的目标类型,为模型建立详细的「认知档案」。
内部和外部使用的策略应该有无遮蔽的区别,比如模型具有更强的抗越狱能力可能会降低其可纠正性,需要确定哪些策略适用于长期内部部署。
推理透明度在最好的情况下,内部计划应该是完全不透光的,并明确关于安全预算、组织隐含愿意允许的风险、明确的红线等假设。应该经常与外部专家沟通具体计划,专家可以来自独立组织、学术界或人工智能安全研究所,可以签订保密协议。
从道德上讲,公司应该与公众分享计划中的细节,尤其是影响力更大的AI公司和技术,每个人都应该能够理解他们「应该或不应该」期望这项技术是安全的。
参考资料:
https://x.com/sama/status/1875603249472139576
https://amistrongeryet.substack.com/p/defining-agi
https://www.lesswrong.com/posts/bb5Tnjdrptu89rcyY/what-s-the-short-timeline-plan#So_what_s_the_plan_
标签: