日发期货

没想到，打开AI黑盒这件事，可能还要靠AI自己来实现了。

OpenAI的最新研究来了一波勇敢实验：

让GPT-4去注释GPT-2的行为模式。

效果显示，跨越1000个神经元的注释得分在0.8以上——也就是说GPT-4能明晰这些神经元。

要知道，“AI黑箱难题”耐久以来是一个热议话题，尤其是大语言模子领域，人类对其内部事情原理的明晰还异常有限，这种“不透明化”也进一步引发了人类对AI的诸多担忧。

现在推进AI可注释性研究的一个简朴设施，就是逐个剖析大模子中的神经元，手动检查以确定它们各自所代表的数据特征。

但对于规模已经到达百亿、千亿级其余大规模神经网络来说，事情量和事情难度就都涨了亿点点吧。

由此，OpenAI的研究职员想到，干嘛不让AI去自动化搞定这个大工程？

在这项最新的研究中，他们将GPT-4打造成了一个明晰AI行为模式的工具，把GPT-2跨越30万个神经单元都注释了一遍，并和现真相形比对举行评分。

最终天生的注释数据集和工具代码，已对外开源。

研究职员示意：未来，这种AI工具可能在改善LLM性能上施展伟大作用，好比削减AI私见和有害输出。

01 注释靠近人类水平

详细来看，整个研究的步骤可以分为三步。

*步，先给GPT-4一段文本，并展示GPT-2在明晰这段文本时激活的神经元情形。

然后让GPT-4来注释，这段文本中神经元的激活情形。

好比示例中给出了一段漫威复联的文本，GPT-4剖析的激活神经元为：

影戏、角色和娱乐

第二步，让GPT-4最先模拟，这些被注释的神经元接下来会做什么。

GPT-4给出了一段内容。

第三步，让GPT-2真实的神经元激活来天生效果，然后和GPT-4模拟的效果举行比对，研究职员会对此打分。

在博客给出的示例中，GPT-4的得分为0.34.

使用这个设施，研究职员让GPT-4注释了GPT-2一共307200个神经元。

OpenAI示意，使用这一基准，AI注释的分数能靠近人类水平。

从总体效果来看，GPT-4在少数情形下的注释得分很高，在0.8分以上。

一家 260 亿美元的巨头，还是决定离开中国

他们还发现，差异层神经元被激活的情形，更高层的会更抽象。

此外，团队还总结了如下几点结论：

若是让GPT-4重复注释，它的得分能更高

若是使用更壮大的模子来注释，得分也会上升

用差其余激活函数训练模子，能提高注释分数

总结来看就是，虽然GPT-4现在的显示一样平常，然则这个方式和思绪的提升空间尚有很大。

团队也强调，现在在GPT-2上的显示都不太好，若是换成更大、更庞大的模子，显示也会对照堪忧。

同时这种模式也能适用于联网的LLM，研究职员以为可以通过简朴调整，来弄清晰神经元若何决议搜索内容和接见的网站。

此外他们还示意，在确立这个注释系统时并没有思量商业化问题，理论上除了GPT-4，其他LLM也能实现类似效果。

接下来，他们计划解决研究中的这几个问题：

AI神经元行为十分庞大，但GPT-4给的注释异常简朴，以是有些庞大行为还无法注释；

希望最终自动找到并注释庞大的整个神经回路，神经元和注重力头一起事情；

现在只注释了神经元的行为，但没注释行为背后的机制；

整个历程算力消耗伟大。

02 网友：快进到AI缔造AI

意料之中，这项研究马上在网络上引发烧议。

人人的脑洞画风be like：“AI教人类明晰AI。”

“AI教人类关掉AI中存在风险的神经元。”

尚有人最先畅想，AI明晰AI会快速生长为AI训练AI（已经最先了），然后再过不久就是AI缔造新的AI了。

固然这也引发了不少担忧，究竟GPT-4自己不照样个黑盒嘛。

人类拿着自己不明晰的器械，让它注释另一个自己不明晰的器械，这个风险emm……

这项研究由OpenAI卖力对齐的团队提出。

他们示意，这部门事情是他们对齐研究的第三大支柱的一部门：

我们想要实现自动化对齐。这种想法一个值得思索的方面是，它可能随着AI的生长而扩展更多。随着未来AI模子变得越来越智能，我们也能找到对AI更好的注释。