第(3/4)节 达很快明白这位谷歌研究员的意思，也在几经思索后给予反驳：“自注意力没有显式地编码位置信息，这就意味着如果以它为核心的模型无法区分序列中相同词语在不同位置的意义差异，而在自然语言的处理中，词语的语义又与位置紧密相关。”

    “而且，自注意力模型必然因为序列中每对元素计算的注意力权重而有巨大的参数量，这极可能导致过拟合。”

    他这边刚说话，谷歌自家dl的席尔瓦也反驳了乌思克尔特提出的新路线，其中一个重要原因在于rnn的循环结构太符合大家对序列数据处理的理解，即当前状态依赖于过去的信息，而自注意力的全局依赖一看就不如rnn直观。

    易科与谷歌的两大领导者都批评了自注意力self-attention，但乌思克尔特并不服气，他直接登台阐述自己更多的想法。

    而且，针对吴恩达与席尔瓦抨击的缺点也给出一些解决思路，比如，引入位置编码，比如，进行多头注意力的研究。

    有人觉得眼前一亮，有人觉得异想天开，还有人现场进行快速的分析和演算。

    第一排的方卓极其茫然，他扭头询问旁边沉思的英伟达掌门人黄仁勋：“他们在讨论什么？”

    “乌思克尔特说，gpu是最适合深度学习技术的硬件。”黄仁勋给出一句总结。

    方卓：“？？？”

    他纳闷道：“我怎么完全没听到类似的表述？”

    “因为自注意力self-attention更加强调并行处理，这是gpu更擅长的。”黄仁勋笑道，“至于其他的，不重要，我们只要提取对我们有利的就好。”

    方卓观察着现场的气氛，这已经不是知识的交流，更像是知识的火拼了。

    他默默的收起自己在这种场合本就不多的存在感。

    只是，等到晚上，方卓还是当面询问了这次参与辩论的吴恩达，想知道这场面红耳赤的讨论都有些什么东西。

    吴恩达真的很难和方总解释发生了什么。

    “方总，等我们想一想再写一份报告吧。”他思考许久之后由衷地说道，“这样的交流或许应该多来几次，他那个自注意力，我现在想想，缺点也不是不能解决。”

    方卓耐心的询问：“那我们应该做些什么？”

    吴恩达回味今天的整场辩论，思考着不同人提出的不同想法，喃喃道：“或许，我们需要先试试一种新型软件，让它可以和计算机对话。”

    方卓“嗯”了一声，表达一贯的支持：“行，开始吧。”

    吴恩达哭笑不得，真心地说道：“方总，你给我们的支持真的太优渥了。”

    “我也就只能给我所能给的东西。”方卓笑道，“试试呗，如果人手不够，那就国内再招招人，我是朴素的认知哈，既然能引起争论，新的东西就有可取之处。”

    吴恩达竖起拇指，喜欢老板的这种支持。

    只是，易科的现状并不是那么美妙。

    他提出了这方面的小小担忧。

    方卓不以为意地说道：“你们这些投入才多少钱，正好英伟达的一批gpu快到货了，先用看吧，我看黄仁勋今天笑得特别开心。”

    吴恩达要不是不擅长搞商业的事情，恨不得赤膊上阵帮易科卖货了。

    不过，他虽然不能卖货，但易科与谷歌还有硅谷公司们的交流热度直接进一步稳住了公司的股价。

    易科看起来是有扎实的研发的，尽管不知何时能有商业价值，但ai在围棋领域击败人类无疑是一次实打实的突破。

    易科股价已经跌得足够惨了，难道现在还不够吗？

    针对媒体里出现的这种声音，rc对冲基金的拉塞尔颇有些气急败坏，他和一帮空头同样在关注易科近期与谷歌等公司的交流，但是，并不认可这个领域对易科股价的提升。

    不仅如此，拉塞尔还请来了美国厂商杜邦公司的高层康博恩，让专业人士对易科与冰
第(3/4)节