注意力

谷歌大改 Transformer，“无限”长度上下文来了。现在，1B 大模型上下文长度可扩展到 1M（100 万 token，大约相当于 10 部小说），并能完成 Passkey 检索任务。8B 大模型在 500K 上下文长度的书籍摘要任务中，拿下最新 SOTA。这就是谷歌最新提出的 Infini-

关于大模型注意力机制，Meta 又有了一项新研究。通过调整模型注意力，屏蔽无关信息的干扰，新的机制让大模型准确率进一步提升。而且这种机制不需要微调或训练，只靠 Prompt 就能让大模型的准确率上升 27%。作者把这种注意力机制命名为“System 2 Attention”（S2A），它来自于 20

北京时间10月21日，NBA常规赛继续进行，湖人主场97-103不敌同城对手快船。 湖人球员詹姆斯接受了媒体的采访，在谈到快船的表现时，詹姆斯表示：“对于我们来说，我们现在还不应该去过多的考虑别人，我们应该把注意力放在自己的身上。” 在输给快船之后，湖人新赛季已经迎来了两连败。 本场比赛，詹姆斯出场

今天带两个大宝贝外出在小区玩，本来应该大宝领着二宝的，可是二宝却死活不肯走，一直拦在我的前面不肯走，非让我去抱他。 基本上每次出去，二宝都是这样，一步都不走，每次都是我们大人抱着才可以完成每天的外出活动。 生活中父母似乎都会有这样的经历，一般父母也都会满足。毕竟孩子小，抱抱也没有什么用。而且很多时

据美国《纽约时报》28日报道，美国前总统特朗普的前新闻秘书格里沙姆在其书中写道，2019年美俄总统在日本会晤时，她与时任总统特朗普的俄罗斯问题顾问菲奥娜·希尔注意到，俄总统普京的翻译是一名黑发女孩，长发飘飘，面容姣好，身材迷人。菲奥娜·希尔推测，普京专门选择这样一名迷人的黑发美女作为翻译，以期分散特

据美国《纽约时报》28日报道，美国前总统特朗普的前新闻秘书格里沙姆在其书中写道，2019年美俄总统在日本会晤时，她与时任总统特朗普的俄罗斯问题顾问菲奥娜·希尔注意到，俄总统普京的翻译是一名黑发女孩，长发飘飘，面容姣好，身材迷人。菲奥娜·希尔推测，普京专门选择这样一名迷人的黑发美女作为翻译，以期分散特

本文解读的是论文《Bidirectional Attention Network for Monocular Depth Estimation》，论文作者来自华为加拿大 …