上下文

月之暗面 Kimi 开放平台“上下文缓存”开启公测：首 Token 延迟降低 83%、适用于文本重复引用场景 IT之家 7 月 1 日消息，月之暗面今日官宣 Kimi 开放平台上下文缓存（Context Caching）功能开启公测。官方表示，该技术在 API 价格不变的前提下，可为开发者降低最高

Transformer 王座即将被取而代之！Meta、USC、CMU 和 UCSD 联合提出了革命性新架构 Megalodon，能够处理无限上下文，在 2 万亿 token 训练任务中，性能超越 Llama2-7B 实现了非凡的效率。继 Mamba 之后，又一敢于挑战 Transformer 的架构

Gemini 1.5 的真实水平到底怎么样，从谷歌那里获得试用资格的大佬们，给大家进行了一波极限测试。让我们看看谷歌最新推出的大模型到底有多强的实力。当谷歌 Gemini 1.5，遇上抢了它头条的「罪魁祸首」Sora 会怎么样？这两天，拿到内测资格的 AI 圈大佬们，纷纷给广大网友来了一波在线测试。

各家大模型纷纷卷起上下文窗口，Llama-1 时标配还是 2k，现在不超过 100k 的已经不好意思出门了。然鹅一项极限测试却发现，大部分人用法都不对，没发挥出 AI 应有的实力。AI 真的能从几十万字中准确找到关键事实吗？颜色越红代表 AI 犯的错越多。默认情况下，GPT-4-128k 和最新发布