猫眼电影
猫眼电影记者 布拉德利 报道P6F3X2M7T9QJ8L1B4WZR
R-KV团队 投稿量子位 | 公众号 QbitAI
推理大模型虽好，但一个简单的算数问题能推理整整三页，还都是重复的“废话”，找不到重点……
一种可以把大模型的“碎碎念”转化为可控记忆条目的高效压缩方法，出现了！
R-KV开源登�。合源妗�90%、吞吐×6.6、准确率=100%。
它可以通过实时对token进行排序，兼顾重要性和非冗余性，仅保留信息丰富且多样化的token，从而解决大模型推理时的冗余问题。
让“长时间推理”不再是奢侈品。
项目详情可见文末链接。
R-KV三步走：冗余识别+重要性评估+动态淘汰
链式思考（Chain-of-Thought,CoT）让LLM解题思路清晰可见，却也让推理长度指数级膨胀。
以DeepSeek-R1-Llama-8B为例，一道AIME数学题就能写出3.2万个Token：模型权重15.5GB，KV缓存再吃4.1GB——显存瞬间见底。
现有KV压缩方法（SnapKV、StreamingLLM、H2O等）主要针对长输入设计，可一旦模型在输出端开始“碎碎念”，相似句子之间互相打高分注意力，反而让“按注意力删低分”策略失灵：
造成关键步骤被误删、重复内容却被保留、准确率断崖式下跌等问题。
而R-KV通过以下步骤，在模型解码时实时压缩KV缓存来处理冗余的键/值（KV）标记，仅保留重要且非冗余的标记：
边生成边压缩（Decoding-Time Compression）Token还没写进KV，就先判断“去留”，彻底阻断显存膨胀。重要性打分（Importance）多头注意力综合评估，每个Token对后续答案的贡献度。冗余打分（Redundancy）计算Key向量余弦相似度，找出“复读机”式内容。联合淘汰（Joint Eviction）按「高重要+低冗余」优先级实时调度KV配额，λ≈0.1时效果最佳。
整个流程训练-free、模型-agnostic，无需改动模型结构，直接“即插即用”。因此可以直接被用到强化学习的采样过程中，非常灵活。
可视化：R-KV vs. SnapKV
上图展示了R-KV和纯注意力基线SnapKV在相同解码步骤中选择了哪些token。灰色＝未�。挥汕车缴詈欤奖辉蕉嘧⒁饬ν费≈�。
可以看到，SnapKV关注点集中在离当前Query最近的局部片段，甚至重复保留多次「3 students are leaving early…」等无用自述。
而R-KV选出的Token横跨整段推理：题目关键词30 students，关键中间值24,12及最终答案全部被保留，此外语义覆盖面更广。
通过结合注意力强度与冗余过滤，R-KV保留了重要上下文并去除噪声，成功完成任务；而SnapKV误删关键信息导致答案错误。
得到结果：R-KV有更广泛的覆盖范围、更高的信息多样性和更显著的去冗余能力。
性能测试：准确率不降反升
可以看到，R-KV在具有挑战性的数学基准测试中大幅超越了基线，甚至超过了完整的KV。
在计算开销上，R-KV引入了重要性评分和冗余评分的额外计算，但总体开销适中，通常会被压缩KV缓存带来的注意力成本降低所抵消。随着序列长度的增加，这种权衡变得越来越有利。
对内存节省和端到端吞吐量提升进行实时分析，可以看到，当批处理大小为1时，R-KV在吞吐量上略优于FullKV。这表明R-KV通过减少注意力计算所实现的加速效果超过了R-KV自身的计算开销。
然而，这种直接的速度提升仅占整体收益的一小部分，R-KV带来的主要吞吐量提升来自于KV缓存压缩，使模型能够支持显著更大的推理批处理大小。
对基于比例和固定KV缓存预算的端到端吞吐量进行评估，发现R-KV始终能够实现比FullKV大得多的批处理大小和更高的吞吐量，同时不损失任务性能。
R-KV的适用场景如下：
边端设备长链推理显存断崖缩减，让消费级GPU甚至手机NPU也能跑多轮Agent反思-重写-自评等复杂流程不再受显存限制。直接用于加速强化学习的采样过程training-free的方法即插即用。
论文PDF：https://arxiv.org/pdf/2505.24133.pdf项目主页：https://zefan-cai.github.io/R-KV.page/代码仓库：https://github.com/Zefan-Cai/R-KV
??时事1：国产传媒婬乱A片毛片午夜片视频
??06月23日,美议员称支持乌克兰能使西方国家使用乌矿产 中方：说出了美方真实考虑,
要树立经营城市的理念，将“有多少钱办多少事”观念更新为“有多少事力争筹多少钱”。把经营理念贯穿于城市规划、建设和管理的全过程，积极探索城市资本营运的有效途径，坚持用“四化”的思路来运作。一是坚持城市资源资本化。土地资本是城市最重要的资本和最具潜力的资本。政府要垄断土地一级市�。晟仆恋厥展捍⒈钢贫龋骋蛔橹�、出让、拍卖，以地生财，以地建城。要结合各地的不同情况，大胆探索多元制有偿供地模式，通过实行国有土地年租制、国有土地使用权租赁、国有土地使用权作价或入股、国有土地置换、集体土地农用地转用等多种形式，盘活存量，实现土地收益最大化。在这方面，做得不错。城市基础设施包括供水、能源、道路、绿化、公交、电视、信息传输、排污与排水处理等也是一种资源，都可以通过招商引资、托管经营、股权转让等形式进行营运。县水厂、县污水处理厂都是采取模式引资兴建的。城市的无形资本，包括冠名权、广告发布权、公交线路经营权等，可以通过拍卖等方式实行有偿使用，从而盘活资产，增加政府收益。二是坚持城市建设市场化。要把城市看作是一个资本技术密集型的产业形态，不断提高城市建设的市场化程度。要引入竞争机制，开放建筑市�。⑼晟普斜�、投标办法，确保公平、公正、公开，杜绝暗箱操作。要把城镇基础设施作为产业来经营，在政府、企业和投资者之间建立一种互动、互利、互惠的机制，促进城市基础设施建设可持续发展。三是坚持城市经营公司化。城市经营的任何一个项目，都要实行公司化运作，实行业主制，明确投资主体和产权主体。供水、供电、供气、公共交通、环卫、园林的经营，要以企业为主体，企业自主经营、自负盈亏，进一步加快全市建设系统事业单位改革步伐，逐步建立和实施作业市场的综合承包制度，切实做到事企分离、管养分离。四是坚持投资主体多元化。实行投资主体多元化是解决资金问题的重要途径。通过政府、集体、个人一起上，内资外资一起投，构筑多元化的投资格局。其一项目融资。把具有较好经济效益的城建项目推向市�。üㄒ等谧驶购妥时臼谐∥缁嶙时局苯油蹲剩扇∠钅看蚶Ψ绞剑┐笠写�。其二政策融资。要充分发挥财政资金投入的导向、示范和催化作用，把有限的财政资金用在刀刃上。其三招商引资。进一步优化投资环境，吸引更多资金投入到城市建设项目中。其四启动民资。放宽民间资本准入领域，凡是国家没有明令禁止的都允许其参与经营，吸引更多民间资本进入市政设施建设。县实施中小学后勤服务社会化管理，吸纳民间资金万元。其五负债借资。借鸡下蛋，借钱生钱。适度的、必要的负债建设，可以达到“花明天的钱办今天的事”的效果，促进城市建设。
,汤姆维的色角。??06月23日,庆祝中法建交60周年暨中法文化旅游年开幕音乐会举办,
小不点头都没抬，直接接受了人家的“好意”，脆声道：“要，给我一柄两万斤的锤子。”
,国产做受69❌❌❌霉霉视频,看黄片的极品少妇swag,龙卷被❌到爽🔞奶头。??时事2：日本婬妇❌❌❌❌❌69
??06月23日,文化中国行丨世上唯一的金属绣！感受苗族锡绣背后的时尚密码,
“咯唧”轻笑声传来，很动听，站在雪羽上、悬于空中的两个小姑娘前仰后合，笑的很欢乐，她们虽然穿着不一样，但长相一致，肌肤莹白，美丽出尘，大眼瞟来瞟去，非常水灵。
,灰原哀㊙️黄漫免费漫画,极品人妖高潮,七十路の高齢熟女千代子泳装写真。??06月23日,从舞台到大银幕 《只此青绿》主创讲述如何舞绘“千里江山图”,
天空中的黑色凶禽，一双银色的眸子光芒炽盛，飞出一道道光束，如一支支巨大的银箭般，铿锵作响，皆长达十几米，冲射而来。
,揉我奶头啊嗯高潮A,被主人各种玩具姿势C到爆漫画,原神芙宁娜裸体❌喷水。??时事3：苹果手机如何截出❤截图
??06月23日,中德合作有利于全球经济稳定发展,
“真漂亮！”小不点石昊眨巴着大眼睛，长长的睫毛随之而颤，看着三枚凶禽卵温润晶莹、光泽点点，忍不住欢喜，他最为年幼，好奇心很重，很想抱起来看个仔细。
,www🔞裸玉足.com久久久,玩弄银龙王粉嫩的小奶头小说,原神胡桃18❌黄网站。??06月23日,【百万庄小课堂】种植牙费用下降 这些有关种植牙的知识你知道吗？与迷彩军营的三年之约：他们二次入伍,
这一次，他深吸了一口气，蹲下身来，摩挲一块骨，而后猛然用力，想震裂石面，将符骨弄出来。
,私奴sM虐暴虐调教惨叫,少年骇客同人网站,男男肉H边做边尿失禁H。??时事4：宁荣荣赤裸❌❌无遮挡
??06月23日,火箭专家描绘中国商业火箭“四步走”蓝图,
�、� 部分设备陈旧，使用年限过长，装备能力尚需加强。
,2024在线无码精品㊙️入口,久久久夜色精品亚洲AV闺蜜,红桃影院成人网站m3u8。??06月23日,水利部针对8省启动干旱防御Ⅳ级应急响应,
“封鼎！”石云峰喝道，村人取来那黑乎乎的巨大鼎盖，几个人合力将其盖好，严丝合缝。
,男男双性顶撞喘嗯啊H漫画软件,蘑菇视频1.3.4.,jojo徐伦裸体奶头照片。责编：王小明
审核：宫鲁鸣
责编：赵霞仇