猫眼电影
猫眼电影记者 王思 报道P6F3X2M7T9QJ8L1B4WZR
闻乐 发自 凹非寺量子位 | 公众号 QbitAI
好夸张……
参赛大模型全军覆没，通通0分。
谢赛宁等人出题，直接把o3、Gemini-2.5-pro、Claude-3.7、DeepSeek-R1一众模型全都难倒。
到底是什么让一众领先模型一败涂地？
LiveCodeBench Pro：一个包含来自IOI、Codeforces和ICPC的竞赛级编程问题的实时基准测试。
题库还每日更新，来预防LLMs“背题”，不得不说这太狠了（doge）。
谢赛宁虽然也参与了这项工作，但他谦虚地说自己只是个啦啦队成员。
此前有报道称，LLM编程现在已超越人类专家，但本次测试结果表明并非如此。
表现最佳的模型，在中等难度题上的一次通过率仅53%，难题通过率更是为0。
即使是最好的模型o4-mini-high，一旦工具调用被屏蔽，Elo也只有2100，远低于真正大师级的2700传奇线。
谢赛宁表示：
击败这个基准就像AlphaGo击败李世石一样。我们还没有达到那个水平——甚至对于有明确可验证结果的问题也是如此。
LiveCodeBench Pro：动态题库考验LLMs算法逻辑深度测试是如何构建的
该基准由一众奥林匹克获奖者构建，在比赛结束后立即收集每道Codeforces、ICPC和IOI题目，在互联网上出现正确答案之前捕获每个问题。
每日更新题库，以减少数据污染，保证评估环境的真实性与挑战性。
测试收录了584道顶流竞赛题，团队手动对每个问题进行标注，标注内容包括解决每个任务所需的关键技能，并根据问题的认知焦点将题目分为知识密集型逻辑密集型观察密集型三大类。
还将题目分为三个难度级别，这并非是人工挑选的，而是通过正态分布自动选择
例如，所有Codeforces问题的评分在2000分以上的都会被归入困难等级。
模型具体表现
团队会基于题目背后的算法思想进行分类，记录Codeforces官方难度评级（对应Elo分数下50%的成功率），同时梳理关键观察点、常见陷阱及边缘案例，为评估提供多维度参考。
在测试过程中，团队对模型和人类专家提交的每个解决方案，记录其判定结果（如通过、答案错误、超时等），并标注根本原因（思路层面错误或实现层面错误）。
如果代码无法通过题目自带的样例输入输出，会标记 “样例未通过”。
结合题目分类与提交结果，对比人类专家的解题模式，分析模型在不同难度（简单 / 中等 / 困难）、题型（知识密集型 / 逻辑密集型 / 观察密集型）下的表现，定位模型在算法推理、样例利用及边缘案例处理等方面的短板。
团队一共测试了22款大模型，并根据表现给出了完整榜单，大家可以自行查看任何一个模型在每一个问题上给出的解决方法。
同时绘制了每一个模型的评分趋势，可供自由选择想要了解的模型。
测试结果显示
模型在知识密集型和逻辑密集型问题上表现更好，擅长 “死记硬背”（如数据结构模板），但在观察密集型问题或案例工作中表现较差，搞不定 “灵光一现” 的贪心、博弈题。
与人类相比，o3-mini 等模型在精确、无错误的实现方面展现出更高级的技能，但在算法设计方面逊色。
LLMs擅长实现类问题，但在需要精细算法推理和复杂案例分析的题目上表现欠佳，还常给出看似正确实则错误的解释。
LLMs经常无法正确通过题目提供的示例输入，显示其对给定信息的利用不充分。
LLMs很大程度上依赖工具增强（如终端访问、网络搜索），而非自身推理能力。
团队还增加了尝试次数（pass@k），并发现这样可以显著提升LLMs在中简单题的表现，但对难题依旧无力。
比如，通过增加o3-high模型的尝试次数来测试其性能，但无论尝试多少次，它仍然无法解决任何一个困难分区的题目。
启用推理功能后，LLMs在组合数学等知识密集型题目中提升明显，但在观察密集型题目中提升有限。
研究员还透露，每个季度，团队都将发布一个完全全新的评估集，保证数据的时效性。
团队超半数成员为华人
LiveCodeBench Pro团队由一众奥林匹克竞赛得奖者组成，其中超半数成员为华人。
该项目的主要负责人郑子涵毕业于成都外国语学校，现于纽约大学本科在读，曾代表纽约大学参加ICPC世界总决赛，获得第二名。
他先后在腾讯、英伟达担任研发实习生，今年2月份以实习生的身份进入OpenAI。
另一位负责人柴文浩于2023年在浙江大学完成本科学业，硕士就读于华盛顿大学，今年9月将前往普林斯顿大学计算机科学专业就读博士。
他曾于Pika Labs和微软亚洲研究院实习，先前研究主要涉及视频理解和生成模型。
他领导开发了MovieChat，这是第一个用于长视频理解的超大多模态模型。
并且，他在ICLR、CVPR、ICCV等顶会期刊发表过相关研究论文。
该项目的其他参与者分别来自加州大学、普林斯顿大学等，这是一支非常年轻的队伍。
论文地址：https://arxiv.org/abs/2506.11928项目地址：https://github.com/GavinZhengOI/LiveCodeBench-Pro排行榜：https://livecodebenchpro.com/
[1]https://x.com/ZihanZheng71803/status/1934780656665677928[2]https://x.com/rohanpaul_ai/status/1934751145400111572[3]https://x.com/sainingxie/status/1934786355969851630
— 完 —
??时事1：男人桶女人桶爽30分钟免费
??06月20日,中国外交部举办海南自由贸易港全球推介活动,
每一分辛劳都有一分收获 ，每一次的痛苦都是快乐的开始。既然已走上了运动�。睦锞筒灰嘞耄还艹白�。你的汗水，洒在跑道，浇灌着成功的花 朵;你的欢笑，飞扬在赛场，为班争光你最棒;你的身影是跑道上的风景，矫健的步伐迈出你的自信!加油啊，健儿们!
,森泽佳奈主演的电影在线放映。??06月20日,旅俄大熊猫“喀秋莎”迎来一周岁生日,
2、强化调查研究，发挥参谋作用。办公室发挥参谋助手作用，就必须深入实际，深入基层，搞好调查研究。一要抓“大”，就是要围绕党委工作重点，对重大经济发展战略问题以及事关全局的重大问题，组织力量，进行深入细致的调查研究，及时向党委提供有内容、有分析、有建议、有重要参考价值的调查，为党委议大事、定大局提前谋划，超前服务。比如，如何抢抓沿江开发机遇，进一步加快我区开放型经济发展;如何做好“商贸兴区”文章，引导改制区属企业“退二进三”，进行“二次创业”，等等，都值得我们深入研究和探讨。二要抓“新”，就是要围绕经济社会发展过程中出现的新情况、新问题进行选题，着眼于我区改革发展稳定的新成绩、新探索，注重抓好典型调研，及时发展和总结在实践中创造的新鲜经验，用以指导实践，推动工作。比如，在舆论引导方面，我们就可以对区属企业开放式改制的做法、乡镇招商引资的经验以及民营企业艰苦的创业历程等进行总结推广，起到宣传先进、学习先进的效果。三要抓“专”，就是要围绕党委每个时期关注的问题以及带有普遍性、倾向性、苗头性的问题，组织专题调研，为党委了解基层情况、进行科学决策提供服务。比如，全区各项工作部署，在基层究竟落实得怎么样?群众在生产、生活上迫切要求解决什么问题?基层干部的作风如何?这样通过访贤于百姓，问计于基层，求知于实践，使调研成果具有更强的思想性、政策性、建设性和可操作性，迅速转化为党委决策，推动工作的开展。
,白丝校花🌸自慰到爽蜜乳,Naruto❌sarada18禁Comic,欲漫涩网站免费入口ios。??时事2：强奷少妇果冻传媒
??06月20日,关注红海局势：美军称扣押一艘向胡塞武装提供武器的船只,
最后，祝各位领导、各位来宾、各位朋友身体健康、事业有成、万事如意;祝建筑装饰公司开张大吉、生意兴隆、财源广进。
,小🐤🐤进入女生的🍑🍑,利用时间静止狂C美女,av秘密㊙️入口一二三四五区。??06月20日,文化中国行丨在大巴扎听“海”的声音,
群兽暴动，大到几十米，小到几尺，仅一眨眼就足有数百头出现，都是强大的族类，不然也不敢冲击，像是一股洪潮一般涌来，疯狂吼叫。
,羞答答🈲精成人品在线观看,韩漫被❌到爽🔞流小说,国产精品天干天干在线播放。??时事3：成人扒开🍑伸进🍌❌动漫
??06月20日,“广东制造”国产汽车出口再添新通道,
“嗡”的一声，天地剧颤，一只可怕的大爪子横空而来，击向小红鸟，神光澎湃，如惊涛拍岸，浩瀚无边。这是一次袭杀，那矗立世间、耸入云层上的生灵，眸子碧油油，突然发动攻击，舍弃持铁棍的对手，攻向小红鸟。
,中国肥老太槡BBB,无码激情18🈲️激情视频,JIZXXXX😍50HD。??06月20日,建行多个项目荣获首届产融合作数据模型算法大赛奖项,
“小兄弟话不能这样说，东西已经在我们手里，你已经同意了。”对面的人笑道，一副你能奈我何的样子。
,海贼王娜美爆乳玉腿❌❌,免费韩漫无遮羞嘿嘿漫画软件,调教婬奴女警花H文。??时事4：扒开胸罩狂揉出奶水
??06月20日,写春联、做团扇 澳大利亚华裔青少年在皖体验中华传统文化,
不要说是他，就是雨蒙也在惶恐，走来走去，心中怕到了极点，事情闹大了，根本就不是他所能捂得住的，那是石族的祖地，不容亵渎。
,大炕偷乱大肉楱,芙宁娜被爆❌自慰流水,无尽裸体玩尿孔。??06月20日,特写：赶路三四天 只为一场那达慕的赶驼人,
石昊能举起千斤重的铜鼎，全力掷出铁矛，穿透力可怕的惊人，刺向青鳞鹰的眸子。铁矛横空，发出呼啸声，挤压的空气都在跟着轰鸣！
,米塔被❌吸乳,巨胸爆乳❌❌❌在线看,❤成人漫画❤入口爆乳。责编：马朝旭
审核：卞仲耘
责编：董丽边