欧博abg(官网)游戏·会员登录入口

  • 当前位置：欧博abg > 电脑游戏 > 手游电脑版 > 经营养成 > 不打马赛手抓欧派网站PC端下载

    不打马赛手抓欧派网站最新版下载

    版本：v9.337.938119 大�。�1.69MB 语言：简体中文 类别：经营养成
    • 类型：国产软件
    • 授权：免费软件
    • 更新：2025-06-18 20:31:42
    • 厂商：秒收秒排科技有限公司
    • 环境：Windows11,Windows10,Windows8,Windows7
    • 本地下载
    8.8
    0% 0%

    详情介绍

    不打马赛手抓欧派网站官方版下载是一款模拟经营策略游戏，该版本玩家可以直接通过安卓模拟器在电脑上安装体验。该游戏采用唯美的水墨画风，将中国风元素融入游戏场景，为玩家带来极致的视觉享受，让您沉浸其中，感受P6F3X2M7T9QJ8L1B4WZR之美。在游戏中，玩家将扮演一位祖师，开宗立派，培养一众有趣的弟子，帮助他们渡劫成仙。每位弟子都拥有独特的命格和属性，个性迥异，让您体验到千奇百怪的修仙生活。

    与此同时，不打马赛手抓欧派网站电脑版下载「含模拟器」还拥有独特的挂机机制，您可以将游戏放置在后台，解放双手，让弟子们自动修炼、渡劫，贴心呵护您的修仙门派。宗门地产建设也是游戏的重要内容，您可以自由摆放，打造属于自己的修仙宗门，创造仙门人的理想家园。从山海异兽到一石一木，处处充满着古韵仙风，让您仿佛置身于修仙小说般的仙境之中。

    GPT-5训练背后隐藏大佬：靠一篇博客入职OpenAI特色

    智东西编译 李水青编辑 心缘

    智东西6月16日消息，今天，AI云服务商Hyperbolic的联合创始人兼CTO Yuchen Jin在社交平台X上曝料：研究员Keller Jordan仅凭一篇博客文章就加入了OpenAI，并可能正用博客提及的神经网络隐藏层的优化器Muon训练GPT-5。

    “许多博士（包括以前的我）都陷入了这样一个误区：认为在顶级会议上发表论文才是最终目标。但发表论文≠影响力。Muon只作为一篇博客文章发布，它让Keller加入了OpenAI，他现在可能正在用它训练GPT-5。”Yuchen Jin说。

    ▲Yuchen Jin的X推文及Yuchen Jin的自述

    Yuchen Jin提及的这篇博客发布于2024年12月，题为《Muon：神经网络隐藏层的优化器（Muon: An optimizer for hidden layers in neural networks）》。

    博客地址：https://kellerjordan.github.io/posts/muon/

    从职场社交平台领英可知，Keller Jordan正是在2024年12月加入OpenAI，由此我们也可以推测他正是凭去年12月发布的一篇博客，成功进入了如日中天的头部大模型企业。

    这篇博客厉害在那儿？Muon凭什么成为OpenAI的敲门砖？让我们从这篇博客文章内容说起。

    一、Muon定义：一个神经网络隐藏层的优化器

    Muon是神经网络隐藏层的优化器。它被用于NanoGPT和CIFAR-10的快速运行，刷新了当时训练速度的记录。

    Keller Jordan的博客文章主要关注Muon的设计。首先他定义了Muon并概述其在当时已取得的实证结果；然后他详细讨论了Muon的设计，包括与先前研究的联系以及对其工作原理的最佳理解；最后他讨论了优化研究中的证据标准。

    具体来说，Muon是一个针对神经网络隐藏层二维参数的优化器，其定义如下：

    其中“NewtonSchulz5”定义为以下Newton-Schulz矩阵迭代：

    使用Muon训练神经网络时，应使用AdamW等标准方法优化网络的标量和矢量参数以及输入层和输出层。Muon可用于四维卷积参数，方法是将其最后三个维度展平。

    Muon取得了以下实证成果：

    1、将CIFAR-10上的训练速度记录提高到94%准确率，从3.3秒提高到2.6秒。

    2、将FineWeb（一项称为NanoGPT快速运行的竞赛任务）上的训练速度记录提高至3.28 val loss，提高了1.35倍。

    3、在扩展到774M和1.5B参数的同时，继续显示训练速度的提升。

    4、在HellaSwag上用10个8xH100小时训练了一个1.5B参数转换器，使其达到GPT-2 XL级别的性能。使用AdamW达到相同结果则需要13.3小时。

    以下是针对NanoGPT快速运行的不同强力优化器的比较：

    ▲按样本效率比较优化器（可复现日志：https://github.com/KellerJordan/modded-nanogpt/tree/master/records/102924_Optimizers）

    ▲按挂钟时间比较优化器

    此外，以下是Muon和AdamW在训练15亿参数语言模型时的对比。两个优化器均已进行调整。

    ▲Muon与AdamW在15亿参数短时间训练中的对比（可复现日志：https://github.com/KellerJordan/modded-nanogpt/tree/master/records/102024_ScaleUp1B）

    二、Muon设计：牛顿-舒尔茨迭代法作为后处理步骤

    Muon通过采用SGD-momentum生成的更新来优化二维神经网络参数，然后在将它们应用于参数之前，对每个更新应用 Newton-Schulz （牛顿-舒尔茨迭代法，简称NS）迭代作为后处理步骤。

    NS迭代的作用是使更新矩阵近似正交化，即应用下列操作：

    换句话说，NS迭代实际上用最接近的半正交矩阵替换了SGD-momentum的更新矩阵。

    为什么正交化更新可行？出于实证研究的动机，作者基于人工检验观察到，SGD-momentum和Adam对基于Transformer的神经网络中的二维参数产生的更新通常具有非常高的条件数。也就是说，它们几乎是低秩矩阵，所有神经元的更新仅由少数几个方向主导。

    作者推测，正交化有效地增加了其他“稀有方向”的规模，这些方向在更新中幅度较�。匝叭匀缓苤匾�。

    除了NS迭代之外，还有其他几种方法可以对矩阵进行正交化。但作者没有使用其中两种方法，他是如何排除的？

    一个是SVD方法，它太慢了，所以作者没有使用它。另一个是Coupled Newton iteration （耦合牛顿迭代法），它必须至少以float32精度运行才能避免数值不稳定，这导致它在现代GPU上运行速度较慢，所以作者也没有采用。

    相比之下，作者发现NS可以在bfloat16中稳定运行，因此选择它们作为正交化更新的首选方法。

    在Keller Jordan的实验中，当使用具有调整系数的Muon来训练Transformer语言模型和小型卷积网络时，只需运行5步NS迭代就足够了。

    此外，Keller Jordan还分析了Muon的运行时间和内存要求。对于典型的语言训练场景，无论规模大�。琈uon的FLOP开销都低于1%。

    三、Muon实证考虑：批判糟糕的基线，提出新方法

    根据设计，Muon仅适用于二维参数，以及通过展平的卷积滤波器，因此网络中其余的标量和矢量参数必须使用标准方法（例如 AdamW）进行优化。

    根据经验，Keller Jordan发现使用AdamW优化输入和输出参数也很重要，即使这些参数通常是二维的。具体来说，在训练Transformer时，应该将AdamW用于嵌入层和最终分类器头层，以获得最佳性能。嵌入层的优化动态应该与其他层不同，这遵循�？榛妒砺邸Ｊ涑霾愕恼庵侄膊煌馑坪醪⒎抢醋岳砺郏怯删榍�。

    另一个纯经验性的结果是，在他们测试的所有案例中，使用 Nesterov式动量对Muon的效果都比普通的SGD动量略好。因此，他们在公开的Muon实现中将其设为默认设置。

    第三个结果是，如果将Muon分别应用于变压器的Q、K、V参数，而不是一起应用于变压器，则Muon可以更好地优化变压器，因为对于将QKV参数化为输出被分割的单个线性层的变压器实现，默认做法是将它们一起应用。

    Keller Jordan认为，神经网络优化研究文献目前大多充斥着一堆已死的优化器，它们声称能够击败AdamW，而且往往以巨大的优势获胜，但却从未被社区采用。鉴于业界在神经网络训练上投入了数十亿美元，并渴望降低成本，他们可以推断，问题出在研究界，而非潜在的采用者。

    Keller Jordan犀利地提出：这项研究出了问题。仔细研究每篇论文后，他们发现最常见的罪魁祸首是糟糕的基线：论文在将其与新提出的优化器进行比较之前，往往没有充分调整AdamW基线。

    发表声称有巨大改进但无法复制/达到宣传效果的新方法，浪费了大量个人研究人员和小型实验室的时间、金钱和士气，他们每天都在为复制和构建此类方法的失败而感到失望。

    为了纠正这种情况，Keller Jordan建议采用以下证据标准：研究界应该要求，只要有可能，神经网络训练的新方法就应该在竞争性训练任务中取得成功。

    竞争性任务通过两种方式解决了基线欠调问题。首先，竞争性任务的基线是先前的记录，如果该任务很受欢迎，则很可能已经经过了良好的调整。其次，即使在先前记录未经过良好调整的不太可能发生的情况下，也可以通过新的记录进行自我修正，将训练恢复到标准方法。

    结语：全新优化器或成为GPT-5中的重要技术

    通过定义、拆解设计及实证研究，Keller Jordan发现了Muon神经网络隐藏层的优化器具备优于AdamW的效率。通过最新曝料可知，这一技术很有可能成为OpenAI正在研究的GPT-5的重要部分。

    Keller Jordan也提出了一些尚未解决的问题。包括：Muon可以扩展到更大规模的训练吗？是否有可能在大型GPU集群中正确分布Muon使用的Newton-Schulz迭代？Muon是否仅适用于预训练，而不适用于微调或强化学习工作负载？或许在GPT-5的研究中，作者已经知道了这些问题的答案。

    来源：X平台、keller Jordan博客

    游戏亮点

    1、丰富多彩的修仙玩法

    除了培养弟子和建设仙门外，游戏还包含了炼丹、炼器、仙田等多种修仙玩法，让玩家体验到修仙的方方面面。

    2、自由建设的仙门地产

    玩家可以自由摆放修仙宗门的建筑，打造属于自己的修仙家园，创造仙门人的理想世界。

    3、精美细腻的游戏画面

    游戏的画面精致细腻，每一个场景都充满了古典美感，让玩家仿佛身临其境，感受到修仙之美。

    4、社交互动的乐趣

    游戏内置丰富的社交系统，玩家可以与其他玩家组成联盟，共同对抗强敌，体验多人合作的乐趣，增加了游戏的可玩性和趣味性。

    游戏评测

    1、游戏玩法丰富，内容深度十足，给玩家带来了极佳的游戏体验。

    2、画面精美，场景设计唯美，让玩家沉浸其中，感受到了修仙世界的奇幻美感。

    3、挂机系统的设置贴心实用，解放了玩家的双手，让玩家更轻松地享受游戏乐趣。

    4、弟子个性化塑造突出，每个弟子都有自己独特的故事和特点，增加了游戏的趣味性和可玩性。

    更新日志

    v6.630.834514版本

    1.1调整问鼎苍穹席位赛的防守阵容设置规则，现在任何时候都可以调整防守阵容

    1.2优化天道树领悟道果时道果数量不足的获取提示，现在会自动打开道果宝箱，方便祖师快捷获取

    1.3优化新增仙法问道投资活动的购买提示，现在休赛期购买投资时，如果无法拿满奖励则会有二次确认提示

    1.4修复连续炼制同种丹药时，炼制材料的数量显示异常的错误

    下载地址

    • 电脑版
    • /安卓版
    不打马赛手抓欧派网站 v8.4.20
    本地下载通道：
    仅下载APK文件

    网友评论

    共0条评论
    （您的评论需要经过审核才能显示）
    ↑
    【网站地图】【sitemap】