【英文长推】有关下一代 LLM 的想法：哪些因素会对模型训练产生影响
Chainfeeds 导读：
很多观点认为，当前 LLM 模型正在碰壁，并没有像人们预期的那样取得巨大进步。在 NEAR Protocol 联合创始人 Illia 看来，期望单纯将大量随机文本扔给不断增大的模型就能实现巨大进步的想法很奇怪。事实上，特定规模的模型质量一直在稳步提高。本文分享了会对下一代模型训练产生影响的假设。
文章来源：
https://x.com/ilblackdragon/status/1868059039059308832
文章作者：
Illia (root.near)
观点：
Illia (root.near)：1. 不同的训练程序：目前，SGD 是一种迟钝的工具。它需要较低的学习率，以避免对新示例的过度拟合。反过来，每个信息单元需要在的上下文中展示 1000 次才能学会。 不同的训练程序可以专门更新少数示例的表征。将训练数据从简单的文章排序到更复杂的文章，以便在模型有更好的学习表征时增加对高密度信息的使用。o1 引入了花更多时间进行推理的想法，让模型有时间思考更难的问题。将其转化为更多的训练程序，模型会学习何时需要花更多时间思考，然后再根据自己对问题难度的理解来预测下一个标记。已经有一些这方面的工作，特别是 Quiet-STaR，但据我所知，没有人扩大规模。想法：学习优化器、规模化 Quiet-STaR 方法、课程学习、合成数据管道。 2. 检索，而不是死记硬背：当前的模型需要记住所有信息，才能有效预测随机文章中的下一个标记。取而代之的是预训练过程，即在上下文中提供事实信息，并利用这些上下文生成文章进行训练。想法：预处理步骤，使用现有模型为每篇文章生成事实表。 3. 主动学习：目前，模型只训练一次，永远不会更新，只能被从头开始训练的新模型取代。相反，模型可以随着时间的推移而主动更新 —— 例如持续的 RLHF。这就要求系统平衡人们输入的信息的正确性。有趣的是，最直接的应用是交易。想法：一个特定的应用程序，模型持续从用户反馈中学习。 4. 神经符号方法：当前的模型本质上是语义模型，在执行许多计算机已经非常擅长的事情时会遇到困难，比如做数学运算或执行一系列操作。使用符号协处理器（工具）允许模型进行数学运算、推理、规划和神经符号知识图谱。 在某种程度上，代理框架提供了这一功能的早期版本，但并没有进行太多的调整 / 微调，也没有与模型运行的符号进行更紧密的整合。想法：形式验证证明器、有趣的数学搜索、微调端到端代理行为。【原文为英文】
内容来源
免责声明：文章中的所有内容仅代表作者的观点，与本平台无关。用户不应以本文作为投资决策的参考。
你也可能喜欢
PENGUUSDT 现已上线合约交易和交易BOT
Bitget 已于2024年12月18日（UTC+8）上线 PENGUUSDT 合约交易，最大杠杆为75倍，合约交易BOT将同步开放。 欢迎通过我们的官方网站或 Bitget APP 开始合约交易。 PENGU U本位永续合约： 合约参数 详情 上线时间 2024年12月18日 15:00（UTC+8） 合约标的 PENGU 结算资产 USDT 最小变动价位 0.000001 最高杠杆倍数 75x 资金费用结算频率 每八个小时 交易时间 7*24 根据市场风险状况，Bitget可能调整包括最小变动价格、最高杠杆倍数、维持保证金率等重要合约参数； 【合约】 Bitget 的合约包括：U本位合约
Bitget x VANA 嘉年华：充值并交易，瓜分 2380 VANA！
CandyBomb 是 Bitget 推出的一个空投平台。完成任务并获得糖果的用户可以赢得代币空投。 Vana 是与 EVM 兼容的 Layer 1 区块链，将人类数据转化为一种新的链上资产类别，使个人能够安全地拥有、管理和变现自己的数据，同时打破中心化数据孤岛，为更优质的人工智能模型和应用提供动力。 X｜官网 活动：CandyBomb——充值并交易，瓜分 Vana（VANA） 活动时间：12月18日16:00至12月25日16:00（UTC+8） 活动详情： VANA 总奖池 2380 VANA VANA 净充值奖池 1430 VANA VANA 现货交易池（*仅限现货交易新用户） 950
Bitget 现货策略新增 PENGU/USDT
我们很高兴的宣布，Bitget 现货策略现已新增： PENGU/USDT。 参考链接 1、 现货策略 2、 快速了解现货网格策略 免责声明 尽管加密货币有很高的投资潜力，但也具有很高的市场风险和波动性。所有交易策略均由您自行决定并自担风险，Bitget 不承担任何责任。
PENGU 首次亮相，市值 23 亿美元
Pudgy Penguins NFT 项目的原生代币 PENGU 首次亮相，市值高达 23 亿美元，第一个小时内交易量就达到 9000 万美元。基于 Solana 的代币总供应量为 888.8 亿，其中 23.5% 通过空投分发给 NFT 持有者。另外 22% 为 Solana 和以太坊社区保留，而 12.3% 则作为去中心化交易所的流动性分配。 PENGU 的首次亮相对 Pudgy Penguins NFT 系列产生了积极影响，底价上涨至 34.1 ETH（136,000 美元），涨幅为 2.6%。该系列现在是 NFT 领域第二昂贵的系列，仅次于 CryptoPunks。 尽管更广泛的 N
加密货币价格
更多
