gilesthomas.com
本文探讨了在从头训练GPT-2小模型时学习率的作用与选择。作者回顾了学习率在梯度下降中的基本原理,指出合适的学习率能有效引导模型收敛至损失最小值,而过小或过大的学习率则分别导致训练缓慢或发散。文中还提及了Chinchilla论文中提到的'余弦周期'学习率调度方法,暗示将对此进行深入分析。
18 篇文章
gilesthomas.com
本文探讨了在从头训练GPT-2小模型时学习率的作用与选择。作者回顾了学习率在梯度下降中的基本原理,指出合适的学习率能有效引导模型收敛至损失最小值,而过小或过大的学习率则分别导致训练缓慢或发散。文中还提及了Chinchilla论文中提到的'余弦周期'学习率调度方法,暗示将对此进行深入分析。
daringfireball.net
作者回顾了苹果芯片从iPhone A系列到Mac M系列的演进历程,指出早在2015年iPhone 6S的A9芯片性能就已接近当时新款MacBook。最新推出的600美元MacBook Neo搭载与iPhone 16 Pro相同的A18 Pro芯片,证明了A系列芯片已足够强大到驱动消费级MacBook。实际测试显示,这款低价笔记本在性能、显示质量、音频和软件体验上全面超越同价位x86笔记本,且8GB内存配置在实际使用中未出现明显瓶颈。
simonwillison.net
文章认为,AI编码助手不应导致代码质量下降,而应帮助我们产出更好的代码。关键在于利用AI代理处理那些概念简单但耗时繁琐的代码重构任务,从而避免技术债务的积累。此外,AI工具还能通过快速原型设计和探索更多技术方案,帮助我们在规划阶段做出更明智的选择。
idiallo.com · Ibrahim Diallo @dialloibu
Andrej Karpathy 复兴了‘幻觉’一词,将其从‘预测错误’的含义转变为描述大语言模型编造事实或扭曲真相的行为。这种措辞将模型的失败重新定义为一种神经紊乱,而非说谎。作者希望未来能教导模型学会说‘我不知道’,但暂时也接受了这个为自己开脱的术语。
wheresyoured.at · Ed Zitron
本文分析了伊朗单方面关闭霍尔木兹海峡对全球能源运输的影响。霍尔木兹海峡是全球约20%石油和液化天然气运输的关键通道,其关闭导致油轮停运,可能影响为OpenAI等数据中心供电的天然气供应。作者指出,在伊朗撤销禁令、安全局势改善、政府更迭或双方达成协议前,运输中断将持续。
buttondown.com/hillelwayne
文章指出,尽管AI工具(如LLM)降低了编写形式化规范(如TLA+和Alloy)的门槛,但它们生成的规范往往存在根本性缺陷。这些规范通常包含明显的逻辑错误,无法通过模型检查,且只能表达“明显属性”,而无法捕捉并发、非确定性等复杂场景下的“微妙属性”。因此,仅依靠LLM生成规范无助于提升软件正确性,反而可能误导初学者。
johndcook.com · John
本文探讨了SymPy库在简化双曲函数与反双曲函数组合表达式时的行为,重点分析了sinh(acosh(x))等表达式未按预期简化为√(x²−1)的原因。作者指出这是由于等式√(x−1)√(x+1)=√(x²−1)并非对所有复数x都成立,并通过指定x为实数且非负后得到了预期简化结果。
geohot.github.io
文章批判了社交媒体上关于AI的焦虑言论,指出AI并非魔法般的革命,而是长期技术进步的延续。作者强调,真正的关键在于创造价值而非参与零和游戏,并建议人们避免被恐惧营销所误导。
garymarcus.substack.com · Gary Marcus
近期一系列由AI编程工具引发的服务中断事件,印证了此前关于AI生成代码难以长期维护的警告。研究表明,AI编码代理在短期测试中表现良好,但在长达数月的代码维护中表现糟糕,导致关键系统故障。尽管最新系统有所改进,但人类在修复AI代码错误方面仍不可或缺。
pluralistic.net · Cory Doctorow
文章批判广告技术(Ad-tech)为‘法西斯技术’,认为基于监控的广告本质是监控,其泛滥源于政策选择失败。作者指出,谷歌等公司转向监控广告是因预期收益远超可能受到的罚款或法律惩罚,而政策制定者未能有效监管和执行隐私法律(如GDPR),导致用户隐私被系统性侵犯。
johndcook.com · John
本文探讨了双曲函数 sinh(arccosh(x)) 的简化问题,指出 Mathematica 在某些情况下不会直接简化为 √(x² − 1),而是返回更复杂的表达式。作者通过分析 arccosh 和平方根函数的定义、分支切割以及复数域中的解析延拓,解释了这种差异的原因,并强调了在数学软件中处理多值函数和分支选择时需注意的细节。
devblogs.microsoft.com/oldnewthing · Raymond Chen
文章讲述了一个关于IBM与微软企业文化差异的轶事。微软工程师在IBM佛罗里达办公室临时工作时,因穿短裤上班被IBM员工视为“安全违规”。当一位IBM员工讽刺地询问一位穿短裤和运动鞋的微软员工“今天穿得有点随意吧?”,后者幽默地回应:“哦不,我每天都这么穿。”
shkspr.mobi · @edent
文章探讨了人们过度依赖AI助手处理日常任务的现象,如查询天气或管理日程,而非使用专用应用。作者提出三点假设:部分人厌恶结构化操作,偏好自然对话的省力交互,以及内心深处渴望拥有‘数字仆人’来代劳。这反映了AI习惯如何改变行为模式与认知负荷。
dfarq.homeip.net · Dave Farquhar
本文回顾了2000年3月10日互联网泡沫达到顶峰的历史时刻,分析了当时典型的商业模式及其缺陷,并以亚马逊、谷歌等幸存企业为例,指出泡沫破裂后真正成功的公司需要时间验证。文章还对比了当前AI热潮与当年互联网泡沫的相似性。
nesbitt.io
作者介绍了如何通过Postgres扩展omni_git实现Git智能HTTP协议,结合omnigres将Postgres转变为完整的Git托管、构建和生产运行时平台,实现类似Heroku的部署流程。
matduggan.com · Mathew Duggan
作者对驱动其网站的OSS Ghost主题进行了修改,增加了更好的图片标题支持和Mastodon用户名归属功能,并提供了自定义选项和反馈渠道。
troyhunt.com · Troy Hunt
作者回顾了HIBP服务运行十多年来的数据泄露处理频率,平均每4.7天处理一次泄露事件,但上周在两天内就处理了五起。文章指出该行业通常呈现爆发式活动与静默期交替的特点,并分享了Odido、KomikoAI、Quitbro、Lovora和Provecho等泄露事件的幕后信息。
susam.net
HN Skins 0.4.0 是一个用户脚本的小幅更新,用于为 Hacker News 网站提供自定义主题。本次更新主要修复了纪念性黑条在某些主题下可能被遮挡的问题,确保其在深色主题下也能保持足够的对比度和可见性。此次修复的灵感来源于 Hacker News 上关于 Tony Hoare 去世的报道,促使开发者发现并解决了该问题。