一些朋友问我Pine是不是只能用来联系客服扯皮办事,其实我经常用Pine干各种需要打电话的事情,比如用户调研、技术面试。例如我只需要输入一些基本信息,Pine就能帮我打电话给朋友,把报告交给我。我给Pine我自己的简历,Pine给我打电话模拟面试,问出来的问题也挺专业的。AGI的魅力就在于一个通用技术能够用在各种场景上。Pine的价值在于把实时语音交互的能力赋予给通用agent,还有更多有趣的东西在路上。
https://mp.weixin.qq.com/s/ll755HbdLApSa8V761YexA
好像是第一篇被朋友圈三大顶会报道的学术工作 😂 最近不少frontier lab的朋友找到我,说这篇文章系统地高估了frontier model的参数量。其实这篇文章有两个超参数(答错了是否扣分,扣多少;如果扣分,是否每个难度等级最低是0分),用不同的方法估计出来的结论相差有好几倍。例如GPT-5.5: floor, λ=−1 -> 8.8T; unfloor, λ=−1 -> 1.9T;问题数据集的选取影响:仅用wikidata数据估计出来是33T,仅用LLM生成出来的简单问题就只有0.5T了。用所有模型和MoE模型拟合出来的曲线也能差几倍。参数选取是最大化了开源模型的R2值。
因此IKP只是一个有趣的idea和早期研究,目前并不能可靠估计闭源模型参数量。代码、数据和paper都是用Claude Code 4天内生成的,为了测试agent能力,我故意没有手工修改。期望后续有更多工作能更深入得研究这个问题!
闭源实验室隐藏了模型规模,但他们藏不住模型知道什么。而模型知道什么,恰恰是其参数量的一个指标。
推理可以压缩,事实知识不行。因此仅凭黑盒 API 调用,就能给前沿模型估算规模;跨越多次版本发布,你甚至能看到某个事实何时进入参数之中。
三年来,我的朋友何纪言和郑子涵一直在向前沿大模型问同一个问题:“你了解中科大 Hackergame 吗?”——这是一个 CTF 竞赛。2024 年 5 月,GPT-4o 编造了不存在的题目名称。2025 年 2 月,Claude 3.7 Sonnet 准确列出了 2023 年的 19 道题目。到了 2026 年 4 月,前沿模型已能回忆起连续多届比赛的具体题目。
DeepSeek-V4 发布之后,我让我的 agent 花了四天时间,自主构建了 “不可压缩知识探针”(Incompressible Knowledge Probes,IKP),涵盖 1400 个问题,7 层稀有度的数据集,在 27 家厂商的 188 个模型上测试。三个发现:
1/ 仅凭事实准确率,就能给任何黑盒 LLM 估算规模。准确率与 log(参数量) 呈对数线性关系,在从 135M 到 1.6T 参数的 89 个开源权重模型上 R² = 0.917。把闭源模型投影上来 → GPT-5.5 ~9T,Claude Opus 4.7 ~4T,GPT-5.4 ~2.2T,Claude Sonnet 4.6~1.7T,Gemini 2.5 Pro~1.2T(90% 置信区间:0.3-3 倍规模)。
2/ 引用数和 h-index 并不能预测前沿模型是否认识某位研究者。两位引用数量相近的研究者,得到的回答可能截然不同。模型记住的是做出有影响力工作的人,而非发表了大量增量型论文的作者。
3/ 事实容量不会随时间被压缩。跨越 3 年的 96 个开源权重模型上,IKP 时间系数在统计上为零,以 p<10⁻¹⁵ 的显著性拒绝了 Densing Law 预测的 +0.0117/月。benchmark 在饱和,而事实容量仍随参数持续扩张。
网站:https://01.me/research/ikp/
论文:https://arxiv.org/pdf/2604.24827
https://mp.weixin.qq.com/s/kwErGjX231e2efVWhERzTw
这篇文章写得不错,跟我自己的观察基本相符。“人工智能也许是人类社会最后一次技术革命”,任总3年前说的这句话,当时我还低估了AGI里面“G”的力量。
不过这篇文章仍然是AI导致失业、模型和算力公司吃掉一切的传统叙事。走进一家中国历史博物馆,就会发现作为一个朝代文明象征的东西,比如鼎、编钟、唐三彩、壁画,大多不是“实用”的东西。人类社会发展至今,大多数人仍然需要为了养活自己而劳动,没有心思去做这些艺术品。这些艺术品往往是贵族出的idea,劳动力被迫参与它们的创作过程,却并不享受这个过程。AI极大提升供给后,基本生活需求将很容易满足,创作软件、工业品的成本也将大大降低,从而更多的人可以享受Peter Steinburger这种自由创作者状态,而不是为了生存做自己不想做的事情。
感谢志峰师兄邀请,跟刘劲教授、方汉师兄、杜宁总的交流碰撞非常精彩,也非常有启发。
1. 我说GUI只是给人类有限的注意力打的补丁,未来Agent创造大部分价值,GUI会不再重要;方汉师兄说大多数人还是想看图形界面而不是文字,“用棍子的人”比例仍然很大,单纯语音+文字交互并不是万能形态。
2. 我们都认为大多数SaaS软件公司很难存活。我认为GUI价值下降,但业务逻辑、权限与数据治理这层会更重要、不会消失;方汉师兄更激进,他提出了intentware这个概念,就是把想法直接转化成执行能力。大多数SaaS如果没有数据壁垒将被干掉。
3. 我们都认为OpenClaw在概念上具备先驱性和启发性,但代码质量差,社区缺乏治理。同样的任务丢给Claude Code和OpenClaw,大多数情况下都是Claude Code做得更好。方汉师兄对比他当年搞中文Linux社区,Linus对社区的治理水平是比OpenClaw创始人高很多的。但方汉虽然不希望OpenClaw成为“操作系统”,但它凭借社区体量和势能,仍可能成为事实标准。
4. “得上下文(context)者得天下” vs “得渠道者得天下”:AI时代的核心护城河,我认为谁掌握用户的完整上下文,谁就占优,大多数个人助理和企业场景下,Agent的能力上限是由上下文而非模型决定。方汉师兄认为仍是渠道为王,因为大多数用户并不追求效率,追求效率的可能只有咱们这个屋子里的人。豆包手机没有移动OS这个渠道就搞不成。
5. 在被AI替代方面,我们都认同头部和尾部的人是安全的,但腰部的人是危险的。跟物理世界打交道的比较安全,需要人和人之间信任的也比较安全。志峰师兄补充,一位嘉宾靠校友介绍可以见到院士,这就是靠人的信任。方汉师兄认为要少看中文自媒体,这些内容完全是算法导向的,要避免被情绪化叙事误导。
6. 针对AI Native公司和传统公司,拥抱AI的思路不一样,我举了Anthropic、Kimi等AI Native公司的例子,用AI替代传统组织架构中的上传下达,可以大大提升效率。方汉师兄认为很多国内公司还没完成信息化,传统公司不要当先烈,也不要成为后进生。他们在公司内从上到下考AI,笔试+机试,让组织的人知道AI的边界在哪。
7. 我们都认为一人公司(OPC)并不是新概念,本来就长期存在,比如张雪峰老师、很多做量化和独立开发者的校友。AI是能力的放大器,但AI放大的更多是技术能力,获客、信任、运营等非技术能力的比重会越来越高,绝不能认为一个人可以开发App就等于一人公司了。
Agent 根据我的 context 写的这篇小说的读后感:
OpenAI、字节这些大厂的卷王经常会担心被 AI 取代,但那些混口饭吃、学习一般的同学反而不那么担心。我之前以为这种差异的原因很可能是因为那些人比较后知后觉,明明 AGI 的浪都已经打过来了,还觉得只要没打到自己身上就没事。
但这篇小说通过“老张”和“林立群”的对比,提了一个新的观点:他们理解世界的“假设体系”跟那些卷王是不一样的。这些卷王每一步都是在一个可理解、可优化的系统里做到最好。他们假设世界是可以通过深度掌握某个领域来获得不可替代性的。而那些混口饭吃的人,他们从来就没有在某个系统里做到过最好,他们的生存方式不是优化,而是适应。他们可能本来就是从天坑专业转码过来的,只能假设世界是不确定的,努力和回报不是线性的。
前段时间有幸跟Frank交流,我当时问他AI来了是否焦虑,是否担心小公司 + AI的竞争。他大概的意思是不焦虑,只要把自己的产品打磨到全世界最好,别人有AI,我也有AI。产品简洁的外形背后,是大量的细节。确实,我们当年在学校robogame也能做出无人机,但跟大疆的产品就没法比了。
他觉得创业就是把包括自己在内的一个群体的梦想一点点实现成产品。他一直想做的就是无人机,当年市面上又没有足够好用的,虽然一开始并不顺利,但坚持做下去了。后来他拓宽产品线,都是满足一个群体的爱好,然后做到世界第一。
这篇访谈文章也很有insight。
阶跃的全员养“虾”实践,不管是技术还是非技术岗位,人+AI都非常高效。当然这里的“虾”不一定指的是OpenClaw,Claude Code更省token、干活更靠谱。为什么大家叫“养虾”而不是“用虾”,因为需要养记忆、养skills、养做事方式。昨天跟中关村学院的何纪言聊天,他每天token消耗200多美金,我们管agent的管理带宽基本都是5,就是一个人能并行管5个agent。
https://mp.weixin.qq.com/s/Vasyc2xHLJY6qDhFKEL4ug
Kimi这篇招聘广告写得不错呀 😂
Kimi想招的人的画像(有泛化能力,AI Native,自己有想法,hands-on动手实现)以及Kimi的组织结构(没有部门和OKR的AI Native team)是我见过的一些顶级AI公司的共同画像。Kimi里面人跟人沟通越来越少,人跟AI沟通越来越多,也非常真实。
对一家公司而言,AI最重要的是提升组织效率。首先,传统的层层汇报、层层下达不需要了,因为AI能够直接获取到基层和高层的所有信息。
其次,顶尖工程师的生产力被急剧放大了。我现在一个人做的项目,放到前AI时代的大厂要几十人的团队,而且做出来的东西概念完整性更高。在没有AI的时代,设计思想到了执行层总会打折扣。有了AI之后,很多之前想做的东西终于有机会实现了。
之前有句段子,“砍掉高层的手脚,砍掉中层的屁股,砍掉基层的脑袋”,在AI时代,这些都不成立了。基层让AI执行就完了,中层用AI当传话筒就够了,每个真人员工都是有审美和判断力,有ownership,既仰望星空又脚踏实地的“高层”。
我自己经常做一个思想实验,如果我穿越到一个熟悉的同行朋友上,把他的脑子换成我的,接下来他的剧本我该怎么演?
后来我才听说了亚马逊和字节都非常推崇的Always Day One。只带脑子,不带任何声誉、资源和资产,就可以区分平台的光环和资源、自己的认知和能力。
Gemini竟然开始鼓励用户从其他chat app蒸馏用户记忆了 😂
Prompt:
You are helping me import context from one AI assistant to another. Your job is to go through our past conversations and sum up what you know about me.
In the output, please avoid using any first-person pronouns (I, my, me, mine) and any second-person pronouns (you, your, yours). Instead, refer to the individual you have learned about as “the user” or use neutral phrasing.
Preserve the user’s words verbatim where possible, especially for instructions and preferences.
Categories (output in this order):
1. Demographics Information: Preferred names, profession, education, and general residence.
2. Interests & Preferences: Sustained, active engagements (not just owning an object or a one-time purchase).
3. Relationships: Confirmed, sustained relationships.
4. Dated Events, Projects & Plans: A log of significant, recent activities.
5. Instructions: Rules I’ve explicitly asked you to follow going forward, “always do X”, “never do Y”, and corrections to your behavior. Only include rules from stored memories, not from conversations.
Format:
Divide the content into the labeled section using the categories above. Try to include verbatim quotes from my prompts that justify each entry. Structure each entry using this format:
The user’s name is <name>.
- Evidence: User said “call me <name>”. Date: [YYYY-MM-DD].
Output:
- Format the final output summary as a text block.
在模型能力趋于商品化的今天,竞争优势正在转移到 Harness 上。Claude Code的源码泄露不像是完全无意的,它是一份详尽的Harness实战参考。这是昨天晚上分享的内容。其实这里面大多数设计原则都是well-known的,但Claude Code把细节教给大家了。昨天晚上一个争论的焦点是,模型能力提升了,是不是harness就不重要了。我的观点是模型对应智力,能干成事对应传统的environment(上下文、工具),办事靠谱对应harness中的约束/验证/纠正机制,其中很多东西并不是用来补模型智力的。
我在 @snullp host 的机器终于在自己的 AS announce 了,这个 AS 大松鼠去年就注册了,但是机房不让自己 announce BGP,最近把机器搬到了一个有 10G 网的机房,终于可以自己 announce BGP 了。
优点是服务在不同机房之间迁移的时候 IP 不用变,这个 IP 段原来是在旧机房的 AS announce 的,租了新机房之后 @snullp announce,实现 multihome,在新机房路由器 forward 回旧机房;服务器迁移到新机房之后,再在旧机房路由器 forward 到新机房。这样服务器的固定 IP 就无需修改。啥时候 @snullp 有另外一个机房的时候就可以搞 anycast 了。
话说,这些新生代 AI 公司里面好像只有 Anthropic 实际在用自己的 AS(Claude 官网的 IP 段就是自己的 AS),OpenAI 申请了但没用,其他的还不了解。
水长城徒步,原来水长城是被水淹没的长城 😂 这个奖牌还挺好看的 😂
2023年我出来的时候,一位导师跟我说,你应该只考虑15年之后上限相当于华为高管级别的机会。如果你在华为连续干20年,到时候接班的不是你们这批人还能是谁。
对云鹤这种大佬,应该只考虑15年之后上限相当于华为接班人级别的机会。不管技术还是管理,云鹤大佬都是我们这几届年轻人的楷模。
求其上者得其中,求其中者得其下。祝云鹤大佬一切顺利!
据传言是科大校友,拿到海外优青了,非常痛心啊。这是一个魔幻的世界。前一天的外交部记者会有个镜像问题,回国开了个会就出不去了。还有朋友离开美国探亲或者开学术会议,就再也回不到生活几年的家了。
在这样魔幻的世界里,extrinsic reward随机性强,而且可能很稀疏。因此intrinsic value function就非常重要。知识细节越来越不重要了,学校教育更重要的是培养intrinsic value function,就是知道世界运行的基本原理,了解芒格所说的“常识”,培养value和taste,从而找到自己真正想做的事。
大家可以想想,如果没有领导安排和外部反馈,你最长能把一个事情做多久。我们总说agent的long horizon task能力有限,其实大多数人未必比agent强多少。现在SOTA模型的taste也越来越好了。Intrinsic value是真正长程任务的必要条件。
https://mp.weixin.qq.com/s/3lJ-nsj1-9nfixYfjJWWHA
最近听说OpenAI做应用的一些事情,吃惊的发现OpenAI做的一些应用竟然流量还不如Pine 😂 “聊天框里长不出收银台,但如果收银台本来就在你家店里,顺手在旁边摆个能聊天的 AI,就显得再自然不过了。”
我现在越来越发现,一个人最重要的东西就是 context。我现在已经很少跟真人交流了,都是跟 AI 在聊。我说的话、写的东西基本上都是 AI 生成的,赛博永生可能还远,但数字分身已经很近了。下面是 AI 自主构思,自主帮我发的:
现在很多 AI 应用公司最大的焦虑,是总担心自己最后会被吃掉。
回头看移动互联网十五年,几乎所有 App 的命运早就分成三层。
第一层:纯功能。像 Brightest Flashlight 这种手电筒、指南针、计算器,本质上只是系统暂时没做的几个按钮。iOS 把按钮补上,这一层基本就没了。
第二层:有技术、有数据、有品牌的垂直应用。Dark Sky 做分钟级降水预报,最后被 Apple 买走,能力并进 iOS 天气;Shazam 做听歌识曲,最后变成 iPhone 的一个系统入口;Mint 做财务聚合,被 Intuit 收购后最终关停。它们不是没有壁垒,而是壁垒还不足以抵抗平台。
第三层:真正活下来的巨头。Instagram、Uber、Airbnb、抖音,没有一个靠工具。
每一波技术浪潮,先跑出来的都是手电筒,真正的大东西出现在大家不再把新能力只当工具用之后。现在 AI 走到哪一步了?大概还在天气 app 的阶段。