人工智能

不少大模型产品价格降幅达50%以上，有的产品价格降幅甚至超过90%。今年为什么 LLM 成本会下降？这个公网应该很少人完整的聊过。

抖音最近发布的 Paper 《Interest Clock: Time Perception in Real-Time Streaming Recommendation System》中，发现用户的偏好是动态的并且随时间波动。例如，在短视频平台中，用户可能会在早上喜欢新闻视频，而在晚上则喜欢娱乐视频。在音乐平台上，用户喜欢早上听DJ，晚上听催眠音乐。因此，使推荐模型能够感知时间信息，为用户提供时间感知的个性化服务，从而显着改善用户体验非常重要。

简单讲解马尔科夫链（Markov Chain）和马尔科夫决策过程（Markov decision process）的区别，及马尔科夫决策过程的定义、公式、如何计算等。

原论文来自 Yann Lecun 在 2022 年 6 月发表的《A Path Towards Autonomous Machine Intelligence》。主要讲了关于未来十年的 AI 发展，主要讨论 AI 如何像人和动物一样思考、学会推理。主要中文翻译参考 @浙江大学 Hepta AI Lab 的翻译版本。

简单聊聊因果推断这个事。 Thoughtworks 曾与一家国际知名药企合作，解决患者用药依从性低(从药物治疗的角度，药物依从性是指患 者对药物治疗方案的执行程度)的问题。 如果仅着眼于患者本身，其不持续用药，也许是忘了，或者动力不足，看似可以简单归因并立刻着手解决。但 当我们打开这个问题，置身于整个系统，会发现影响患者持续用药的因素涉及方方面面。 除患者个人层面，涉及到的利益相关方包含患者、医院、医生、制药机构、医药代理、甚至政府机构。其中影 响因素可能有医生对患者的影响、医疗保险的报销规定、社区医疗资源分布、甚至家人的陪伴等等。多层因素 之间亦互相牵连，相互影响。 最终发现，从患者主观能动性出发所能提升的用药依从性大概只占小部分。而医生对患者的支持，以及医保的 报销比例，或许更大程度决定了患者是否持续用药。 一个原本以为从患者角度的动机或者习惯问题，在深入研讨后会发现它是一个更大的系统问题，而非个人动机的问题。 这正是我们今天的现状，我们所面临的大部分问题是一团缠绕的纱线。因此，为了避免想当然从某个点随意牵 扯一条线而造成“死结”，我们需要花更多的时间与精力，来解开这团

对于部分信息获取的需求，在搜索场景下，直接返回答案会比返回相关文档再让用户去文档里找更直接和高效；另外，对于屏幕限制的设备，如手机和语音助手，直接返回简短答案的方式需求会更大。本文将简单介绍KBQA 和 ODQA。

Transformer 恰好属于对位置不敏感的结构，所以我们需要额外给 Transformer 带上每一个字所在的位置。本文介绍了绝对位置编码和相对位置编码两种方式。

Mask 的灵感是来自于完形填空。Transformer 结构包括编码器和解码器，在编码过程中目的就是为了让模型看到当前位置前后的信息，所以不需要 attention mask。但是在解码过程中为了模拟在真实的 inference 场景中，当前位置看不到下一位置，且同时需要上一位置的信息，所以在训练的时候加了attention mask。能很有效提升泛化性。