从 R-Drop 到 KL 散度
在《R-Drop: Regularized Dropout for Neural Networks》引入了一种一致性的训练策略来规范化 dropout，称为 R-Drop。
Qin
浅析 Text and Code Embeddings by Contrastive Pre-Training
文本向量是在很多应用和文本相似度、语义搜索上有很大的应用。之前的工作通常是根据不同的应用来选择数据集定制模型架构。《Text and Code Embeddings by Contrastive Pre-Training》中展示无监督的对比学习可以获得更好的文本向量，并且在这个方法下得到的文本向量在 linear-probe 分类上达到了 SOTA（state-of-the-art），也有着很好的语义搜索能力，甚至可以与 fine-tuned 后的模型比较。
极大极小及剪枝算法
极大极小算法常用于二人博弈游戏，目的是寻找最优的方案使得自己能够利益最大化。而剪枝是希望在搜索的时候，根据已搜索的结果，剔除超出最优解的分支，那么意味着这个分支下的所有节点都不需要考虑了，大大降低了搜索的次数。
基于 QPS 与资源利用率转换的过载应对
QPS（Query Per Second）：每秒查询率QPS是对一个特定的查询服务器在规定时间内所处理流量多少的衡量标准。我们常常使用 QPS值来衡量一个服务器的性能。那么如何使用 QPS 与资源利用率转换呢？
浅谈 HTTP 3
我们之前谈到到了 head-of-line blocking 的问题，这也是 HTTP3 最大改变的地方。它不使用 TCP 作为会话的传输层，而是使用 QUIC，一种新的互联网传输协议。本文将简单聊聊 HTTP 3.0 协议。