吴良超的学习笔记

之前写的 An Overview of an AD System, 从技术原理上介绍了各个模块（召回、精排、出价、冷启动等）的基本职责和原理，几年过去了，这部分的认知虽然还没过时，但是经历了更多业务后，对整体的商业化也有一个更全面认知，本文尝试从另一个更系统的角度去理解一个广告系统

传统认知中的 ad system 一般是三方：广告主/代理、平台、用户；但是随着内容平台（如抖音、快手、小红书、bilibili等）的迅速发展，涌现了越来越多的 UGC 内容，创作者在商业变现中的影响也越来越难被忽视，所以这里基于三方增加了代表创作者的第四方，如下图所示

以上的四方比较复杂的关系，一般是存在于“一方流量”（参考一方数据的概念）上，即抖音/快手/小红书/bilibili这类有能力搭建自己的一方流量的变现团队，在自家的流量上变现；相较于“一方流量”，“三方流量”的场景一般只需要关注客户和平台的关系，典型的就是联盟的场景（穿山甲、优量汇、快手联盟等），对用户侧没有强体验约束，因为本质上联盟就是个倒卖流量的生意，相关技术与一方流量差不多，但是对 C 端的用户体验以及创作者部分基本不怎么关注。

本文重点在一方流量上，下面的内功会根据上图中提到四方依次讨论每一方本身的一些职责、与其他各方的关系，内容会比较发散，祝开卷有益～

最近半年经历了一些业务与组织上的变化，对于这部分也有了一些新的理解和体会，值得写一篇文章来梳理与总结。本文主要讲了对业务和组织的一些看法，包括如何看待“矛盾”的业务定位和观点、组织的进化过程、团队组建里的识人与用人等；以及在这个过程中，该如何调整自己的心态。文章比较发散，纯属个人碎碎念，祝开卷有益

"Quantitative Trading: How to Build Your Own Algorithmic Trading Business" by Ernie Chan is a comprehensive guide that explores the world of quantitative trading and provides practical advice for building a algorithmic trading business, especially for individuals interested in quantitative trading.

It covers essential concepts, methodologies, and practical tips to help readers develop and implement their own algorithmic trading strategies while effectively managing risk and building a sustainable trading business.

Due to the significant benefits I received from reading this book, I want to write down some of the most important takeways I get from this book, with the hope that it can also be useful to you.

This passage is about the last four chapters, which introduces execution system in actual trading(automated and semi-automated), how to minimize transaction cost and determine the optimal leverage using the Kelly Criterion. It also talks about some special topics or common sense in trading. Finally, it lists some advantages of individuals investors over institutional investors.

"Quantitative Trading: How to Build Your Own Algorithmic Trading Business" by Ernie Chan is a comprehensive guide that explores the world of quantitative trading and provides practical advice for building a algorithmic trading business, especially for individuals interested in quantitative trading.

It covers essential concepts, methodologies, and practical tips to help readers develop and implement their own algorithmic trading strategies while effectively managing risk and building a sustainable trading business.

Due to the significant benefits I received from reading this book, I want to write down some of the most important takeways I get from this book, with the hope that it can also be useful to you.

This passage is about the first four chapters, which introduce basic requirements for independent traders, including search for ideas, perform backtest, and what we need before conducting real trading.

"The Almanack of Naval Ravikant" is a book that compiles the wisdom and insights of entrepreneur and investor Naval Ravikant. This book mainly talks about two topics, wealth and happiness. It offers practical advice on how to live a more fulfilling and purposeful life.

Through his own experiences and perspectives, Naval provides readers with valuable insights into topics like success, motivation, and personal growth, making the book a useful guide for anyone looking to improve their life and achieve their goals

I have benefited greatly from reading this book, and I want to write some important takeaways from this book. As this book was written in English, I want to give it a try to write it in English, too. Hoping the passage will be beneficial to you, this passage is about the second topic: Happiness

The passage about the first topic: wealth, can be found here

"The Almanack of Naval Ravikant" is a book that compiles the wisdom and insights of entrepreneur and investor Naval Ravikant. This book mainly talks about two topics, wealth and happiness. It offers practical advice on how to live a more fulfilling and purposeful life.

Through his own experiences and perspectives, Naval provides readers with valuable insights into topics like success, motivation, and personal growth, making the book a useful guide for anyone looking to improve their life and achieve their goals

I have benefited greatly from reading this book, and I want to write some important takeaways from this book. As this book was written in English, I want to give it a try to write it in English, too. too. Hoping the passage will be beneficial to you, this passage is about the first topic: Wealth

在搜广推相关业务中，除了 ctr、cvr 这类常规的二分类任务，还存在着预估 stay_duration、LTV、ECPM、GMV 等一系列回归任务

ctr、cvr 这类二分类任务常用的损失函数是交叉熵损失，基本假设是事件服从伯努利分布，最终学习的输出是正样本的比例，而回归任务中存在着非常多种的损失函数可选，如 mse、mae、huber loss、log-normal、weighted logistics regression、softmax 等

每种损失函数都有其假设和适用范围，如果真实 label 分布与假设差异较大，容易导致结果不佳，因此，本文会重点关注这些常见 loss 的推导过程以及假设

在实际的业务中，数据往往由多个 domain 组成，以广告为例，往往会存在多个转化目标，在 ctr、cvr 的预估时也要考虑不同转化目标的影响，因为在不同转化目标下，ctr、cvr 的分布(如均值、方差)往往是不一致的

解决这个问题最直观的思路是加 domain 相关特征或根据 domain 拆模型，前者属于隐式的方法，需要特征的区分性足够强、能被模型学到，但这个足够强没有一个量化的标准，基本只能看实验效果；后者则存在维护成本过高的问题，比如说有 n 个 domain 就要拆成 n 个模型

本文着重讲如何通过一个模型 serve 多个 domain 的方法，主要是在业界验证有收益且公开发表的工作，基本上可以分为 3 类

1. multi-head 结构
2. LHUC 机制
3. GRL 机制

混排，往往是的推荐系统的最后一个环节，在这个阶段，自然内容（后面简称item）需要与营销内容（后面简称 ad）进行混合，生成最终推送给用户的 list

如果以 Long Term Value(LTV)的视角来看,这是个在 LT 和 V 之间做 trade-off 的过程，ad 如果出得过多，必然会挤压 item 的数量和位置，进而影响用户体验和留存即 LT，但相应的广告收入，或者说 Average revenue per user(ARPU) 会提升，反之亦然

所以业界往往的做法是定一个用户体验的约束，在这个约束下尽可能优化 ad 的效率，即达到收入最大化，因此很自然可以把这个建模成一个最优化问题，LinkedIn 在 2020 年的这篇 paper就是这么做的，Ads Allocation in Feed via Constrained Optimization

直观地看混排这个问题，有 2 个子问题需要解决 （1）怎么计算每个 item 或 ad 在每个位置上的价值：因为 item 和 ad 是各自排序的，目标不同，最终的值的量纲也不同，这么把两者的 scale 拉到可比范围是一个需要讨论的问题 （2）怎么分配能让最终 list 价值最大化：在 item 和 ad 的价值确认后，怎么插入 item 和 ad 的位置，从而达到整个 list 的最大化

上面提到的 LinkedIn 的 paper 重点是在解决第二个问题，部分内容也涉及到第一个问题 ；本文会先讲一下这篇 paper 的建模方法，然后讨论下计算 item 和 ad 价值的一些思路，混排中一些其他需要注意的事项

随机性，如同带刺的玫瑰，危险而又迷人；随机性可能会给你带来生活中的惊喜，但也有可能会降临足以毁灭生活的灾难

在去年的年度小结提到，22 年最大的感悟，是生活存在非常多的随机性，正是这些随机性导致了无法预测和无人知晓的未来；1 月份在查资料过程中看到了塔勒布的“不确定性”四部曲：《随机漫步的傻瓜》、《黑天鹅》、《反脆弱》和《非对称风险》，相比于笔者简单的感悟，这几本书花了很大功夫来描述随机性这件事情

如果单纯看随机性，很容易让我们陷入虚无主义中，因为没什么是确定的，或者说没什么是能够坚信的，因为随机性几乎主导了一切。幸运的是，书里给出了还给出了一些也许可供参考的方法论，虽然作者行文有时候较为晦涩，但总体还是值得一读的。本文主要是 《随机漫步的傻瓜》和《黑天鹅》两本书的一些笔记以及拓展，祝开卷有益。