吴良超的学习笔记

当前的推荐或广告系统基本都是做到请求级别的预估和优化，在效果最大化的同时带来的问题是机器成本的上升；而流量分布的不均匀使得这个问题更为严峻，比如说对于抖音或美团，一天内流量往往有两个峰：午高峰和晚高峰，因为这两个时间点餐、刷手机的人数会陡增，而其他时间段流量会下降比较多，如下图所示

这意味着如果准备足以抗住高峰的机器，那在其他时间段大部分机器是空转的，或者说 roi 很低，因此往往在高峰的时候都需要扩容或降级。降级一般是指指降低请求数，按比例 drop 流量，但是 drop 流量对总体效果肯定是有损的，因此也衍生出了算力优化这个研究方向，算力优化本质上就是做效果和机器成本的 trade-off, 或者说如何尽可能无损地降本

本文主要介绍一些算力优化的常见手段，笔者将其总结为 drop、cache 和 dynamic 三类方法；而如果把消耗的算力拆解，可以直观拆成 2 部分：请求量 × 请求消耗的算力，因此可以从这两部分出发去优化算力

• drop：直接把流量 drop 掉，即直接减少 “请求量”
  
• cache：将之前的预估结果存到缓存中，每次预估不用经过实际机器的 inference，即减少了 “请求消耗的算力”
  
• dynamic 则是根据请求的价值，动态控制每条请求消耗的算力，这个方法也是减少了 “请求消耗的算力”，DCAF 是这类方法的代表

上面的几个方法都是偏流量维度的优化，还有一些方法是对模型 inference 的 耗时进行优化的，主要方向是计算并行（硬件升级）、模型压缩（量化、蒸馏、结构调整等），本文就不详细展开了

管理，似乎是职场人无法回避的一个话题，因为随着组织的庞大，由于沟通、分工、人员参差不齐等问题，人效不可避免地下降，管理就是在缓解人员数量增加而带来的边际收益递减问题。而无论是管理者还是被管理者，笔者觉得都有必要去了解一下管理的相关内容，才能更好地扮演自己在职场中的角色

在这个话题下，有着不同的派系和理论，每一种看起来都讳莫如深；但是回到管理的本质，就是如何高效地组织一群人去完成一个任务，并且是长期可持续的

虽入职场时间不长，也有一些谈不上正式的管理经历，同时有幸从接触到的多位直属 leader 身上、从与一些前辈的谈话中，都获得了不少的启发和指导，自己也在这个问题上做了一些简单的调研，一直想对这部分做个总结，于是就有了这篇文章

文章主要是笔者的一些经历以及对管理的简单认知，样本必然是有偏的，未必在所有场景下都适用，文章可能会比较发散，祝开卷有益

Highlight Detection，直译过来就是高光检测，一般应用在图像或视频里，本文主要关注视频场景，其任务就是从一段长视频里找到某个 “高光” 的片段。这里的 “高光” 是一个非常宽泛的定义，不像 ctr/cvr 有明确的含义，不同场景下对 “高光” 的定义不一样：比如说对于带货直播，高光片段也许是 gmv 最高的时间段；对于非带货直播，高光的片段也许是观看人数或者刷礼物最多的时间段。

Highlight Detection 在实际的应用场景较为广泛：一些视频网站 (如爱奇艺、哔哩哔哩) 里鼠标停留在视频上时会自动播放一些片段，这些片段可认为是高光片段；主流的直播平台基本都提供了直播回放工具，其中往往也会提供高光片段的候选，除了提供给用户侧，广告主 / 商家侧也会提供类似产品，如巨量千川、磁力金牛等平台的产品

Highlight Detection 在学术界也是一个研究方向，但是学界基本研究局限在几个人工标注的数据集上，一般无法直接应用到实际的生产环境中，原因就是上面说的，不同场景下对高光的定义不一样，需要的数据集也不一样。Highlight Detection 相关 paper 不少，本文主要讲 2 篇更贴近业界的 paper，可以重点关注高光的监督信号的定义，损失函数的设计以及数据集的获取

35 岁这个槛，似乎是悬在互联网人头上的达摩克利斯之剑，一直在各大媒体上被鼓吹放大，虽不明真假，但也让人不寒而栗；而持续了三年的疫情加上 2022 随之而来互联网裁员潮，王兴那句开玩笑似的 “2019 可能会是过去十年里最差的一年，但却是未来十年里最好的一年” 似乎一语成谶。

走在奔三的路上，凝望这前面那个迷雾般的 35 岁路口，焦虑就一直萦绕在心头；伴随着的是一系列的疑问：大厂为什么要裁员？所谓的 35 岁危机从何而来？只有互联网才有这个危机么？普通人只能眼巴巴地等待着 35 岁到来然后被裁掉？我们能做些什么？

当我最开始问出自己这一串问题时，焦虑中带着点绝望，因为前方的路虽然处于迷雾，却又似乎一眼能望到头；但是准备写这篇文章，心里又平静了很多，也许是经过这一个多月的调研和自我教育，看到了生活的可能性和随机性，接受了与焦虑为伴这个事实。本文算是写给自己的心理按摩，文章可能会有点发散，祝开卷有益。

从年初了解 有知有行 开始，断断续续看了不少上面的内容：听完了里面投资第一课，E 大干货合集、投资知识体系里的文章也基本是已读状态，一直处于输入的状态； 感觉是时候该 connect the dots，形成一个更系统的框架融入自己的知识体系中， 于是便有了这个系列的文章

这个系列的文章绝大部分内容来自于有知有行，也会有一些笔者深究后调研的内容，且按照笔者的理解划分为：认知与心态、概念与常识、买与卖三大模块。妄图将投资这个大话题以及有知有行的编辑们整理的上百篇文章浓缩到这篇小小的笔记中，自然无法面面俱到，所以这篇文章还是会挑选笔者关注的一些内容，更详细的内容可参考有知有行以及本文里的相关引用。

本文是买与卖部分，也是实操部分；投资赚取的收益本质上就四个字：低买高卖，虽然只有四个字，但是如果要做好这个事情非常难，本文试图为这个没有标准答案的问题寻找一些可参考的解。

这个系列前面两部分的内容可参考

• 《投资这件事 (1)- 认知与心态》
  
• 《投资这件事 (2)- 概念与常识》

从年初了解 有知有行 开始，断断续续看了不少上面的内容：听完了里面投资第一课，E 大干货合集、投资知识体系里的文章也基本是已读状态，一直处于输入的状态； 感觉是时候该 connect the dots，形成一个更系统的框架融入自己的知识体系中， 于是便有了这个系列的文章。

这个系列的文章绝大部分内容来自于有知有行，也会有一些笔者深究后调研的内容，且按照笔者的理解划分为：认知与心态、概念与常识、买与卖三大模块。妄图将投资这个大话题以及有知有行的编辑们整理的上百篇文章浓缩到这篇小小的笔记中，自然无法面面俱到，所以这篇文章还是会挑选笔者关注的一些内容，更详细的内容可参考有知有行以及本文里的相关引用。

本文是概念与常识的部分，主要是笔者在学习过程中接触到的一些概念性的知识，对于熟悉的人来说，也许是 “常识”，笔者则是在尝试将这些不熟悉的内容变为自己的常识，也希望对你有用。

第一部分的内容见 《投资这件事 (1)- 认知与心态》

从年初了解 有知有行 开始，断断续续看了不少上面的内容：听完了里面投资第一课，E 大干货合集、投资知识体系里的文章也基本是已读状态，一直处于输入的状态； 感觉是时候该 connect the dots，形成一个更系统的框架融入自己的知识体系中， 于是便有了这个系列的文章。

这个系列的文章绝大部分内容来自于有知有行，也会有一些笔者深究后调研的内容，且按照笔者的理解划分为：认知与心态、概念与常识、买与卖三大模块。妄图将投资这个大话题以及有知有行的编辑们整理的上百篇文章浓缩到这篇小小的笔记中，自然无法面面俱到，所以这篇文章还是会挑选笔者关注的一些内容，更详细的内容可参考有知有行以及本文里的相关引用。

本文是认知与心态的部分，主要是投资前的心理建设部分，包括对待财富、投资的认知，投资时的心态管理 (收益与风险的预期、投资的时间周期) 等。

长尾问题在推荐 / 广告系统是一个较为常见的问题 (这里主要针对 item 的长尾)，原因可能比较多，笔者理解的主要原因是由于系统存在 feedback loop (即训练数据由模型产生，同时又会被模型用于训练) 的特性，在没有外部干预的情况下，马太效应会天然导致头部效应的现象比较严重，少部分的 item 主导了整个系统。

比如说推荐系统中，很多视频 / 文章并没有展示机会，在训练集中压根没出现过，高热的视频 / 文章在不同的用户中排序都比较靠前，进而得到多次被推荐的机会；在广告系统中，部分计划的消耗会特别高，而一些计划压根投不出去；这导致了用户或者广告主体验不佳，而这种现象往往也会被归为生态问题。

既然没有干预时，系统天然的特性导致了头部效应 (或者说二八效应) 比较严重，那强行干预系统的分布能不能改变这个问题？答案是可以的，而且目前绝大部分的方法都是在做这一类事情，常用手段往往有 2 种

（1）策略层面，根据系统和业务特性设计规则，比如说对长尾的 item 有特定的扶持，强行让这些 item 能触达到更多的用户
（2）模型层面，核心思想就是让模型能更好地学习到 long tail item 的 representation，因为这个问题的根本原因就是 long tail item 的样本过少，进而导致模型学习的不好；而具体的手段比较多，这部分会在后面详细介绍。

这篇文章主要介绍的几篇 paper 都是模型层面的，因为策略层面的往往需要根据实际业务需求来拍一些规则，模型层面的一些方法更为通用。

之前的文章 Dynamic Creative Optimization in Online Display Advertising 中提到，广告创意往往可分为创意生成、创意优选和创意投放三大块，本文主要讲创意优选这部分的一些做法，这个过程一般会涉及到 E&E 的过程。

本文的主要内容是选自阿里发表的一篇 paper：A Hybrid Bandit Model with Visual Priors for Creative Ranking in Display Advertising，paper 通过 list-wise 的训练方式达到对同一计划下的候选创意进行排序 (即优选) 的目标；list-wise 可以算作 Exploitation 部分，paper 还通过了一个 bandit model 达到 Exploration 的目的，总体的做法比较合理，也在业界实际场景验证了有效性，值得一看。

最近在研究广告创意相关内容， 笔者根据当前的调研，将这个领域划分为创意生成、创意优选和创意投放三大块，每一块的具体职责如下

• 创意生成：利用素材 (标题、图片、视频、落地页等) 生成候选创意 (用户看到的广告)
  
• 创意优选：从计划的候选创意 (一个计划下的候选往往有多个) 中选择 topk 个用于投放
  
• 创意投放：将优选出来的创意投放至线上

严格来说，这三部分其实也并非泾渭分明，比如前两部分可以统一理解为创意生成 (从最原始的素材生成最终要投放的创意)，后两部分可以统一理解为创意投放过程 (从候选中选出来并投放至线上)。

本文主要侧重讲述与创意投放相关的一篇 paper, 而且偏向于上面提到第三块内容 (没有基于 E&E 的优选过程)，paper 的标题是 Dynamic Creative Optimization in Online Display Advertising，这篇 paper 将素材在线投放问题建模成一个二部图匹配问题，并提供了严格求解的方法和在线的近似求解方法。更重要的是，这种建模的方法不局限于创意领域，能应用到更多投放场景下。