计算广告笔记 (1)-- 广告的基本知识

发表于 2017-04-20 标签计算广告，机器学习

本系列文章是刘鹏老师的计算广告学中的一些记录。本文是第一章的相关笔记：广告的基本知识，主要介绍广告的定义与模型，目前在线广告的特点、技术架构与市场形态，可以说简要地概括了整个课程的内容。

什么是广告？

广告有商业上的诉求和目的，并不是简单的技术的堆砌。

广告的定义

广告是由已确定的出资人通过各种媒介进行的有关产品 (商品、服务和观点) 的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。

重点：

广告的主体：出资人 (sponsor) 即广告主 (advertiser)，媒介 (medium)，受众 (audience) 广告的本质功能：是借助某种有广泛受众的媒介的力量，完成较低成本的用户接触 (reach)

品牌广告 (Brand Awareness) 与效果广告 (Direct Response)

品牌广告：创造独特良好的品牌或产品形象，目的在于提升较长时期内的离线转化率

效果广告：有短期内明确用户转化行为诉求的广告。用户转化行为例如：购买，注册，投票，捐款等。大部分互联网广告都是这种类型。

广告的有效性模型

三个大阶段，同时可分为 6 个小阶段

这里值得注意的几点有

1. 广告的天然属性（如广告的位置）很重要，远远强于技术带来的效果 2. 引起用户关注时需要遵循一定的原则：以上列出了三点 3. 解释阶段包括用户对广告的理解和认可两方面；理解阶段 4. 保持（retention）主要指品牌在用户中树立起其形象，但是点击率往往不会高

下面一些广告策略的效果，这些广告策略都是有利有弊的，下面的 + 表示对该项有正面效果， - 表示对该项有负面效果。

在线广告

在线广告是与传统的线下广告对比而言的，下面主要介绍在线广告的特点、目前的市场、核心计算问题。

在线广告的特点

当前的在线广告行业的有以下特点

1） 技术和计算导向。原因是数字媒体的特点使在线广告可以进行精细的受众定向，而技术使得广告决策和交易朝着计算驱动的方向发展 2） 可衡量性。指的是可以用量化的方式来衡量广告的效果，广告的点击是效果的直接收集途径 3） 标准化。指的是有行业制定了相关的规则来指导广告市场。如下是一些美国广告行业相关的机构。

Interactive Advertising Bureau
- 在线广告供给方的行业协会，推动数字化市场营销行业的发展
- 制定市场效果衡量标准和在线广告创意的标准
- 会员: Google, Yahoo, Microsoft, Facebook 等

American Association of Advertising Agencies
- 主要的协议是关于广告代理费用的收取约定 (17.65%)，以避免恶意竞争
- 主要集中在创意和客户服务，在线业务是一部分
- 会员：Ogilvy & Mather, JWT, McCann 等，Dentsu 等非 4A 会员的大公司但也被列为 4A 公司

Association of National Advertisers
- 主要代表广告需求方的利益 (也有媒体和代理会员)
- 会员：AT&T, P&G, NBA 等

在线广告市场

在线广告市场发展情况如下所示，主要分为了三大部分：需求方，供给方和连接两者的平台，需求方指的是需要投放广告的广告主，供给方指的是提供广告位的媒体。

从媒体也就是 supply 端来看，其变现的手段有以下三种

方式一：将广告位托管给广告网络 (Ad net1) 方式二：将广告位对接到广告交易平台 (Adx), 以实时竞价的方式变现方式三：将广告位托管给 SSP（supply side platform), 通过 SSP 可以对接多个广告网络和 DSP，按照动态分配的逻辑选择变现最高的需求方。

上面简单的说明了媒体方通过广告位进行变现的方式，涉及到多个概念，可以参考刘鹏的《计算广告》中的第六章内容。

在线广告核心计算问题

在线广告的核心计算问题是 ROI（Return On Investment，投资回收率）其定义如下

Find the best match between a given user u, in a given context c, and a suitable ad a.\[\begin{align}\max\sum_{i=1}^{T} ROI(a_i, u_i, c_i)\]\begin{align}

上面的 \(T\) 表示广告共展示 \(T\) 次，ROI 主要有两部分构成: Investment 和 Return，一般来说主要优化的目的在于 Return，其计算公式如下

\[\begin{align} Return = \sum_{i=1}^{T} \mu(a_i, u_i,c_i)v(a_i,u_i) = \sum_{i=1}^{T} e(a_i, u_i,c_i) \end{align}\]

其中

\(\mu(a_i, u_i,c_i)\) 表示点击率 \(a_i, u_i,c_i\) 分别表示广告，用户和广告上下文 \(v(a_i,u_i)\) 表示点击价值 \(e(a_i, u_i,c_i)\) 表示 eCPM（expected CPM，预期每次展示能够带来的价值）

而对上式的不同的分解对应不同的市场形态：

CPM(Cost per mille) 市场: 按照千次展示结算。是需求方与供应方约定好千次展示的计费。在这种方式下，点击率和点击价值都需要需求方预估。
CPC(Cost per click) 市场: 按照点击结算，最早产生于搜索广告。在这种方式下，点击率估计交给供给方，点击价值的估计交给需求方，并通过点击出价的方式向市场通知自己的估价。
CPA(Cost per action)/CPS(Cost per Sale)/ROI 市场: 按照转化行为数、销售订单数和投入产出比来结算。这三个都是按照转化付费的一些变种。在这种方式下，点击率和点击价值都需要供给方预估。

CPA/CPS/ROI 市场中需要注意广告主可能会有作弊行为：如隐瞒订单，卖高价物品（品牌得到了展示，但是转化率低，不用向平台付费）

优化 ROI 的问题可从以下两个角度来考虑，每个角度都有其重点关注的点，下面简单列出

从优化角度来看，主要的关注点在于

特征提取：受众定向
微观优化：CTR 预测
宏观优化：竞价市场机制
受限优化：在线分配
强化学习：探索与利用
个性化重定向：推荐技术

从系统角度来看，主要的关注点在于

候选查询：实时索引
特征存储：No-sql 技术
离线学习：Hadoop
在线学习：流计算
交易市场：实时竞价

在线广告计算的主要挑战有

大规模 (Scale)：百万量级的页面，十亿量级的用户，需要被分析处理；高并发在线投放系统 (例: Rightmedia 每天处理百亿次广告交易); Latency 的严格要求 (例: ad exchange 要求竞价在 100ms 内返回)
动态性 (Dynamics)：用户的关注和购物兴趣非常快速地变化
丰富的查询信息 (Rich query)：需要把用户和上下文中多样的信号一起用于检索广告候选
探索与发现 (Explore & exploit)：用户反馈数据局限于在以往投放中出现过的 \((a, u, c)\) 组合，需要主动探索未观察到的领域，以提高模型正确性

搜索、广告与推荐

搜索，广告和推荐可以说是联系紧密同时又有各自特点的三个领域。

比起搜索，广告不需要爬虫，索引数也比较少。

推荐不等于个性化，个性化是推荐的一个准则，其他准则还包括新鲜性，多样性等。

广告与推荐系统：文字广告点击率高于图片广告点击率，但是推荐系统刚好相反

推荐与广告的一个重要区别在于 Downstream 优化，推荐出来的物品还可顺带其他的推荐物品，优化的目的是一系列用户可能会点击的物品；而广告的推送只是要优化用户对这个广告的点击率。

在线广告系统结构

下面的在线广告系统结构图，需要注意这并非实际设计图，只是概念性的结构图

从上图可以看到，整个系统可以分为四大部分

高并发的投送系统 (Ad Server)：在线部分，根据 \(u,c\) 决定出 \(a\), 特点是高并发
受众定向平台：离线部分，分布式机器学习，用于预估点击率等信息，常用的是 Hadoop 平台
数据高速公路：收集线上日志文件等供其他部分使用
流式计算平台：重点在于实时性，比 Hadoop 要快，包括反作弊，计价，实时索引 (广告的加入和删除) 等任务

将上面的架构图各部分做更细致的划分时，可以得到如下的划分图

Ad Serveing: 主要指 Ad Server 接受两种请求，一种来源于用户（USer），另外一种是广告交易市场发过来的（RTBS）
Ad retrival：找出与页面和用户相关的广告
Ad ranking：有多个广告满足要求时，根据某种指标 (如 eCPM) 来排序，选出最符合要求的广告
Streaming Computing：流式计算平台
Data highway：把线上数据传到 Hadoop 平台或流式计算平台
Session log generation: 搜集用户的浏览、搜索的行为整理成一份标准日志，提供给其他的系统
Customized audience segmentation：受众的定制化，不由平台固定受众分类，而是由广告主选择具体的受众类型，因为业务的需求是各式各样的
Page attribute system：爬取有广告展示的页面，用于广告的 retrieval
Audience targeting：受众定向，根据用户及其浏览的上下文决定出推送哪个广告
Ad management system: 供广告主投放广告的平台