计算广告笔记(1)--广告的基本知识
本系列文章是刘鹏老师的计算广告学中的一些记录。本文是第一章的相关笔记：广告的基本知识，主要介绍广告的定义与模型，目前在线广告的特点、技术架构与市场形态，可以说简要地概括了整个课程的内容。
什么是广告？
广告有商业上的诉求和目的，并不是简单的技术的堆砌。
广告的定义
广告是由已确定的出资人通过各种媒介进行的有关产品(商品、服务和观点)的，通常是有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。
重点：
广告的主体：出资人(sponsor)即广告主(advertiser)，媒介(medium)，受众(audience) 广告的本质功能：是借助某种有广泛受众的媒介的力量，完成较低成本的用户接触(reach)
品牌广告(Brand Awareness)与效果广告(Direct Response)
品牌广告：创造独特良好的品牌或产品形象, 目的在于提升较长时期内的离线转化率
效果广告：有短期内明确用户转化行为诉求的广告。用户转化行为例如：购买, 注册, 投票, 捐款等。大部分互联网广告都是这种类型。
广告的有效性模型
三个大阶段，同时可分为6个小阶段
这里值得注意的几点有
1.广告的天然属性（如广告的位置）很重要，远远强于技术带来的效果 2.引起用户关注时需要遵循一定的原则：以上列出了三点 3.解释阶段包括用户对广告的理解和认可两方面；理解阶段 4.保持（retention）主要指品牌在用户中树立起其形象，但是点击率往往不会高
下面一些广告策略的效果,这些广告策略都是有利有弊的，下面的
+ 表示对该项有正面效果， -
表示对该项有负面效果。
在线广告
在线广告是与传统的线下广告对比而言的，下面主要介绍在线广告的特点、目前的市场、核心计算问题。
在线广告的特点
当前的在线广告行业的有以下特点
1） 技术和计算导向。原因是数字媒体的特点使在线广告可以进行精细的受众定向，而技术使得广告决策和交易朝着计算驱动的方向发展 2） 可衡量性。指的是可以用量化的方式来衡量广告的效果，广告的点击是效果的直接收集途径 3） 标准化。指的是有行业制定了相关的规则来指导广告市场。如下是一些美国广告行业相关的机构。
- Interactive Advertising Bureau
- 在线广告供给方的行业协会，推动数字化市场营销行业的发展
- 制定市场效果衡量标准和在线广告创意的标准
- 会员: Google, Yahoo, Microsoft, Facebook等
- American Association of Advertising Agencies
- 主要的协议是关于广告代理费用的收取约定(17.65%)，以避免恶意竞争
- 主要集中在创意和客户服务，在线业务是一部分
- 会员：Ogilvy & Mather, JWT, McCann等,Dentsu等非4A会员的大公司但也被列为4A公司
- Association of National Advertisers
- 主要代表广告需求方的利益(也有媒体和代理会员)
- 会员：AT&T, P&G, NBA等
在线广告市场
在线广告市场发展情况如下所示，主要分为了三大部分：需求方，供给方和连接两者的平台，需求方指的是需要投放广告的广告主，供给方指的是提供广告位的媒体。
从媒体也就是supply端来看，其变现的手段有以下三种
方式一：将广告位托管给广告网络(Ad net1) 方式二：将广告位对接到广告交易平台(Adx), 以实时竞价的方式变现 方式三：将广告位托管给SSP（supply side platform), 通过SSP可以对接多个广告网络和DSP，按照动态分配的逻辑选择变现最高的需求方。
上面简单的说明了媒体方通过广告位进行变现的方式，涉及到多个概念，可以参考刘鹏的《计算广告》中的第六章内容。
在线广告核心计算问题
在线广告的核心计算问题是 ROI（Return On Investment，投资回收率）其定义如下
Find the best match between a given user u, in a given context c, and a suitable ad a.\[\max\sum_{i=1}^{T} ROI(a_i, u_i, c_i)\]
上面的 \(T\) 表示广告共展示 \(T\) 次,ROI 主要有两部分构成:
Investment 和
Return，一般来说主要优化的目的在于Return，
其计算公式如下
\[Return = \sum_{i=1}^{T} \mu(a_i, u_i,c_i)v(a_i,u_i) = \sum_{i=1}^{T} e(a_i, u_i,c_i)\]
其中
\(\mu(a_i, u_i,c_i)\) 表示点击率 \(a_i, u_i,c_i\) 分别表示广告，用户和广告上下文 \(v(a_i,u_i)\) 表示点击价值 \(e(a_i, u_i,c_i)\) 表示 eCPM（expected CPM，预期每次展示能够带来的价值）
而对上式的不同的分解对应不同的市场形态：
- CPM(Cost per mille)市场: 按照千次展示结算。是需求方与供应方约定好千次展示的计费。在这种方式下，点击率和点击价值都需要需求方预估。
- CPC(Cost per click)市场: 按照点击结算，最早产生于搜索广告。在这种方式下，点击率估计交给供给方，点击价值的估计交给需求方，并通过点击出价的方式向市场通知自己的估价。
- CPA(Cost per action)/CPS(Cost per Sale)/ROI市场: 按照转化行为数、销售订单数和投入产出比来结算。这三个都是按照转化付费的一些变种。在这种方式下，点击率和点击价值都需要供给方预估。
CPA/CPS/ROI市场中需要注意广告主可能会有作弊行为： 如隐瞒订单，卖高价物品（品牌得到了展示，但是转化率低，不用向平台付费）
优化 ROI 的问题可从以下两个角度来考虑，每个角度都有其重点关注的点，下面简单列出
从优化角度来看，主要的关注点在于
- 特征提取：受众定向
- 微观优化：CTR预测
- 宏观优化：竞价市场机制
- 受限优化：在线分配
- 强化学习：探索与利用
- 个性化重定向：推荐技术
从系统角度来看，主要的关注点在于
- 候选查询：实时索引
- 特征存储：No-sql技术
- 离线学习：Hadoop
- 在线学习：流计算
- 交易市场：实时竞价
在线广告计算的主要挑战有
- 大规模 (Scale)：百万量级的页面，十亿量级的用户，需要被分析处理; 高并发在线投放系统 (例: Rightmedia 每天处理百亿次广告交易); Latency 的严格要求 (例: ad exchange 要求竞价在 100ms 内返回)
- 动态性 (Dynamics)：用户的关注和购物兴趣非常快速地变化
- 丰富的查询信息 (Rich query)： 需要把用户和上下文中多样的信号一起用于检索广告候选
- 探索与发现 (Explore & exploit)：用户反馈数据局限于在以往投放中出现过的 \((a, u, c)\) 组合，需要主动探索未观察到的领域，以提高模型正确性
搜索、广告与推荐
搜索，广告和推荐可以说是联系紧密同时又有各自特点的三个领域。
比起搜索，广告不需要爬虫，索引数也比较少。
推荐不等于个性化，个性化是推荐的一个准则，其他准则还包括新鲜性，多样性等。
广告与推荐系统：文字广告点击率高于图片广告点击率，但是推荐系统刚好相反
推荐与广告的一个重要区别在于 Downstream 优化，推荐出来的物品还可顺带其他的推荐物品，优化的目的是一系列用户可能会点击的物品；而广告的推送只是要优化用户对这个广告的点击率。
在线广告系统结构
下面的在线广告系统结构图，需要注意这并非实际设计图，只是概念性的结构图
从上图可以看到，整个系统可以分为四大部分
高并发的投送系统(Ad Server)：在线部分，根据 \(u,c\) 决定出 \(a\),特点是高并发
受众定向平台：离线部分，分布式机器学习，用于预估点击率等信息，常用的是 Hadoop 平台
数据高速公路：收集线上日志文件等供其他部分使用
流式计算平台：重点在于实时性，比 Hadoop 要快，包括反作弊，计价，实时索引(广告的加入和删除)等任务
将上面的架构图各部分做更细致的划分时，可以得到如下的划分图
- Ad Serveing: 主要指 Ad Server 接受两种请求，一种来源于用户（USer），另外一种是广告交易市场发过来的（RTBS）
- Ad retrival：找出与页面和用户相关的广告
- Ad ranking：有多个广告满足要求时，根据某种指标 (如eCPM) 来排序，选出最符合要求的广告
- Streaming Computing：流式计算平台
- Data highway：把线上数据传到 Hadoop 平台或流式计算平台
- Session log generation: 搜集用户的浏览、搜索的行为整理成一份标准日志，提供给其他的系统
- Customized audience segmentation：受众的定制化，不由平台固定受众分类，而是由广告主选择具体的受众类型，因为业务的需求是各式各样的
- Page attribute system：爬取有广告展示的页面，用于广告的 retrieval
- Audience targeting：受众定向，根据用户及其浏览的上下文决定出推送哪个广告
- Ad management system: 供广告主投放广告的平台