近几个月接手了一个业务,一个有点特殊的业务,特殊的地方在于这是一个被搁置了几个月没人迭代的业务;同时也是一个充满了负面与悲观情绪的业务
这种悲观和负面情绪令我始料未及,无论是交接过程的粗糙、交接人员的态度或是之前合作团队之间的矛盾,都是我所未曾设想的:缺少有效信息的交接文档,一问三不知的回答、交互过程中展示出来的各种负面情绪,以及产研团队的历史矛盾,似乎都在暗示着这个业务过往推进时的不顺,以及未来推进的艰难;同时也能解释为何业务的迭代停滞了几个月
说点题外话,人走茶凉的道理虽然也懂,也经历过不少次交接,但像这种对自己所做过的项目的态度消极到有点厌恶以至于不愿提起,的确是我第一次看到;笔者一直觉得,一个人做过的项目就是他的作品,跟他写的文字、录的播客都是一样;项目是一个人职业生涯里的一部分,每一部分都是一段弥足珍贵的经历,都能在一定程度上反映你当时的能力、状态与心境,套用之前看到的一段话是这么描述的
作品即人。它不是人的一部分,而是人的一个阶段,是这个阶段的全部的那个人。你虚作品就虚,你燥作品就糙,你脆弱作品就生硬,你高傲作品就小气,你浅薄作品就邪恶。你懒,你就没作品。
笔者往往被周围的同事认为对工作过于负责,究其原因,可能是面临着交付到笔者身上的每一个业务时,笔者都是当做是自己职业生涯里的一个作品去构思和实践的,这个业务的定位与价值,服务于什么目标,如何能够最大发挥这个业务的价值等等,都是笔者所乐于去思考和实践的。
回到这个业务,在后续了解相关业务的历史背景后,发现其实这个业务也并没有想象中的那么差劲,本身业务的价值还是存在的,且定位也是不可或缺的一部分(保密相关,这里就不详细展开业务的具体形态和详细信息);只是因为做功的方向不是非常对,或者说是产品的定位不是非常明确和科学,导致了最终的业务产出和现状不是非常理想
这里也想强调一点,业务能否成功以及业务价值需要分开来看;因为所谓的业务能成功往往需要依靠“天时地利人和”,“天时地利”听起来是比较虚的概念,简而言之,就是在当时的那个时机下,推动这个业务是否能刚好满足市场的诉求,适配公司的发展阶段,但“天时地利”往往是事后归因才能给出一个所谓正确的判断,更多的时候,我们都是一个
那该如何判断业务是否有价值呢?这是一个非常大的问题,且往往不同行业,不同的业务形态,判断的标准也不一样;一般判断的业务的价值,都是根据业务已有的规模和市场的认可度来判断,但是这适用于业务已经进行了充分的探索的场景;但更多的情况下,业务往往没有被充分探索。这个时候,笔者倾向于从所谓的
当我们去去思考以上提出的种种问题,去向身边的人做出提问时,会收到很多“矛盾”的观点,也会从不同的说法之中产觉到看似矛盾的产品定位,这种现象,刨除掉少数一些胡说八道的case,更多的情况下是大家观测的视角不一样,或者说利益不一致
举个例子,在商业化场景下,类似
这两种定位,就是两种看似“矛盾”的观点,如果用更加技术的视角,可以理解为一个业务往往有多个目标,如果按最优化来建模时,max的目标是其中一个,而其他目标只能是约束了;比如说上面的情况,第一种 max的用户价值,商业价值是约束,而第二种则刚好相反。实际中无法说明孰对孰错,更核心的点是哪一种更适合当前的公司总体发展阶段
究其本质,还是我们面临的业务或世界过于复杂了,没法用一个简单的概括来描述所有的情况:人类很容易陷入一种01对立的二元思维,把世界分成相对的两端,这种二元的判断和分类似乎简化了世界的复杂性,给我们了一种表面的安全感和确定感,但不可避免的,它也一定程度上忽略了世界的复杂性和多面性,也导致了工作或生活中的不少矛盾
除了聊到的业务,社交平台上的人生智慧或者建议,有很多都是自相矛盾的,从传播学上讲,简短是为了表意更加精确,同时传播上更方便,但是在一个人了解到的知识面有限的时候,很容易导致人走向一个极端
那面对这些“矛盾”的观点,我们该怎么做?在今年上半年,自己对这一点有隐约的体会,也写下了下面的文字
后面听了孟岩的无人知晓的 《
孟岩的播客中提到的一个很关键点是:不要把这些建议当作圣经去朝圣,而是要意识到每条建议的适用性与局限性
Keven Kelly也有类似的观点:很多类似的建议都很简短,一方面这会让表意更精确,另外一方面也更容易传播。但这些建议并不是词典,不是参考书,不是当你遇到事情时候来查阅的。相反,你可以换个方式去听一听,你可以去看一看,你可以去理解,你可以去感受这些建议,然后他们会自然而然地进入到你的潜意识里。当你在日常生活中遇到需要决策的场景时,你的潜意识就会给出答案
因此,无论是看书、人物传记、充满金句的小册子,还是听播客,我们都不应该把这些东西当作方法论,当作工具书,更不应该把它们当作验证自己行为正当性的依据。相反,我们能做的是通过这些文字和声音更多的了解这个世界,了解我们自己。我们能做的是允许自己超越二元对立的维度,让我们能从更宽广、更高层次的维度来理解万事万物
很多时候,当我们有强烈的倾向用一个金句或者建议来解释自己的行为时,也许我们就偏了;相反,我们要同时追求两件互相矛盾的事,因为当我们能够同时站在两个矛盾的观点上去看问题时,能够站到更高的维度去看待这个事情,理解这两句看似对立的话讲述的是世界的哪两个面相,理解他们有哪些各自的约束条件和应用场景,理解他们究竟在告诉我些什么。当我们真的理解了这些,我们的潜意识就可以帮助我在需要的时候去做出接近真实的决定
查理芒格说过,如果我不能比持有相反观点的人更好地理解他们的观点,我就不配拥有自己对该问题的看法;菲斯杰拉德也说过,具有一流智慧的人能够在心里同时容纳两个截然相反的观点,而且仍然能够正常思考和行动
回到业务里也一样,当我们听到跟自己相反的观点的时候,第一时间不是回击(虽然很多时候屁股决定脑袋),而是要想一下其他人说的这个观点的立场,只有我们能充分理解提出这个观点的人的立场和出发点时,才能做出更科学的业务判断,往往也能有更加愉快的合作体验
ego还是尽量要小点,多了解一些其他的观点和现象,因为绝大多数情况下,我们只经历了这个世界的0.00000001%,却希望用它去解释这个世界的 80%
过去的我比较信任 AB 实验,而 AB实验也在很多互联网公司里的快速发展中也证明了其价值:消除了很多仅靠主观臆想导致的观点的局限性,在观点不一致情况下提供了决策的重要依据,也为技术迭代指明了道路和方向;最为典型的就是字节跳动这家公司
虽然 AB 实验也存在一些局限,如分组的 variance问题、实验设置导致结果不可看(如组内抢量问题)、小流量与大流量效果不一致、AB无法反映 AA等问题,但相应的也有相关的技术手段来规避或缓解这些问题,如分组后实验前组内的指标是平的、通过预算分桶等手段保证实验结果的可观测性、大流量反转来观测效果、长期观测AA 变化等
但是最近一段时间越发觉得,有很多事情是无法靠 AB直接度量的,以产品满意度为例, 虽然能拆解很多 AB 中间指标(如点击率、APP内的停留时间、负反馈率等),然后通过技术的迭代提升这些中间指标,期待最终长时间AA观测到总体产品满意度的提升。如果类比为机器学习中的优化,也可以理解为是做了很多的局部优化,期待最终能在全局中往更优的地方前进了一步,但是我们知道,并不是所有的这种局部优化都能带来全局更优的;这么拆解需要保证中间指标与最终指标的是有较强的正相关性的
而在实际中,调研产品满意度更常用的方法是
说到底,AB实验只是一个工具,一个在很多情况下都是在方向明确后,迭代优化空间中的不断做出局部调优的一个工具,这个方法的确增强了产品和业务的迭代效率,但同时也要意识到这个方法的局限性,尽信书不如无书
组织与业务是什么关系?笔者认为组织是为业务目标负责的,需要随着业务目标变化而变化
这也是我们能看到很多公司的组织架构日常频繁调整的原因,原因就是业务目标变了,需要相应的支撑的组织有相应变化
当公司比较小时,业务刚起步时,往往所有事情都是老板一个人做。随着业务的扩张,老板会招一些(工具)人进来,此时的公司是一个以老板为中心的扁平化组织,每个人都可以直接和老板沟通,老板对大大小小事物亲自拍板,指哪打哪,彼此之间只存在分工,不存在合作,也就不存在沟通问题。
随着公司业务进一步发展,老板必然无法处理所有业务的琐事;此时老板的想法是招几个中层管理人员,小事让中层过滤一下,以后只要大事才找我;于是销售主管、人事行政主管、产品开发主管、财务主管统统招起来,就形成了各种部门
小事是不能惊动老板的,部门要自己解决,有些事情虽小但也要牵涉其他部门的,这样就形成了部门之间的合作,也昌产生了沟通的问题
公司业务进一步发展,每个部门都有了自己的相关基建和制度,这个时候就会面临一个问题:相似功能集中管理还是拆分到各个业务部门,或者说,是否要成立中台
如果平均分到每个独立的部门,也就像是成立单独的小王国一样,麻雀虽小五脏俱全,好处是一个部门独享资源,沟通成本低,干什么事情都方便,可以按照自己的需要随时调整资源的配置;但是带来的问题一是造成资源的重复建设产生浪费,二是导致各个部门标准越来越不统一
如果把这些共享职能拆分出来,统一管理也成立的单独的中台部门,好处虽然是节省了资源,集中管理也便于整个公司统一规范,但坏处是极大的增加了沟通成本。因为这是一个不隶属于所有部门的共享工具人,第一,它没办法分清楚所有部门业务的轻重缓急,因为往往中台部门对业务的理解有限,基本只能按照队列的方式处理到来的request(虽然所有业务方都会说自己的需求优先级很高)。第二,工具人也有自己的立场和私心,也想要摸鱼,对于麻烦的事情能推就推,你不知道它到底是真做不到还是假做不到,往往它随便找一个冠冕堂皇的理由就可以拒绝你。
对于中台部门上面这种弊端,也不是真的没有办法,遇到真正遇到紧急或者重要的事情,可以调动上层资源给它施压,但一旦优先了你的项目,势必要把别人的项目延后,工具人也拿不定主意,这时候就要把相关部门都召集起来开会,各部门又有自己的立场和私心,看谁吵得过谁了。
业务进一步发展,业务部门持续增加,中台需要对接的业务部门也会逐步增加,容易出现业务部门被响应的需求不均匀情况,比如说某些业务压根插不上队的,这个时中台部门会扩招,然后分为若干个小组,每个小组专门对口特定的业务部门,这样每个业务部门的事务都是平行处理,就不用排队了。
但还是无法从根本上解决问题,因为部门的boss只有一个,所有的事情最后都要经过他批准,这些批准汇总到一起还是要排队,服务的部门越多,他一个人也签不过来,又只能拖长周期了。很多部门抱怨的是,HR招个人怎么要这么久?而且完全不了解我的需求。那这个时候该怎么办?
我国从中央到地方的各级政府就是双重架构。如市公安局同时归当地市政府和省公安厅管,市公安局的人事、财政由市政府管理,但业务上是服从省公安厅的管理。市公安局一把手的任命需要征得省公安厅的同意。这种架构的好处是,即保证地方机构运转的灵活性,又利于中央对地方统一指挥和协调,遇到全国性的紧急事务可以快速实现全国总动员。而西方联邦制国家,每个城市和每个州政府都是完全独立于中央,各自为政,只是把外交和军事委托给联邦政府,联邦政府无权对地方事务进行干涉,从疫情中也能看到这种架构的局限性,连戴口罩和打疫苗都无法顺利推行。
现在的很多公司也效仿了这种双重架构;如传统的HR是按照招聘、培训、绩效管理、薪酬福利、员工关系、组织发展、企业文化等七大模块分组,每个小组负责专门的职能。而新兴的模式则是在总部HR部门之外,每个业务部门也有自己的HR,这种HR叫HRBP,人事关系隶属于业务部门,一切听从业务部门boss的安排,同时虚线向总部HR部门汇报。业务部门自己的HRBP是全能型的,从招聘到员工关系都能做,所以招人也不需要通过总部HR,效率就大大提升。那总部HR还有什么存在的意义呢?总部HR保留了战略规划、政策制定和共享服务提供(如招聘软件、薪酬管理系统、社保录入等等)的职能。
因此,只垂直管理就会影响地方的效率,只分级管理影响中央到地方的沟通效率,横竖都是影响效率。双重领导是一个折中的做法。
这种架构一般服务于公司的高优项目,公司需要指派一名项目经理负责这个项目;然后项目经理按需从各个职能部门点将,抽调人才组成一个多功能的项目组
而其中的关键点在于项目经理是否要承担对团队的管理职责;在项目部架构下,所有人的人事关系暂时隶属于项目部,项目经理是真正的老大,掌握着团队成员的绩效评分。但在项目组架构下,每个人都还是原部门的人,归原部门老板管,这中模式下可能会带来问题;这里面都有一个关键点,即需要给项目经理放权,如果项目经理没有权利,最终可能只是充当背锅侠的角色,因为没法很好驱动下面的人去干活。
项目部因为是直接打绩效,所以有直接管辖权,这个问题还好;但对于项目组,需要有一些额外的处理,在许多成熟大公司里,特别是汽车行业和IT行业,项目经理是每周和大老板开会的,这一点很重要,因为经常碰面就意味着项目经理就有告状的权利了,大老板知道情况后就会拿职能部门的头是问,这样谁都怕得罪项目经理了。项目经理几乎就拥有一人之下万人之上的权力,就会很有效率了。
从政府的运作里也可以找到一些类似的机制,中央部委里,除了常设的机构外,还许多“领导小组”,这种领导小组不是常设机构,只是针对某一项议题成立的项目团队,有跨部门协调的权力,比如中央农村工作领导小组、中央教育工作领导小组等;以之前的新冠疫情的工作为例,应对如此重大的危机,揪着卫健委一个部门去处理肯定是不行的,因为卫健委最多只能管得到医院、疾控中心等单位,像封锁、隔离、停市停课、核酸检测、打疫苗、统计确诊病例、分析传播链条等工作,涉及到公安、城管、工商、教育、基层社区、财政等部门,卫健委对他们没有管辖权,是指挥不动的,只有位高权重的人亲自挂帅才能统筹安排。如国务院有设置“中央应对新型冠状病毒感染肺炎疫情工作领导小组”
上面提到的各个阶段,不是简单的替换关系,更多是相互叠加的关系;这种叠加,是为了解决前一个阶段里暴露出来的一个问题,但同时也会创造一个新的问题,所有的方法只能是暂时的解决每一阶段面临的主要矛盾。下一阶段又会遇到新的问题,大的组织和公司始终是船大难掉头,百年企业往往也意味着历史包袱太大,改革面临重重阻力,因此大公司也不可能无限制大下去,发展到一定程度又会被新的创业公司颠覆,新的创业公司变大之后也会重复以前大公司遇到的问题,又会被下一批新的创业公司干掉,这其实也是一件好事,对整个社会来说是激励兼容的,保证了社会的活力
团队组建的基本理念,跟之前写的 《
而在今年基本算从零开始搭建团队时,有了更加切身的体会,也在实际中遇到了很多问题:从明确业务定位与方向到拍定hc,招聘的考核方式,如何在短暂的面试时间充分获取信息,以及新人来之后的landing 过程等等
在这个过程中,判断当前业务在哪个阶段、业务方向怎么划分、需要什么样的组织架构去支撑这部分业务、每个业务需要放多少人、放什么样的人,等问题都是需要考虑的,前半部分跟具体的业务强相关,而后半部分涉及到“识人与用人”这个话题,也是今年有特别深体验的部分
识人与用人意味着你要通过短暂的面试或后续的合作阶段来判断候选人的性格、热情、技术栈等,把人放到合适的位置上,达到人力和业务的效率最大化;当然,这是正确的废话,实际中往往需要一些具体的方法;关于这个问题,知乎上有个不错的
对聪明人:收心放权,用利益吸引,用人品留住,用智慧防守。和聪明人,不要画饼,利弊关系一开始说清楚,各取所需互相支持。职场,无非是资深人士提供资源观点思路策略,新人提供时间精力情绪价值和事情落地。聪明,意味着利己,利己没错,不伤害他人利益能帮团队就好。要聪明人踏实下来,比让笨的人聪明起来还难
对笨点的:要事事耐心教导,他们很多观点和做事方法论是混沌的,要替他们解构梳理重建,需要时日。你不能急,你一急,他们一害怕就更慌乱,这样原本的水平都保不住。笨点的,大多忠心,但就像切菜用刀背,指望它锋利是不可能了,但用刀的重量也能拍蒜。很多事,聪明人看一眼五分钟就会了,但是教别人时,对方吭哧瘪肚地做了一天还做错了,如果不修炼心性,很多聪明人就会因此急躁,但是要学会为别人创造学会的环境,才是聪明人能获得领导力的转变。
对自作聪明的笨蛋:是杀敌八百自伤一千六的,如果不想和他们工作一辈子,那就一天都不要留。因为自作聪明意味着他们不甘平庸,但是智商上限低又让他们注定大多数小动作都很迷惑,既花哨多余又损人不利己。其实领导都是过来人,属下心里的小九九不会看不出来。很多时候看破不说破罢了。凡事得有个度,职场虽然不是江湖,但是懂点江湖道义,也不是坏事。
对于大智若愚的下属:我想说,找到聪明又仗义还有分寸感的下属,那种幸福感真是太棒了,分分钟想唱热血燃烧,然后变成复联一起扛刀去打天下。一定要珍惜,要以诚相待,要兼顾利益和情怀。
今年印象比较深的一个作品是《
从工业革命开始,人们害怕机器会替代劳动力,人们会失去大批工作;到人口大爆炸,人们担忧粮食不足,导致全球性饥荒;再到石油资源的预测,人们害怕不可再生能源的有限,导致环境破坏和经济崩塌;再到如今AI技术的出现,人们害怕自己从事的工种被替代...我们的焦虑永远不会停止,仿佛这个世界下一秒就要马上毁灭掉
但事实是工业革命之后,更多操作机器的工种出现,弥补了劳工工作的空缺;人口大爆炸推动了农业自动化和贸易全球化,农业产量增高,大批进出口的农作物不仅填饱了新生人口的肚子,还促进了不同国家间的交流与经济;每当我们认为石油将要用完时,都会有新的油田被发现,各项技术的发展使得石油的利用率大大增加,研发新的清洁能源,混合动力的发展,共同支撑起了新能源消耗型产业
格雷格·伊斯特布鲁克称这种集体焦虑叫“集体性地拒不相信生活会越变越好”。然而,每次我们担心的问题,都在不知不觉中被解决了。
原因是对于媒体而言,往往坏消息才是好新闻;对专家而言,唱衰仿佛更彰显理性;对大众而言,坏消息更容易让我们感同身受。人类更倾向于虚幻的想象,却往往忽略了实际的数据,
《
1980~2000年,的贫困人口消费量增加比世界整体快两倍。中国人比50年前富裕10倍,预期寿命长了28年。...据联合国估计,过去50年里贫困人口减少得比此前500年里还要多。
但即便如此,处在当下的我们,还是会觉得当下的时代是如此的糟糕;财富的增长,生活的便利,乃至节省的时间,这都是发展在不知不觉中带给我们的好处,然而我们往往忽略了这些好处,用压力、快节奏、竞争等词替换掉便利的现代生活特征。
人类的大脑中有一个名为“杏仁核”的器官,主要帮助我们应对生活中的危机事件,所以对“坏消息”极其敏感,因此坏消息更容易让我们感同身受。在必要时,杏仁核可以救命。但是在日常生活中,我们也很容易被“杏仁核”挟持,让我们倾向于看负面消息,觉得生活中充满危机。
回到生活或工作中,理性乐观意味着要看数据、看事实,从数据和第一性原理出发,去判断一件事情的好坏,而不是原始的恐惧情绪
那当外部有很多负面的声音的时候,我们又应该如何应对呢?《
在人缺乏自信或犹豫不决的时候,无论怎样的左思右想都于事无补。因此在这种时候,就要摒弃杂念,更为大胆、充满自信地向前迈进才行。
犹豫不决,不仅根本无法前行一步,还有可能往后倒退。对于你的犹豫不决,很多人当然会有他们各自的看法。而这时,我们要做的就是从中选出自己听起来最为顺耳,最能够使自己振作并快乐地努力下去的话语,从而坚定不移地向前迈进
当我们去接手一个业务或开拓一个新业务,往往会面临着非常多的外部负面信息;这些信息,有很多纯粹是情绪驱动的信息,也有很多道听途说忽略数据事实的信息,有些也许说得没错,但是也只是一个切面,没有抓住业务最核心的点;这个时候,最为重要也许就是坚定自己的决心,当然前提是要自己判断和认可业务是有价值的
《
咒语是什么?咒语是帮助我们看见情绪的”中断器“,因为人类的脑子里存在着无休止的、甚至是不靠谱的想法和情绪,而咒语就是中断这些无休止的想法的中断器
这种中断在感受和行为之间留出了足够的空间,这其实就对应着下面播客里的这一句咒语
这句话的英文原版是下面这个
Between stimulus and response there is a space. In that space is ourpower to choose our response. In our response lies our growth and ourfreedom.
在人类漫长的进化过程中,我们会对外界的刺激做很多应激反应(Reactive):战或逃(FightorFlight),这些应激反应可以帮助人类躲避外在危险,更好的保护自己。从进化的角度看,这些应激反应是为了完成生存和繁衍的任务,但并不能让我们更幸福、更自由。
这句咒语的意思是:如果我们能够感知到外界的刺激(Stimulus),能够在本能的应激反应(Reactive)之前,给自己一段距离,选择合适的回应方式(Responsive),我们就能寻找到更多的幸福和自由。孟岩为这句话写的
当你在看书的时候,突然想拿起手机刷一下朋友圈,这是来自大脑的刺激。这时,你可以应激反应(Reactive),马上拿起手机刷一会儿。你也可以在觉知后给自己一段距离(Space),你知道短暂的愉悦后会很空虚,知道继续看书会有更大的愉悦感,于是你选择用继续看书来回应(Responseive);
当别人在讨论中指出你的问题或是批评你做的不对,你感受到自己被冒犯、高大形象岌岌可危。这时,你可以应激反应(Reactive),明知自己错了但依然防卫性的讨论。你也可以在觉知后给自己一段距离(Space),你知道"找到什么是正确的“比捍卫"自己是正确的",要重要的多,于是你选择接受对方的批评来回应(Responseive);
当你脑海中不停萦绕最近发生的一件令人懊恼的事情,让你无法专心工作或生活。这时,你可以应激反应(Reactive),继续沉浸其中不可自拔。你也可以在觉知后给自己一段距离(Space),你知道过去的事情已经无法改变,但你能做到的是过好现在这个时刻,继而去影响旁边的人或事,从而引发更多积极的变化,于是你选择积极主动、专注当下来回应(Responseive);
当你看到朋友圈里一片哀嚎,当你被告知中国要崩溃了,股市要跌到2000点。这时,你可以应激反应(Reactive),点一下清仓卖出的按钮。你也可以在觉知后给自己一段距离(Space),你知道金融市场总会有春夏秋冬,你知道自己投资的初心是中国经济的增长,而这并没有改变,于是你选择继续持有、甚至加大买入来回应(Responseive);
这是另一句笔者深有体会的咒语,类比机器学习,流式更新的 online model会更加容易受到最近的样本的影响,而人同样是一个 onlinemodel,会更容易被眼前的事情影响,因为人是环境的产物
当我们大拇指在眼前 1cm的位置,会显得非常大,但如果我们把大拇指从眼前放回一臂的距离,总体感觉就会不一样。我们遇到的很多困难或问题,就是这个大拇指,无论是随着时间的流逝还是问题的逐步解决,我们的大拇指会慢慢从眼前放回到到一臂的距离
因此,未来会释然是真实的,但当下的那种痛苦也是真实的,通过这个咒语,会让我们在当下能够更加从容面对这些问题
回到生活或工作上,面对每天的“大拇指”,不妨想象把这些大拇指拿到一臂之外,也许就不会让我们当下如此焦虑或恐惧了
我们的一生好像都是在实现目标中挣扎着度过的。上初中的时候,老师告诉你,中考的淘汰率是最高的,只要闯过去,上了高中一切就好了。但上了高中的时候发现不是那么回事嘛,高中老师又说了啊,考上大学就进了天堂。于是你考上了大学,依然空虚迷茫各种草样年华,父母老师又告诉你,找到工作就好了。工作之后发现烦恼和忧虑依然都在,女朋友给你看马云的故事,告诉你等你事业有成就好了……
你发现了吗,其实人这一辈子的每一个阶段都有新的痛苦和顾虑,周而复始,生生不息。绝对不会因为你考上大学,事业有成,迎娶了女神就从此happily everafter。但每一个阶段也有每一个阶段的快乐,无法替代。生活不是安徒生童话也不是好莱坞电影,从出生的那一刻起直到生命的尽头,都不存在什么节点,过去了之后一切幸福美满无忧无虑。
每一段岁月都有它存在的价值,没有高低贵贱之分,都不应该被辜负。而我能想到的人这一生能做的最愚蠢的事情,就是把全部人生的希望都孤注一掷到未来的某个节点上,而忽略了生活本身应有的乐趣。哪怕你以后真正实现了那个执念中的目标,才会发现它远远没你想的那么美好。
年轻的时候和哥们在操场上打篮球喝可乐的快乐,是以后高尔夫球会所里品红酒替代不了的。尤其男生,千万不要总想着等将来有钱了如何如何,且不说你以后很可能不会太有钱,而且相信我,就是有钱了也真的不能怎么样。生命就在每天的生活里,一切执念都是虚妄。和身边的人愉快相处,认真安排好每一天的活动,用心去感受每一天的心境,就是生活的意义本身。这其实是我今天最想分享给你们的事情。
因此,不存在“有了...就会...”,我们也不要“等到...就...”,而是要学会“一边...一边...”;幸福不是发生在过去的某个瞬间,也不是未来的某个阶段,而是此时此刻的感受和体验
工作上也是如此,不存在做了某个业务,从此就顺风顺水了;不存在解决了某个问题,业务就能好起来了。难做从来就是常态,问题会无休止地涌向;我们要做的不是想着等我解决这个问题,业务就好起来了,就能一劳永逸了,而是想着我要一边处理问题过程中,一边完成自我的成长与业务的增长(当然,前提是业务真的有价值,你真的能从中成长)
世界其实跟我们想象的很不一样,无论是前面的《理性乐观派》还是《
我们都是在一个很小的局部,在盲人观象;通过自己的经验和感受,对一个非常复杂的世界作出预测;无论是前面提到的我们只经历了这个世界的0.00000001%,却希望用它去解释这个世界的 80%
面对当前的困难,人很容易有这样的错觉:如果我不是现在这样...,就能...了;这种简答的因果思维,跟前面谈到的“没有什么能把我们的人生分成两段”一样,是极其浮于表面与不合理的。
生活充满了随机性,我们很多时候的困难与痛苦来自这些随机性,但生活的美妙也是来自这些随机性
面对随机性,无论是
不知不觉就过去了几个月,这几个月里也经历了不少变动,接手了一个有争议的业务,在充满争议和“矛盾”的定位反复讨论与拉扯,虽然有点耗心力,但对业务也有了进一步的认知,也能逐步理解那些看似矛盾的定位,实际上更多是对业务发展阶段的判断不同;在负责了团队组建的工作后,也更能理解了组织为业务发展这一理念,一个组织从小到大的发展过程中遇到的种种问题,以及为了缓解当前问题提出的解决方案,如何催生出了下一个问题
问题是无休止了,我们能调控的更多是自己的心态与做事情的态度,因为“我们都能看到外部,但是一切发生在内部”,而“一个人最大的自由,是选择怎样回应事情”;心态会极大地影响我们的动作,难从来都是常态,做个理性乐观派,尝试把那些在眼前看着非常大的“大拇指”从眼前移开一臂的距离,我们会发现这些难点只是在眼前被放大了,世界并非我们想象的那样,即使我们原定在意大利的航班落在了荷兰,也一样能够感受荷兰此刻的迷人之处~
]]>It covers essential concepts, methodologies, and practical tips tohelp readers develop and implement their own algorithmic tradingstrategies while effectively managing risk and building a sustainabletrading business.
Due to the significant benefits I received from reading this book, Iwant to write down some of the most important takeways I get from thisbook, with the hope that it can also be useful to you.
This passage is about the last four chapters, which introducesexecution system in actual trading(automated and semi-automated), how tominimize transaction cost and determine the optimal leverage using theKelly Criterion. It also talks about some special topics or common sensein trading. Finally, it lists some advantages of individuals investorsover institutional investors.
This chapter is about building an automated trading system and waysto minimize trading costs and divergence with your expected performancebased on your backtests.
An automated trading system is a piece of software that automaticallygenerates and transmits orders to your brokerage account based on yourtrading strategy.
There are two kinds of trading systems: fully automated andsemiautomated, and the choice depends on the frequency of yourtrading.
A fully automated trading system can run the trading algorithm in aloop again and again, constantly scanning the latest prices andgenerating new waves of orders throughout the trading day. Thesubmission of orders through an API to your brokerage account isautomatic, so you would not need to load the trades to a basket traderor spread trader
A fully automated system has the advantage that it minimizes humanerrors and delays. For certain high-frequency systems, a fully automatedsystem is indispensable, because any human intervention will causeenough delay to seriously derail the performance.
However, a fully automated system is also complicated and costly tobuild, often requiring professional programmers with knowledge ofhigh-performance programming languages such as Java, C, or C++ in orderto connect to your brokerage’s application program- ming interface(API).
In a semiautomated trading system, the trader still needs to manuallyupload a text file containing order details to a basket trader or spreadtrader, and manually press a button to transmit the orders at theappropriate time. However, the order text file can be automaticallygenerated by a program such as Python.
Whether you have built a semiautomated or a fully automated tradingsystem, there is often a need for input data beyond the prices that yourbrokerage or data vendor can readily provide you. For example,earnings estimates or dividends data are often notprovided as part of the real-time data stream.
These non-price data are typically available free of charge from manyweb sites, but are usually embedded in an HTML format and not readilyusable. Hence, an automated system also must be able to retrieve suchweb pages, parse them, and reformat them into a tabular format that yourtrading strategy can utilize
In the previous chapter, we had talked about how to reducetransaction costs. Besides changing your brokerage or proprietarytrading firm to one that charges a lower commission, there are a fewthings you can do in your execution method to minimize the transactioncosts.
And the book regards this mainly as a matter of not allowingyour order size to be too big relative to its average trading volume andrelative to its market capitalization
You should refrain from trading lowprice stocks.Typically, institutional traders do not trade any stocks with priceslower than $5
Because low-price stocks increase your total commissions costs (sinceyou need to buy or sell more shares for a fixed amount ofcapital)(Why??)
Also it has a wider bid-ask spread and thereforeincrease your total liquidity costs
The definition of bid-ask spread from ChatGPT is as follow
The bid-ask spread is a concept used in financial markets,particularly in securities trading such as stocks, bonds, commodities,and foreign exchange. It refers to the difference between the highestprice a buyer is willing to pay (the bid price) and the lowest price aseller is willing to accept (the ask price) for a particular asset orsecurity.
A wider spread can indicate lower liquidity or highertransaction costs. Market conditions, supply and demanddynamics, trading volume, and the nature of the asset being traded canall influence the bid-ask spread.
We should limit the size (number of shares) of your orders based onthe liquidity of the stock, on which we can do two things:
One common measure of liquidity is the average daily volume (it isyour choice what lookback period you want to average over). As arule of thumb, each order should not exceed 1 percent of the averagedaily volume. As an independent trader, you may think that itis not easy to reach this 1 percent threshold, and you would be rightwhen the stock in question is a large-cap stock belonging to the S&P500. However, you may be surprised by the low liquidity of somesmall-cap stocks out there
Another way to reduce market impact is to scale the size of yourorders based on the market capitalization of a stock.
A linear scale (i.e., scaling the capital of a stock to be linearlyproportional to its market capitalization) would result inpractically zero weights for most small- and micro- cap stocks in yourportfolio, and this will take away any benefits ofdiversification
If we were to use linear scale, the capital weight of the largestlarge-cap stock will be about 10,000 of the smallest small-cap stock. Toreap the benefits of diversification, we should not allow thatratio to be more than 10 or so, provided that the liquidity(volume) constraint described above is also satisfied.
Many institutional traders who desire to execute a large order willbreak it down into many smaller orders and execute them over time. Thismethod of trading will certainly reduce market impact; however, itengenders another kind of transactions costs, namely, slippage,
Reducing market impact in this way may increase slippage, itis not really suitable for retail traders whose order size is usuallynot big enough to require this remedy
Slippage is usually outside of your control, perhaps your brokerage’sexecution speed is simply too slow, due to either software issues (theirsoftware processes your orders too slowly), risk control issues (yourorder has to be checked against your account’s buying power and passvarious risk control criteria before it can be routed to the exchange),or pipeline issues (the brokerage’s speed of access to the exchanges).Or perhaps your brokerage does not have access to deep enough“dark-pool” liquidity. These execution costs and issues should affectyour choice of brokerages
Paper trading refers to the practice of simulating trades in arisk-free environment using virtual money instead of real capital.
When performing paper trading, there are several key aspects to payattention to in order to make the experience as valuable and realisticas possible
You should be able run your ATS, execute paper trades, and thencompare the paper trades and profit and loss (P&L) with thetheoretical ones generated by your backtest program using thelatest data. If the difference is not due to transaction costs(including an expected delay in execution for the paper trades), thenyour software likely has bugs.
It gives you better intuitive understanding of yourstrategy, including the volatility of its P&L, the typicalamount of capital utilized, the number of trades per day, and thevarious operational difficulties including data issues.
There are some common problems in paper trading, some of them arelisted in the following
The moment you start paper trading you will realize that there is aglaring look-ahead bias in your strategy—there may just be no way youcould have obtained some crucial piece of data before you enter anorder
If you are able to run a paper trading system for a month or longer,you may even be able to discover data-snooping bias, since paper tradingis a true out-of-sample test.
Backtesting also won’t reveal the operational difficulties, such ashow fast you can download all the needed data before the market openseach day and how you can optimize your operational procedures in actualexecution, but paper trading will make you feel all these.
In summary, paper trading allows you to:
What do you do in the situation when your live trading underperformsyour backtest?
The list of what possibly may have caused this divergence fromexpectation is as follows
You can start by addressing the usual problems: Eliminate bugs in thestrategy or execution software; reduce transaction costs; and simplifythe strategy by eliminating parameters. But, fundamentally, yourstrategy still may have suffered from data-snooping bias orregime shift.
You can verify this cause by trying to eliminate as many rules and asmany parameters in your strategy as possible. If the backtestperformance completely fell apart after this exercise, chances are youdo have this bias and it is time to look for a new strategy.
When the financial market structure or the macroeconomic environmentundergoes a drastic change so much so that trading strategies that wereprofitable before may not be profitable
One regime shift is relevant if your strategy shortsstocks.
Many stocks, especially the small-cap ones or the ones with lowliquidity, are “hard to borrow.” For you to be able to short a stock,your broker has to be able to borrow it from someone else (usually alarge mutual fund or other brokerage clients) and lend it to you forselling.
If no one is able or willing to lend you their stock, it is deemedhard to borrow and you would not be able to short it. Hence, again, avery profitable historical short position may not actually have beenpossible due to the difficulty of borrowing the stock.
This chapter provides an important tool for risk management: thedetermination of the optimal leverage using the KellyCriterion.
It also determines the optimal allocation of capital among differentstrategies, based on the covariance of their returns.
The general form of the
\[f^{*} = \frac{p}{a} -\frac{q}{b}\]
where - \(f^{*}\) is the fraction ofthe assets to apply to the security. -
In an intuitive understanding of the Kelly Criterion, it involvestaking the probability of winning divided by the multiple of the wageredcapital when you lose (typically 1 in the case of gambling), and thensubtracting the probability of losing divided by the multiple of thecapital gained when you win.
Since this formula can result in Kelly fractions higher than1. In this case, it is theoretically advantageous to useleverage to purchase additional securities onmargin.
The proof of Kelly Formula is also easy to understand, the details inwiki is as follows
But it's important to note that the Kelly Criterion is notsuitable for all situations. It assumes that you know the odds orreturns and expected probabilities, while ignoring marketuncertainties and other factors. Therefore, in practical applications,the Kelly Criterion is often combined with real-world considerations andrisk tolerance to formulate more reasonable and feasible moneymanagement strategies.
Also, the Kelly criterion is valid only for known outcomeprobabilities, which is not the case with investments.
The ultimate risk management mind-set is very simple: Do not succumbto either despair or greed. To gain practice in this psychologicaldiscipline, one must proceed slowly with small positionsize, and thoroughly test various aspects of the tradingbusiness (model, software, operational procedure, money and riskmanagement) before scaling up according to the Kelly formula.
In order to proceed slowly and cautiously, it is helpful to haveother sources of income or other businesses to help sustain yourselfeither financially or emotionally (to avoid the boredom associated withslow progress). It is indeed possible that finding a diversion, whetherincome producing or not, may actually help improve the long-term growthof your wealth.
The special topics in this book includes
Trading strategies can be profitable only if securities prices areeither mean-reverting or trending. Otherwise, they are random-walking,and trading will be futile.
At any given time, stock prices can be both mean reverting andtrending depending on the time horizon you are interested in.Constructing a trading strategy is essentially a matter ofdetermining if the prices under certain conditions and for a certaintime horizon will be mean reverting or trending, and what theinitial reference price should be at any given time.(When the prices aretrending, they are also said to have “momentum,” and thus thecorresponding trading strategy is often called a momentum strategy.)
There are multiple reasons for momentum, slow diffusion ofinformation, private liquidity needs and herdlike behavior
Momentum can be generated by the slow diffusion of information—asmore people become aware of certain news, more people decide to buy orsell a stock, thereby driving the price in the same direction.
Stock prices may exhibit momentum when the expected earnings havechanged. This can happen when a company announces its quarterlyearnings, and investors either gradually become aware of thisannouncement or they react to this change by incrementally executing alarge order .
Besides the slow diffusion of information, momentum can be caused bythe incremental execution of a large order due to the liquidity needs orprivate investment decisions of a large investor.
With the advent of increasingly sophisticated execution algorithmsadopted by the large brokerages, it is, however, increasingly difficultto ascertain whether a large order is behind the observed momentum.
Momentum can also be generated by the herdlike behavior of investors:investors interpret the (possibly random and meaningless) buying orselling decisions of others as the sole justifications of their owntrading decisions.
But momentum regimes generated by private liquidity needs andherdlike behavior have highly unpredictable time horizons.
The most important things we need to pay attention to may be theeffects of increasing competition from traders with the samestrategies
For mean-reverting strategies, the effect typically isthe gradual elimination of any arbitrage opportunity, and thus graduallydiminishing returns down to zero. When the number of arbitrageopportunities has been reduced to almost zero, the mean-revertingstrategy is subject to the risk that an increasing percentage of tradingsignals are actually due to fundamental changes in stocks’ valuation andthus is not going to mean revert.
For momentum strategies, the effect of competition isoften the diminishing of the time horizon over which the trend willcontinue. As news disseminates at a faster rate and as moretraders take advantage of this trend earlier on, the equilibrium pricewill be reached sooner. Any trade entered after this equilibrium priceis reached will be unprofitable.
The desire to predict regime switches, which are also commonly knownas turning points, is also as old as financial markets themselves
Academic attempts to model regime switches in stock prices generallyproceed along these lines(Markov regime switching or hidden Markovmodels)
Propose that the two (or more) regimes are characterizedby different probability distributions of the prices. In thesimplest cases, the log of the prices of both regimes may be representedby normal distributions, except that they have different means and/orstandard deviations.
Assume that there is some kind of transitionprobability among the regimes.
Determine the exact parameters that specify the regimeprobability distributions and the transition probabilities by fittingthe model to past prices, using standard statistical methodssuch as maximum likelihood estimation.
Based on the fitted model above, find out the expected regime ofthe next time step and, more importantly, the expected stockprice.
The method above assumes constant transition probabilities amongregimes at all times. In practice, this means that at any time, there isalways a very small probability for the stock to transition from anormal, quiescent regime to a volatile regime. But this isuseless to traders who want to know when—and under what preciseconditions—the transition probability will suddenly peak. Thisquestion is tackled by the turning points models.
A time series is “stationary” if it never drifts farther and fartheraway from its initial value. In technical terms, stationary time seriesare “integrated of order zero"
It is obvious that if the price series of a security isstationary, it would be a great candidate for a mean-reversion strategy.Unfortunately, most stock price series are not stationary—they exhibit ageometric random walk that gets them farther and farther away from theirstarting
If you find** a pair of stocks such that if you long one and shortthe other, the market value of the pair is stationary.** If this is thecase, then the two individual time series are said to be cointegrated.because a linear combination of them is integrated of order zero.
Usually, two stocks that form a cointegrating pair are from the sameindustry group. Traders have long been familiar with this so-calledpair-trading strategy. They buy the pair portfolio whenthe spread of the stock prices formed by these pairs is low, andsell/short the pair when the spread is high—in other words, a classicmean-reverting strategy
If a price series (of a stock, a pair of stocks, or, in general, aportfolio of stocks) is stationary, then a mean-reverting strategy isguaranteed to be profitable, as long as the stationarity persists intothe future (which is by no means guaranteed).
However, the converse is not true. You don’t necessarily need astationary price series in order to have a successful mean-revertingstrategy. Even a nonstationary price series can have manyshort-term reversal opportunities that one can exploit, as manytraders have discovered.
Assume excess returns \(R\) can beobtained in the formula
\[R = Xb+u\]
There are multiple components in the formula
Factor returns,
Factor exposures,
Specific return,
A famous factor model is Three-Factor model, that isexcess return of a stock depends linearly on only three factorexposures: beta, market capitalization and book-to-priceratio
These factor exposures are obviously different for each stock and foreach time period. (Factor exposures are often normalized such that theaverage of the factor exposures within a universe of stocks is zero, andthe standard deviation is 1.)
What about the factor returns and specific returns? We cannotdirectly compute the factor returns and specific returns—we have toinfer their values by running a multivariate linear regression of theexcess returns of stocks against the factor exposures.
Note that each stock represents one data point in this linearregression, and we have to either run a separate linear regression foreach time period or, if we want an average value over many time periods,aggregate the values from all these time periods into one training setand run one regression against them all.
But the limitation of factor models are also obvious, one can make ageneral observation that factor models that are dominated byfundamental and macroeconomic factors have one major drawback—theydepend on the fact that investors persist in using the same metric tovalue companies
For example, even though the value (book-to-price ratio) factorreturns are usually positive, there are periods of time when investorsprefer growth stocks such as during the Internet bubble in the late1990s
Therefore, it is not uncommon for factor models to experiencesteep drawdown during the times when investors’ valuation methodshifts, even if only for a short duration. But then, thisproblem is common to practically any trading model that holds stocksovernight.
There isn’t usually much variety in the way exit signals aregenerated. They are based on one of these
Fixed Holding Period
For momentum model, the optimal period typically decreases due to theincreasing speed of the diffusion of information and the increasingnumber of traders who catch on to this trading opportunity. Hencea momentum model that has worked well with a holding periodequal to a week in the backtest period may work only with a one-dayholding period now
For mean-reverting model, there is a more statistically robust way todetermine the optimal holding period that does not depend on the limitednumber of actual trades, that is
The Ornstein-Uhlenbeck process is a stationary Gaussian process thatexhibits mean-reverting behavior. In simpler terms, it models a systemthat tends to return to a central equilibrium or mean value over time,similar to a particle undergoing Brownian motion but with a restoringforce pulling it back towards a mean position.
The definition of the Ornstein-Uhlenbeck
Mathematicians tell us that the average value of
Target Price
If you believe that your security is mean reverting, then you alsohave a ready-made target price—the mean value of the historical pricesof the security, or \(\mu\) in theOrnstein-Uhlenbeck formula.
But target prices are not as easily justified in momentum models asin mean-reverting models.
Latest entry signals
Suppose you are running a trading model, and you entered into aposition based on its signal. Some time later, you run this model again.If you find that the sign of this latest signal is opposite to youroriginal position (e.g., the latest signal is “buy” when you have anexisting short position), then you have two choices. Either you simplyuse the latest signal to exit the existing position and become flat oryou can exit the existing position and then enter into an oppositeposition
These strategies recommend that you buy or sell certain securities ata fixed date of every year
However, from my own experience, much of the seasonality in equitymarkets has weakened or even disappeared in recent years, perhaps due tothe wide spread knowledge of this trading opportunity, whereas someseasonal trades in commodity futures are still profitable
The most famous seasonal trade in equities is called theJanuary effect.
One version states that small-cap stocks that had the worst returnsin the previous calendar year will have higher returns in January thansmall-cap stocks that had the best returns. The rationale for this isthat investors like to sell their losers in December to benefit from taxlosses, which creates additional downward pressure on their prices.
In general, if a high Sharpe ratio is the goal of your tradingstrategy (as it should be), then you should be trading at highfrequencies, rather than holding stocks overnight.
The reason why these strategies have Sharpe ratio is simple: Based onthe “law of large numbers,” the more bets you can place, the smaller thepercent deviation from the mean return you will experience. Withhigh-frequency trading, one can potentially place hundreds if notthousands of bets all in one day.
Therefore, provided the strategy is sound and generatespositive mean return, you can expect the day-to-day deviationfrom this return to be minimal. With this high Sharpe ratio, one canincrease the leverage to a much higher level than longer-term strategiescan
But no strategy can actually guarantee positive mean return, besides,high-frequency trading also requires harder backtesting and morepowerful infrastructure
Though successful high-frequency strategies have such numerousmerits, it is not easy to backtest such strategies when the averageholding period decreases to minutes or even seconds. Just havinghigh-frequency data with last prices is not sufficient—data with bid,ask, and last quotes is needed to find out the profitability ofexecuting on the bid versus the ask
High-speed execution may account for a large part of the actualprofits or losses. Professional high-frequency trading firms have beenwriting their strategies in C instead of other, more user-friendlylanguages, and locating their servers next to the exchange or a ma- jorInternet backbone to reduce the microsecond delays.
Even though the Sharpe ratio is appealing and the returnsastronomical, truly high-frequency trading is not by any means easy foran independent trader to achieve in the beginning. But there is noreason not to work toward this goal gradually as expertise and resourcesaccrue
This section primarily outlines some advantages that individualinvestors have in quantitative trading compared to institutionalinvestors.
A significant difference between individual and institutional quanttrading lies in the size of capital (capacity).
The book states that it is far, far easier to generate a high Sharperatio trading a 100,000 account than a 100 million account
Different capital sizes lead to different strategies, and it'sgenerally easier to profit in small-scale quant trading compared tomanaging large amounts of capital. And there are many simple andprofitable strategies that can work at the low capacity end that wouldbe totally unsuitable to hedge funds.
More details about this can be obtained from this question on
The specific reason for such phenomenon, as explained in the book,starts with liquidity: small capital provides liquidity, whilelarge capital demands liquidity.
Most profitable strategies that have low capacities are acting asmarket makers: providing short-term liquidity when it is neededand taking quick profits when the liquidity needdisappears.
However, you have billions of dollars to manage, you nowbecome the party in need of liquidity, and you have to pay forit. To minimize the cost of this liquidity demand, younecessarily have to hold your positions over long periods of time. Whenyou hold for long periods, your portfolio will be subject tomacroeconomic changes (i.e., regime shifts) that can cause great damageto your portfolio.
Another issue with large-scale funds is that they engage incompetition with different hedge funds, ultimately resulting insimilar holdings and similar returns
The intense competition among hedge funds means the strategies becomeless profitable. The lowered returns in turn pressure the fund managerto overleverage.
The fundamental market inefficiency that they are trying to exploitmay remain the same, and thus their portfolios may still end up holdingvery similar positions. When market environment changes, a stampede outof similar losing positions can (and did) cause a complete meltdown ofthe market.
Another difference between individual and institutional quant tradingis the constraints during trading.
For example, as a trader in a quantitative fund, you may beprohibited from trading a long-only strategy, but long-only strategiesare often easier to find, simpler, more profitable, and if traded insmall sizes, no more risky than market-neutral strategies. Or you may beprohibited from trading futures. You may be required to be not onlymarket neutral but also sector neutral. You may be asked to find amomentum strategy when you know that a mean-reverting strategy wouldwork.And on and on. Many of these constraints are imposed for riskmanagement reasons, but many others may be just whims, quirks, andprejudices of the management.
When your strategy shows initial profits, these managers may imposeenormous pressure for you to scale up quickly, and when your strategystarts to lose, they may force you to liquidate the portfolios andabandon the strategy immediately.
As every student of mathematical optimization knows, any constraintimposed on an optimization problem decreases the optimal objectivevalue. Similarly, every institutional constraint imposed on a tradingstrategy tends to decrease its returns
This passage firstly introduces two kinds of execution system,automated and semi-automated, and the choice depends on the frequency ofyour trading. But no matter which one to choose, minimizing transactioncost is very necessary, we should cut down on commissions, minimizemarket impact cost and try to avoid slippage as much as possible.
In actual trading, risk management is very necessary. One importantpoint is to determine the optimal leverage using the Kelly Criterion.Andthe mind-set is also very important, do not succumb to either despair orgreed, proceed slowly with small position size, and thoroughly testvarious aspects of the trading business.
It also talks about some special topics or common sense in trading,including mean reversion strategy and momentum startegy, regimeswitching, stationarity and cointegration, factor model, seasonaltrading models, high-frequency trading. These can be also regarded ascommon sense in quantative trading
Finally, it lists some advantages of individual investors overinstitutional investors, capacity and constraints. Individual investorscan use many more strategies than institutional investors with smallercapacity, and also face fewer constraints.
Once you have automated everything and your equity is growingexponentially, can you just sit back, relax, and enjoy your wealth?Unfortunately, experience tells us that strategies do lose theirpotency over time as more traders catch on to them. It takes ongoingresearch to supply you with new strategies. So keep studyingand thinking, this will be an endless game.
]]>It covers essential concepts, methodologies, and practical tips tohelp readers develop and implement their own algorithmic tradingstrategies while effectively managing risk and building a sustainabletrading business.
Due to the significant benefits I received from reading this book, Iwant to write down some of the most important takeways I get from thisbook, with the hope that it can also be useful to you.
This passage is about the first four chapters, which introduce basicrequirements for independent traders, including search for ideas,perform backtest, and what we need before conducting real trading.
Quantitative trading, also known as algorithmic trading, is thetrading of securities based strictly on the buy/sell decisions ofcomputer algorithms.
It relies on advanced mathematical and statistical models, computeralgorithms, and data analysis to make trading decisions. It involves theuse of quantitative techniques to identify patterns, trends, andopportunities in financial markets and execute trades automaticallywithout human intervention.
The quantitative trading this book focuses on is calledstatistical arbitrage trading, which deals with thesimplest financial instruments: stocks, futures, and sometimescurrencies. The book argues that one does not need an advanced degree tobecome a statistical arbitrage trader, compared to those institutionalquantitative traders who received their advanced degrees as physicists,mathematicians, engineers, focusing on trading complex derivativeinstruments
As this book is focus on independent quantitative traders, it listssome demands for anyone who wants to venturing into this field, the mostimportant one I though is the following one
When one plunges into independent trading, fear of losses and ofbeing isolated from the rest of the world is natural, and so it helps tohave both a prior appreciation of risks and some savings to lean on. Itis important not to have a need for immediate profits to sustain yourdaily living, as strategies have intrinsic rates of returns that cannotbe hurried
The ideal independent quantitative trader is thereforesomeone who has some prior experience with finance or computerprogramming, who has enough savings to withstand the inevitable lossesand periods without income, and whose emotion has found the rightbalance between fear and greed.
The book also talks about how much time to take for independentquantative trading, since most people who enter this field aims forfreedom of wealth so as to have more time for their lives.And it dependsvery much on the degree of automation you have achieved. The authorlists himself as an example
The largest block of time I need to spend is in the morning beforethe market opens: I typically need to run various programs to downloadand process the latest historical data, read company news that comes upon my alert screen, run programs to generate the orders for the day, andthen launch a few baskets of orders before the market opens and start aprogram that will launch orders automatically throughout the day. Iwould also update my spreadsheet to record the previous day’s profit andloss (P&L) of the different strategies I run based on thebrokerages’ statements. All of this takes about two hours.
But the two hours reffered above is just the operational side of thebusiness. If you want to grow your business, or keep your currentprofits from declining due to increasing competition, you will need tospend time doing research and backtesting on new strategies. Butresearch and development of new strategies is the creative part of anybusiness, and it can be done whenever you want to. And this may take alot of time
If you are convinced that you want to become a quantitative trader, anumber of questions immediately follow, which will be answered in thefollowing chapters
This part mainly answers the first question, How do you find theright strategy?
Finding a strategy is not hard, there are hundreds, if not thousands,of trading ideas that are in the public sphere at any time, accessibleto anyone at little or no cost. But they may not be useful, especiallyfor academics
The author states in the book that he had found that many strategiesdescribed by academics are either too complicated, out of date (perhapsthe once-profitable strategies have already lost their power due tocompetition), or require expensive data to backtest (such as historicalfundamental data). Furthermore, many of these academic strategies workonly on small-cap stocks, whose illiquidity may render actualtrading profits far less impressive than their backtests wouldsuggest.
However, numerous publicly accessible strategies may not be highlyrigorous, but one can consider making slight adjustments to thesestrategies to achieve profitability. For example, the strategies fromtraders’ forums may have worked only for a little while, or they workfor only a certain class of stocks, or they work only if you don’tfactor in transaction costs. However, the trick is that you can oftenmodify the basic strategy and make it profitable
There are many factors to consider to get the most suitable strategyfor you, including working hours, programming skills, trading capital,etc. Here we jsut focus on the factor of capital. Because capitalavailability affects many choices
The first is whether you should open a retail brokerage account or aproprietary trading account, which will be explained with more detailsin chapter 4
With a low-capital account, we need to findstrategies that can utilize the maximum leverageavailable. Trading futures, currencies, and options can offer you higherleverage than stocks; intraday positions allow a Regulation T leverageof 4, while interday (overnight) positions allow only a leverage of2
Capital (or leverage) availability determines whether you shouldfocus on directional trades (long or short only) or dollar-neutraltrades (hedged or pair trades).
A
Capital availability also imposes a number of indirect constraints.It affects how much you can spend on various infrastructure, data, andsoftware.
For example, if you have low trading capital, your online brokeragewill not be likely to supply you with real-time market data for too manystocks, so you can’t really have a strategy that requires real-timemarket data over a large universe of stocks.
Similarly, clean historical stock data with high frequency costs morethan historical daily stock data. And historical stock data withoutsurvivorship bias are much more expensive than those that have such abias. Yet if your data have survivorship bias, the backtest result canbe unreliable.
There is a misconception aired by some investment advisers, that isif your goal is to achieve maximum long-term capital growth, then thebest strategy is a buy-and-hold one. This notion has been shown to bemathematically false.
In reality, maximum long-term growth is achieved by finding astrategy with the maximum Sharpe ratio (defined in the next section),provided that you have access to sufficiently high leverage. Therefore,comparing a short-term strategy with a very short holdingperiod, small annual return, but very high Sharpe ratio, to a long-termstrategy with a long holding period, high annual return, but lowerSharpe ratio, it is still preferable to choose the short-term strategyeven if your goal is long-term growth, barring taxconsiderations and the limitation on your margin borrowing (more on thissurprising fact later in Chapter 6 on money and risk management).
A long holding period does not guarantee a good strategy; however, inmany cases, it is really hard to judge the market trend correctly, whichleads to the truth that long-term approach is more profitable thanshort-term approach
The following image includes the difference between low capital andhigh capital
And the autor's experience may also bring us some insights
I started my life as an independent quantitative trader with $100,000at a retail brokerage account (I chose Interactive Brokers), and Itraded only directional, intraday stock strategies at first. But when Ideveloped a strategy that sometimes requires much more leverage in orderto be profitable, I signed up as a member of a proprietary trading firmas well.
Even before doing an in-depth backtest of the strategy, you canquickly filter out some unsuitable strategies if they fail one or moreof these tests:
We will talk about the above questions one by one
To compare strategy with a benchmark is important, but we also needto realize that different assets require different benchmarks
Everybody seems to know that if a long-only strategy returns 10percent a year, it is not too fantastic because investing in an indexfund will generate as much, if not better, return on average. However,if the strategy is a long-short dollar-neutral strategy (i.e., theportfolio holds long and short positions with equal capital), then 10percent is quite a good return, because then the benchmark of comparisonis not the market index, but a riskless asset such as the yield of thethree-month U.S. Treasury bill (which at the time of this writing isabout 4 percent).
And Excess Returns = Portfolio Returns − Benchmark Returns
Don't just consider the return rate, Sharpe ratio is alsoimportant
There is often a trade-off between the return rate and the sharperatio; however, the book suggests that higher Sharpe ratio often leadsto higher returns because leverage can be applied to benefit, and thepartial risk of leverage can be hedged by the high Sharpe ratio.
If a strategy has deep (e.g., more than 10 percent) or lengthy (e.g.,four or more months) drawdowns, it is unlikely that it will have a highSharpe ratio
Any strategy with a Sharpe ratio less than 1 is not considered a goodstrategy, and strategies that are profitable every day typically have aSharpe ratio greater than 3.
In addition to commission fees, there are also costs incurred due toliquidity; for example, the inability to sell at a specific price or theprice drop after selling.
The book explains this point with the following example
when you buy or sell a large chunk of securities, you will not beable to complete the transaction without impacting the prices at whichthis transaction is done. This effect on the market prices due to yourown order is called market impact, and it can contribute to a large partof the total transaction cost when the security is not very liquid
The term "slippage" is used to describe the situation mentionedabove, slippage is the difference between the price that triggers theorder and the execution price. Of course, this slippage can be of eithersign, but on average it will be a cost rather than a gain to thetrader
Taking transaction costs into account, the Sharpe ratio of astrategy may shift from positive to negative.
Usually there are two problems related to data, surviveship bias andregime shifts
Survivorship bias in data refers to the exclusion of assets that havealready delisted or disappeared from the backtesting data.
Some strategies are significantly impacted by this bias, such asthose specifically focus on buying cheap stocks. These strategies maynot be targeting undervalued assets, but rather assets that are on theverge of delisting or disappearing.
As to "regime shifts" in the financial markets, it means thatfinancial data from an earlier period simply cannot be fitted to thesame model that is applicable today
This point may be hard to swallow for many statistically mindedreaders. Many of them may think that the more data there is, the morestatistically robust the backtest should be. This is true only when thefinancial time series is generated by a stationary process.Unfortunately, financial time series is famouslynonstationary
For personal traders, avoid blindly following strategies ofsuperstitious large institutions; instead, find a well-considered andindependent strategy that suits you, or "strategy fly under theRadar"
You should look for those strategies that fly under the radar of mostinstitutional investors, for example, strategies that have very lowcapacities because they trade too often, strategies that trade very fewstocks every day, or strategies that have very infrequent positions
There are many nuts and bolts involved in creating a realistichistorical backtest and in reducing the divergence of the futureperformance of the strategy from its backtest performance.
Issues discussed here include:
There are serveral aspects to which we need to pay attention whendealing with data in backtesting
In the financial field, a dividend refers to a portion of a company'sprofits distributed to its shareholders. When a company makes a profit,it can choose to return a portion of the earnings to its shareholders inthe form of cash or stock. This is known as a dividend payment. Thereare two main types of dividends:
As to split, a stock split refers to a company dividing its existingshares into a larger number of shares at a certain ratio, therebyincreasing the number of shares while reducing the price per share. Forexample, a 2-for-1 stock split means each share is split into twoshares, but the price per share is reduced by half. Stock splits do notchange the market value of the company or the total equity ofshareholders.
The viewpoint of this book is that we need to refresh the price ofthe stock when there is dividen or split, according the the exact numberof dividen or split
A backtest that relies on high and low data is less reliable than onethat relies on the open and close.
After retrieving the data from a database, it is often advisable todo a quick error check. The simplest way to do this is tocalculate the daily returns based on the data. If youhave open, high, low, and close prices, you can calculate the variouscombinations of daily returns such as from the previous high to today’sclose as well. You can then examine closely those days with returns thatare, say, 4 standard deviations away from the average.Typically, anextreme return should be accompanied by a news announcement, or shouldoccur on a day when the market index also experienced extreme returns.If not, then your data is suspect
One way to overcome this problem is to start collecting point-in-timedata yourself for the benefit of your future backtest. If you save theprices each day of all the stocks in your universe to a file, then youwill have a point-in-time or survivorship-bias-free database to use inthe future. Another way to lessen the impact of survivorship bias is tobacktest your strategies on more recent data so that the results are notdistorted by too many missing stocks.
The point in this book is that sharpe ratio anddrawdowns are the two most important measurements inbacktesting.
But usually it did not include average annualized returns, themeasure most commonly quoted by investors. The reason in the book is ifyou use this measure, you have to tell people a number of things aboutwhat denominator you use to calculate returns.
In general, if you calculate your average and standard deviation ofreturns based on a certain trading period T, whether T is a month, aday, or an hour, and you want to annualize these quantities, you have tofirst find out how many such trading periods there are in a year (callit NT). Then Annualized Sharpe Ratio = (NT) × SharpeRatio
These pitfalls are actually some common problems in machinelearning
Look-Ahead Bias: same as the problem of data leakage in machinelearning
Data-Snooping Bias: same as the problem of overfitting in machinelearning, the author offers his experience as follows
Usually, an erroneous backtest would produce a historical performancethat is better than what we would have obtained in actual trading
As a rule of thumb, I would not employ more than five parameters,including quantities such as entry and exit thresholds, holding period,or the lookback period, in computing moving averages.
Let’s assume that the number of data points needed foroptimizing your parameters is equal to 252 times the number of freeparameters your model has.(purely on experience.)
Once you have optimized your parameters as well as various featuresof your model and have verified that its performance on a test set isstill reasonable, vary these parameters or make some small qualitativechanges in the features of the model and see how the performance changeson both the training and the test sets.
In actual financial trading, there are various costs involved, likecommission, liquidity cost, opportunity cost, market impact, andslippage, which we had reffered in the previous chapter
These costs can greatly impact the final returns in backtesting.Andit should not surprise you to find that a strategy with a high Sharperatio before adding transaction costs can become very unprofitable afteradding such costs
So you should consider transaction costs in backtesting
Usaually there are some very simple strategies that are fairly wellknown in traders’ circles and are still somewhat profitable, thoughtheir returns seem to be diminishing. An example is the pair trading ofstocks. The reason they are diminishing in returns is that toomany traders are taking advantage of this arbitrage opportunity andgradually erasing the profit margin. However, it is oftenpossible to introduce minor variations in the basic strategy, which willboost its returns.
These minor variations are often far less well known than the basicstrategy, and therefore far less well exploited by traders. Sometimesthey involve excluding certain stocks or groups of stocks fromthe universe. For example, traders often prefer to excludepharmaceutical stocks from their technical trading program because ofthe dramatic impact of news on their prices, or else they may excludestocks that have pending merger or acquisition deals. Other traderschange the entry and exit timing or frequency of thetrades. And a strategy that has a very good Sharperatio when it is applied to small-cap stocks becomes very unprofitablewhen applied to large-cap stocks.
When introducing these refinements to your strategy, it ispreferable that the refinement has some basis in fundamental economicsor a well-studied market phenomenon, rather than some arbitrary rulebased on trial and error. Otherwise, data-snooping biaslooms.
Proprietary trading firms are financial companies specialized inproprietary trading. This means they use their own capital for trading,aiming to profit from market fluctuations. These firms typically havehighly specialized trading teams that employ complex trading strategies.They use their own funds for trading, enabling them to seek profits inhigh-risk, high-return markets.
Retail brokerage accounts are accounts opened by individual investorswith a brokerage or securities firm. Through retail brokerage accounts,individual investors can buy and sell financial products such as stocks,bonds, and funds. These accounts are typically geared towards thegeneral public and offer relatively simple investment options andtrading functionalities. The funds in these accounts come from theindividual investors themselves and are used to meet their personalinvestment needs.
Their difference are listed as follows in this book
In a nutshell, retail brokerages give you complete freedomand better capital protection but smaller leverage, whileproprietary trading firms give you less freedom and less capitalprotection but much high leverage. You can choose to have both retailand proprietary accounts, each tailored to the specific needs of yourstrategies
The decision whether to go retail or to join a proprietary tradingfirm is generally based on your need of capital, the style of yourstrategy, and your skill level.
For example, if you run a low-risk, market-neutral strategy thatnevertheless requires a much higher leverage than allowed by RegulationT in order to generate good returns, a proprietary account may be betterfor you. However, if you engage in high-frequency futures trading thatdoes not require too much capital, a retail account may save you a lotof costs and hassles. Similarly, a very experienced trader with strongrisk man- agement practices and emotional stability probably doesn’tneed the guidance given by a proprietary firm, but less experiencedtraders may benefit from the imposed restraints.
Regardless of whether you have chosen to trade in a retail bro-kerage or join a proprietary trading firm, you need to make sure theirtrading account and systems have these features:
A "deep pool of liquidity" refers to a financial market or tradingenvironment where there is a significant volume of buy and sell ordersavailable for a particular asset (such as a stock, currency, orcommodity) at various price levels. In other words, it is a market witha large number of participants willing to trade that particular asset,resulting in a high level of trading activity.
In quantitative trading, high-performance servers and reliablenetwork connections are critical because they directly affect theefficiency of executing trading strategies and the stability oftrades.
Here are some aspects that need to be cosidered in this part
Server Selection: Quantitative trading requiresthe use of high-performance servers, typically servers with powerfulprocessing capabilities and large memory capacity. These servers need toprocess market data rapidly, run complex trading strategies, and executetrade instructions efficiently.
Low Latency: The success of quantitative tradingoften relies on quick execution and response times. Therefore, serversneed to have low latency characteristics to ensure that tradeinstructions reach the exchange and receive a response as quickly aspossible, reducing the impact of network latency on tradeslippage.
Redundant Systems: As quantitative tradinginvolves high-frequency, automated trading, server reliability iscrucial. Redundant systems, such as redundant power supplies, redundanthard drives, and redundant network interfaces, are used to preventsingle points of failure and ensure the continuous operation ofservers.
Server Location: Server location is also animportant consideration. To minimize trade execution latency, somequantitative traders place servers in data centers close to theexchange, reducing the transmission time of trade instructions as muchas possible.
Network Connectivity: High-speed and stablenetwork connections are crucial for quantitative trading. Quantitativetraders often choose high-quality dedicated network connections orleased lines to ensure fast and reliable data transmission.
Security: Quantitative trading involves asignificant amount of trade data and sensitive information. Therefore,servers and network infrastructure need to have robust security measuresto protect traders' data and funds.
The above requirements may seem too strict for the trading whichfrequency is relatively lower, since it is usually forultra-high-frequency trading applications. But some infrastructure isstill required to support the development and execution of tradingstrategies. For example, server, network ans security, and it highlydepends on what kind of trading you're performing.
In summary, this passage discusses various aspects of quantitativetrading and provides practical advice for building an algorithmictrading business. It emphasizes the importance of strategy selection,backtesting, and setting up the necessary infrastructure. Here are thekey points covered:
Quantitative Trading Overview and Independent QuantitativeTrading: Quantitative trading, also known as algorithmictrading, uses computer algorithms, mathematical models, and dataanalysis to make buy/sell decisions automatically. The ideal independentquantitative trader should have some prior experience in finance orcomputer programming, sufficient savings to withstand losses, andemotional balance between fear and greed.
Finding Trading Ideas: Traders can find tradingstrategies from various sources, but it is essential to verify andrefine them. Minor adjustments to existing strategies can lead toprofitable results. Factors Influencing Strategy Selection: Capitalavailability, infrastructure, and holding period influence the choice oftrading strategy.
Backtesting: Backtesting involves testing astrategy's performance using historical data.Considerations includedividend/split adjustments, data accuracy, perfromance measurements,transaction costs, and sensitivity analysis.
Setting Up Your Business: Traders can choose betweenretail brokerage accounts and proprietary trading firms. Importantfeatures to consider include low commissions, access to a variety offinancial instruments, deep liquidity, and real-time data retrieval andorder transmission. And traders also need for set up some physicalinfrastructure for real trading.
]]>Through his own experiences and perspectives, Naval provides readerswith valuable insights into topics like success, motivation, andpersonal growth, making the book a useful guide for anyone looking toimprove their life and achieve their goals
I have benefited greatly from reading this book, and I want to writesome important takeaways from this book. As this book was written inEnglish, I want to give it a try to write it in English, too. Hoping thepassage will be beneficial to you, this passage is about the secondtopic: Happiness
The passage about the first topic: wealth, can be found
The book claims that three big ones in life are wealth,health, and happiness. And usally we pursue them in that order,but their importance is reverse.
As to the definition to happiness, it is just different to differentpeople at different age or situation
Happiness is a very evolving thing.
What’s happiness? The answer I would have given you a year ago willbe different than what I tell you now. And the answer that works for meis going to be nonsense to you, and vice versa. Whatever happiness meansto me, it means something different to you.
But luckily, happiness is not something you inherit or even choose,but a choice you make and a skill you develop, likefitness or nutrition.
So in the following we will focus on how to learn the skill of beinghappy and avoid those enemies of hapiness.
Happiness requires presence and peace
At any given time, when we’re walking down the streets, a very smallpercentage of your brain is focused on the present. The rest is planningthe future or regretting the past.
This keeps you from having an incredible experience. It’s keeping youfrom seeing the beauty in everything and for being grateful for whereyou are.
So what we should do is not to believe in anything from my past.Anything. No memories. No regrets. No people. No trips. Nothing.A lot of our unhappiness comes from comparing things from thepast to the present.
Besides presence, peace is also very important for happiness, becausehappiness is more about peace than it is about joy.
When a lot of people say happiness, they mean joy or bliss, but theauthor believes it more about peace.
If you ever just sit down and try and do nothing, nothing. Doingnothing, means not to read a book, not to listen to music, literallyjust sit down and do nothing. You will find you can’t do it, becausethere’s anxiety always trying to make you get up and go, get up and go,get up and go. So it’s important just being aware the anxiety ismaking you unhappy. The anxiety is just a series of runningthoughts.
When facing anxiety, we don't need to fight it, we just need to beaware we're anxious because of all these thoughts. We're actually makinga choice, “Would I rather be having this thought right now, or would Irather have my peace?”
A happy person isn’t someone who’s happy all the time. It’ssomeone who effortlessly interprets events in such a way that they don’tlose their innate peace.
Desire and Jealousy are enemies of happiness
As humans, we are highly judgmental survival-and-replicationmachines. We constantly walk around thinking, “I need this,” or “I needthat,” trapped in the web of desires.
Happiness is what’s there when you remove the sense that something ismissing in your life.
Happiness is the state when nothing is missing. When nothing ismissing, your mind shuts down and stops running into the past or futureto regret something or to plan something.
So happiness is about the absence of desire,especially the absence of desire for external things.
There is a fundamental delusion for many people: There issomething out there that will make me happy and fulfilledforever.
Suppose we bought a new car. Now we're waiting for the new car toarrive. Of course, every night, we're on the forums reading about thecar. I know the instant the car arrives we won’t care about it anymore.The thing is, we're addicted to the desiring. We'readdicted to the idea of this external thing bringing me some kind ofhappiness and joy, and this is completely delusional.
Not to say you shouldn’t do things on the outside. You absolutelyshould. You’re a living creature. You’re meant to do something. You’renot just meant to lie there in the sand and meditate all day long. Youshould self-actualize. You should do what you are meant to do.
So the key point is what kind of desire and what extent weshould achieve, but the book does not provide a definitive answer tothis or, in other words, the answer varies for eachindividual.
Usally, desire and jealousy are twins, they appear at the same time.When we are desired for something but do not own them yet, jealousy willcome up seeing other people who already get those things.
Jealousy was a very hard emotion to overcome. It’s such a poisonousemotion because, at the end of the day, you’re no better off withjealousy. You’re unhappier, and the person you’re jealous of is stillsuccessful or good-looking or whatever they are.
We should realize with all these people we were jealous of,we couldn’t just choose little aspects of theirlife.
We couldn’t say we want his body, we want her money, we want hispersonality. You have to be that person. Do you want to actually be thatperson with all of their reactions, their desires, their family, theirhappiness level, their outlook on life, their self-image? If you’re notwilling to do a wholesale, 24/7, 100 percent swap with who that personis, then there is no point in being jealous.
Socially, we’re told, “Go work out. Go look good.” That’s amulti-player competitive game. Other people can see ifI’m doing a good job or not. We’re told, “Go make money. Go buy a bighouse.” Again, external multiplayer competitive game.
But training yourself to be happy is completelyinternal. There is no external progress, no externalvalidation. You’re competing against yourself—it is a single-playergame.
The reality is life is a single-player game. You’reborn alone. You’re going to die alone. All of your interpretations arealone. All your memories are alone. You’re gone in three generations,and nobody cares. Before you showed up, nobody cared. It’s all singleplayer.
We’re like bees or ants. We are such social creatures, we’reexternally programmed and driven. We don’t know how to play and winthese single-player games anymore. Perhaps one reason why yogaand meditation are hard to sustain is they have no extrinsicvalue. Purely single-player games.
There is no endpoint to self-awareness andself-discovery. It’s a lifelong process you hopefully keepgetting better and better at.
Freedom from Expectations
If you hurt other people because they have expectations of you,that’s their problem. If they have an agreement with you, it’s yourproblem
Courage is not caring what other people think.
Value your time. It is all you have. It’s more important than yourmoney. It’s more important than your friends. It is more important thananything. Your time is all you have. Do not waste your time.
When reading this part in the book, it just reminds me of the speechof Steve Jobs in Standford
Your time is limited, so don't waste it living someone else's life.Don't be trapped by dogma - which is living with the results of otherpeople's thinking.
Don't let the noise of other's opinions drown out your own innervoice. And most important, have the courage to follow your heart andintuition. They somehow already know what you truly want to become.Everything else is secondary.
As mentioned above, happiness is skill, just like nutrition, dieting,working. It's not what you are born with. It starts with realizingthey’re skills you can learn.
The most important trick to being happy is to realize happiness is askill you develop and a choice you make. You choose to be happy, andthen you work at it. It’s just like building muscles.
So how does someone build the skill of happiness? This book offerssome advices for building habits
As humans, we’re used to taking everything for granted. Like what youand I are doing right now. We’re sitting indoors, wearing clothes,well-fed, and communicating with each other through space and time. Weshould be two monkeys sitting in the jungle right now watching the sungoing down, asking ourselves where we are going to sleep.
The more you judge, the more you separate yourself.You’ll feel good for an instant, because you feel good about yourself,thinking you’re better than someone. Later, you’re going to feel lonely.Then, you see negativity everywhere. The world just reflects your ownfeelings back at you.
As to how to change a habit, the book give the follwing steps
First, you know it. Then, you understand it. Then, you can explainit. Then, you can feel it. Finally, you are it.
We can depend on nobody but just ourselves,
Doctors won’t make you healthy.
Nutritionists won’t make you slim.
Teachers won’t make you smart.
Gurus won’t make you calm.
Mentors won’t make you rich.
Trainers won’t make you fit.
Ultimately, you have to take responsibility.
The number one priority in life, above happiness, above family andwork, is health, which can be mainly summarized as two parts:physical health and mental health
To have peace of mind, you have to have peace of body first.
A correct diet should probably look closer to a paleo diet, mostlyeating vegetables with a small amount of meat and berries
The combination of sugar and fat together is really deadly. You’vegot to watch out for that in your diet
Most fit and healthy people focus much more on what they eat than howmuch. Quality control is easier than (and leads to) quantity control
For the question: What habit would you say most positively impactsyour life? Navel gave the answer as follows
The daily morning workout. That has been a complete game-changer.It’s made me feel healthier, younger. It’s made me not go out late.
The harder the workout, the easier the day.
Make hard choices instead of easy ones, you will be easy inthe long term
If you are making the hard choices right now in what to eat, you’renot eating all the junk food you want, and making the hard choice towork out. Your life long-term will be easy. You won’t be sick. You won’tbe unhealthy.
The same is true of values. The same is true of saving up for a rainyday. The same is true of how you approach your relationships. If youmake the easy choices right now, your overall life will be a lotharder
In this part, this book highlights the importance of meditation formetal health
For your entire life, things have been happening to you. Some good,some bad, most of which you have processed and dissolved, but a fewstuck with you. Over time, more and more stuck with you, and they almostbecame like these barnacles stuck to you.
You lost your childhood sense of wonder and of being present andhappy. You lost your inner happiness because you built up thispersonality of unresolved pain, errors, fears, and desires that glommedonto you like a bunch of barnacles.
Just like too much sugar leads to a heavy body, and too manydistractions lead to a heavy mind. Meditation is theintermittent fasting for the mind.
One kind of meditation recommended by Navel is calledChoiceless Awareness, or Nonjudgmental Awareness
As you’re going about your daily business and you’re not talking toanybody else, you practice learning to accept the moment you’re inwithout making judgments. You don’t think, “Oh, there’s a homeless guyover there, better cross the street”or look at someone running by andsay, “He’s out of shape, and I’m in better shape than him.”
You don’t make any decisions. You don’t judge anything. You justaccept everything. Naval said if he does that for ten or fifteen minuteswhile walking around, he will end up in a very peaceful, gratefulstate.
Another kind of meditation is transcendentalmeditation, which is where you’re using repetitive chanting tocreate a white noise in your head to bury your thoughts.
You can just very keenly and very alertly be aware of your thoughtsas they happen. As you watch your thoughts, you realize how many of themare fear-based. The moment you recognize a fear, without even trying itgoes away. After a while, your mind quiets.
The book recommends if you really want to try meditation, try sixtydays of one hour a day, first thing in the morning. After about sixtydays, you will be tired of listening to your own mind. You will haveresolved a lot of issues, or you have heard them enough to see throughthose fears and issues.
I think it may be a little hard for people working in modern societyto spend extra one hour in the morning, when they have to get up earlyfor work and may need work late at night. But there is a very usefullife-hack: When in bed, meditate. Either you will havea deep meditation or fall asleep. Victory either way.
Meditation doesn’t mean you’re suddenly going to gain the superpowerto control your internal state. The advantage of meditation isrecognizing just how out of control your mind is.
Realizing the fact will drag you out of all those fantasy-futureplanning or uncontrollable fear about the future. It will bring you tothe present, which is the requirement for happiness.
Insight meditation lets you run your brain in debug mode until yourealize you’re just a subroutine in a larger program.
Besides meditation, another tip in this book is coldshowers.
It's hard for many people, and the book recommends a method calledWim Hof breathing method. It involves hyperventlating to get more oxygeninto your blood, which raises your core temperature. Then, you can gointo the shower.
The first few cold showers may be scary, but sooner it will not seemso hard. A very important lesson from this: most of oursuffering comes from avoidance. Most of the suffering from acold shower is the tip-toeing your way in. Once you’re in, you’re in.It’s not suffering.
Here is a video of a uploader on bilibili about cold showers,whichrecords the change of his body with cold showers in a series of 30 days.It also explains some principles behind cold showers
When it comes to real happiness in life, we can not avoid some topicsrelated to philosophy
This is a big question, and almost anyone will ask themselves thisquestion in their lives, especially when they come to their 30s.
There is no standark answer to this just like the definition ofhappiness. But one possible answer to this is there's no meaningof life, or it's personal if exists.
Anything you do will fade. It will disappear, just like the humanrace will disappear and the planet will disappear. No one is going toremember you past a certain number of generations, whether you’re anartist, a poet, a conqueror, a pauper, or anyone else. There’s nomeaning.
From another aspect, however, it indicates the truth that you have tocreate your own meaning, because it will be personal if it reallyexists. Any piece of wisdom anybody else gives you, whether it’s Buddhaor the book, is going to sound like nonsense. Fundamentally, you have tofind it for yourself, so the important part is not the answer, it’s thequestion. You just have to sit there and dig with the question. It mighttake you years or decades. When you find an answer you’re happy with, itwill be fundamental to your life.
Usally it is related to relationship with people around us, after all
The book listed some core values of Naval, again, it just varies withdifferent people.
Honesty is a core, core, core value.If I disconnectwhat I’m thinking from what I’m saying, it creates multiple threads inmy mind. I’m no longer in the moment—now I have to be future-planning orpast-regretting every time I talk to somebody.
Play long-term games with long-term people. All benefits in life comefrom compound interest, whether in money,relationships, love, health, activities, or habits. I only want to bearound people I know I’m going to be around for the rest of my life. Ionly want to work on things I know have long-term payout.
Don’t believe in anger anymore. Anger was good when I was young andfull of testosterone, but now I like the Buddhist saying, “Angeris a hot coal you hold in your hand while waiting to throw it atsomebody.” I don’t want to be angry, and I don’t want to bearound angry people. I just cut them out of my life.
There is actually nothing but this moment.
No one has ever gone back in time, and no one has ever been able tosuccessfully predict the future in any way that matters.
Literally, the only thing that exists is this exact pointwhere you are in space at the exact time you happen to behere.
Perhaps we’re dying and being reborn at everymoment. It’s up to you whether to forget or remember that.
This passage is about the second topic of this book: happiness
It's the most important thing in life, or we can say it's theultimate goal. Because when we chase for wealth, power, health etc,we're not chasing these things themselves, but the happiness we belivewe will get when we own these things.
However, these things may not bring real happiness. The book belivesthat happiness requires presence and peace, while desire and jealousyare enemies of it. Finally, we will realize that life is a single-playergame. There's no one else except for yourself, so just free yourselffrom other people's expections.
Some useful and pratical habits for happiness are recommended in thebook, I think we can follow them just from now on. Among them, I belivethe habits for health is extremely important, inlucding physical healthand mental health.
Because to have peace of mind, you have to have peace of body first,diet, exercise and sleeping are important on this. As to mental health,meditation is highly recommended.
On the journey of chasing happiness, we may eventually come to therealization that there's no meaning of life, or it's personal if exists.Life is just what it is, we can only construct the meaning for ourselvesliving every moment to the best with people around us, because presenceis all we have and humanity is a the summation of socialrelationships.
Hope we can all find it someday
]]>Through his own experiences and perspectives, Naval provides readerswith valuable insights into topics like success, motivation, andpersonal growth, making the book a useful guide for anyone looking toimprove their life and achieve their goals
I have benefited greatly from reading this book, and I want to writesome important takeaways from this book. As this book was written inEnglish, I want to give it a try to write it in English, too. too.Hoping the passage will be beneficial to you, this passage is about thefirst topic: Wealth
We have been pursuing wealth almost all our lives, and financialfreedom seems to be the ultimate goal of everyone
But firstly,what's the definition of wealth? The book gives thedefinition of wealth as follows
Wealth is assets that earn while you sleep.
Wealth is the factory, the robots, cranking out things. Wealth is thecomputer program that’s running at night, serving other customers.Wealth is even money in the bank that is being reinvested into otherassets, and into other businesses.
We should purse wealth, not money or status. Because money is how wetransfer time and wealth, and status is your place in the socialhierarchy.
You will get rich by giving society what it wants but does not yetknow how to get at scale.
So the following will focus on some of the key factors and abilitiesthe author believes are necessary to achieve financial freedom
You’re not going to get rich renting out your time. You mustown equity—a piece of a business to gain your financialfreedom.
If you are paid for renting out your time, you can make some money,but you’re not going to make the money that gives you financial freedom.You’re not going to have passive income where a business is earning foryou while you are on vacation.
Everybody who really makes money at some point owns a piece ofa product, a business, or some IP.
You have to work up to the point where you can own equity ina business. You could own equity as a small shareholder whereyou bought stock, or stock options if you work at a tech company. Youcould also own it as an owner where you started the company.
But usually, the real wealth is created by starting your owncompanies or even by investing. In an investment firm, they’rebuying equity. These are the routes to wealth. It doesn’t come throughthe hours.
Specific knowledge is knowledge you cannot be trained for. If societycan train you, it can train someone else and replace you.
The specific knowledge is sort of this weird combination of uniquetraits from your DNA, your unique upbringing, and your response to it.It’s almost baked into your personality and youridentity. It is found much more by pursuing your innatetalents, your genuine curiosity, and your passion. It’s not by going toschool for whatever is the hottest job; it’s not by going into whateverfield investors say is the hottest.
Some specific knowledge listed in the book are as follows
With all the specific knowledge above, we will focus on thesales skills.
If someone is a natural at sales, obviously they learned somewhere,but they didn’t learn it in a classroom setting. They learned probablyin their childhood in the school yard, or they learned negotiating withtheir parents. Maybe some is a genetic component in the DNA
But you can improve sales skills. You can read Robert Cialdini, youcan go to a sales training seminar, you can do door-to-door sales. It isbrutal but will train you very quickly. Specific knowledge cannot betaught, but it can be learned.
Learn to sell. Learn to build. If you can do both, you willbe unstoppable.
The most important skill for getting rich is becoming aperpetual learner.
It’s much more important today to be able to become an expert in abrand-new field in nine to twelve months than to have studied the“right” thing a long time ago
Archimedes once said, "Give me a lever long enough and a fulcrum onwhich to place it, and I shall move the world."
Fortunes also require leverage. Business leverage comes fromcapital, labor, and products with no marginal cost of replication (codeand media).
Capital means money. To raise money, apply your specific knowledgewith accountability and show resulting good judgment. For example,working is the most common way to do this
Labor means people working for you. It’s the oldest and mostfought-over form of leverage. Labor leverage will impress your parents,but don’t waste your life chasing it.
I think we should always remember the leverage we can use
The most interesting and the most important form of leverage isthe idea of products that have no marginal cost ofreplication. This is the new form of leverage. This was onlyinvented in the last few hundred years. It started with the printingpress. It accelerated with broadcast media, and now it’s really blown upwith the internet and with coding. Now, you can multiply your effortswithout involving other humans and without needing money from otherhumans.
Also, they are permissionless. They don’t requiresomebody else’s permission for you to use them or succeed. For laborleverage, somebody has to decide to follow you. For capital leverage,somebody has to give you money to invest or to turn into a product.Coding, writing books, recording podcasts, tweeting, YouTubing—thesekinds of things are permissionless.
The book offers two useful advice, which can be applied to mostpeople
"Productize" has leverage. "Yourself" has accountability."Productize"has specific knowledge. "Yourself" also has specific knowledge inthere.
Society will pay you for creating things it wants. But societydoesn’t yet know how to create those things, because if it did, theywouldn’t need you. They would already be stamped out.
So if you want to be wealthy, you want to figure out which one ofthose things you can provide for society that it does not yet know howto get but it will want and providing it is natural to you, within yourskill set, and within your capabilities.
Then, you have to figure out how to scale it because if youonly build one, that’s not enough. You’ve got to buildthousands, or hundreds of thousands, or millions, or billions of them soeverybody can have one
So I think we can keep asking the question: Am I productizingit? Am I scaling it? Am I scaling with labor or with capital or withcode or with media?
Compound interest is a very powerful concept. Compound interestapplies to more than just compounding capital.It can also be applied inbusiness relationships, reputation and individual people workingwith.
Play iterated games. All the returns in life, whether in wealth,relationships, or knowledge, come from compound interest.
Spend more time making the big decisions. There arebasically three really big decisions you make in your early life:where you live, who you’re with, and what you do.
We spend very little time deciding which relationship to get into. Wespend so much time in a job, but we spend so little time deciding whichjob to get into. Choosing what city to live in can almost completelydetermine the trajectory of your life, but we spend so little timetrying to figure out what city to live in.
If you’re going to live in a city for ten years, if you’re going tobe in a job for five years, if you’re in a relationship for a decade,you should be spending one to two years deciding these things. These arehighly dominating decisions. Those three decisions really matter.
Everybody wants to get rich immediately, but the world is anefficient place; immediate doesn’t work. You do have to put in the time.You do have to put in the hours, and so I think you have to put yourselfin the position with the specific knowl- edge, with accountability, withleverage, with the authentic skill set you have, to be the best in theworld at what you do.
You have to enjoy it and keep doing it, keep doing it, and keep doingit. Don’t keep track, and don’t keep count because if you do, you willrun out of time.
Hard work is important. Without hard work, you’ll develop neitherjudgment nor leverage. But nowadays it is really overrated, how hard youwork matters a lot less in the modern economy.
At the same time, judgment is underrated. Thedirection you’re heading in matters more than how fast you move,especially with leverage.
So how can we develop our judgment?
Navel believes that “Clear thinker” is a better compliment than“smart.”
This is a good point in the book, and I think it can be used in lifein any circunstances
If someone is using a lot of fancy words and a lot of big concepts,they probably don’t know what they’re talking about
I think the smartest people can explain things to a child. Ifyou can’t explain it to a child, then you don’t know it. It’s acommon saying and it’s very true.
This is exactly what "
So we should understand the basics really well rather thanmemorize all kinds of complicated concepts we can’t stitchtogether and can’t rederive from the basics.
If you can’t rederive concepts from the basics as you need them,you’re lost. You’re just memorizing. And this is exactly what "
Make sure you’re dealing with reality when you’re making decisions,to achive this, we need to see reality
One thing clouding us from being able to see reality is we havepreconceived notions of the way it should be, whichwill stop us from seeing the truth.
To see the truth, you have to get your ego out of the waybecause your ego doesn’t want to face the truth. The smalleryou can make your ego, the less conditioned you can make your reactions,the less desires you can have about the outcome you want, the easier itwill be to see the reality.
Our egos are constructed in our formative years—our first twodecades. They get constructed by our environment, our parents, society.Then, we spend the rest of our life trying to make our ego happy, whichis exactly the reason that ego will stop you from seeing the true.
To solve this problem, one important thing is to be able touncondition yourself, to be able to take your habitsapart and say, “Okay, this is a habit I probably picked up when I was atoddler trying to get my parent’s attention. Now I’ve reinforced it andreinforced it, and I call it a part of my identity. Does itstill serve me? Does it make me happier? Does it make me healthier? Doesit make me accomplish whatever I set out to accomplish?”
To see reality, we also need to focus on data andanalysis, instead of feeling. Because what you feel tells younothing about the facts, it merely tells you something about yourestimate of the facts.
This book also gives another interesting advice about empty space
It’s actually really important to have empty space. If you don’t havea day or two every week in your calendar where you’re not always inmeetings, and you’re not always busy, then you’re not going to be ableto think.
I also encourage taking at least one day a week (preferably two,because if you budget two, you’ll end up with one) where you just havetime to think.
Judgment requires experience but can be built faster by learningfoundational skills.
This book emphasizes that there is no skill called “business”. Weshould void business magazines and business classes. Instead, studymicroeconomics, game theory, psychology, persuasion, ethics,mathematics, and computers, which are the mental models the bookrecommends.
Because during decision-making, the brain is a memory predictionmachine. A lousy way to do memory prediction is “X happened in the past,therefore X will happen in the future.” It’s too based on specificcircumstances. What you want is principles. You want mental models.
Some mental models the book recommends and the key points of them areas follows
evolution: a lot of modern society can beexplained through evolution
inversion: being successful is just aboutnot making mistakes
complexity theory: the limits of our knowledgeand the limits of our prediction capability
economics: understanding ofsupply-and-demand
principal-agent problem: if you want it doneright, then you have to go yourself and do it
compound interest: in the intellectual domain,compound interest rules
basic math: arithmetic, probability, andstatistics
balck swans: extreme probabilities
calculus: measure the change in small discreteor small continuous events
IF YOU CAN’T DECIDE, THE ANSWER IS NO.
This is a very rule in the book, when you're faced with a difficultchoice, such as: Should I marry this person? Should I take this job?Should I buy this house? Should I move to this city?. etc
The reason listed in the book is
If you cannot decide, the answer is no. And the reason is, modernsociety is full of options. When you choose something, you get locked infor a long time. Starting a business may take ten years. You start arelationship that will be five years or maybe more. You move to a cityfor ten to twenty years. These are very, very long-lived decisions. It’svery, very important we only say yes when we are pretty certain
But I doubt that a little, cause life is always full of uncertainty.If we have to make decision when we are very certain, perhaps we canmake no decision. I prefer the quotes in the book "
I have learned that if you must leave a place that you have lived inand loved and where all your yesteryears are buried deep, leave it anyway except a slow way, leave it the fastest way you can. Never turn backand never believe that an hour you remember is a better hour because itis dead. Passed years seem safe ones, vanquished ones, while the futurelives in a cloud, formidable from a distance.
When you have two choices to make, and they’re relatively equalchoices, take the path more difficult and more painful in theshort term.
What’s actually going on is one of these paths requires short-termpain. And the other path leads to pain further out in the future. Yourbrain is overvaluing the side with the short-term happi- ness and tryingto avoid the one with short-term pain.
So we have to cancel the tendency out (it’s a powerful subconscioustendency) by leaning into the pain. As you know, most of the gains inlife come from suffering in the short term so you can get paid in thelong term
What are the most efficient ways to build new mental models?
Read a lot, just read. Reading science, math, and philosophy one hourper day will likely put you at the upper echelon of human success withinseven years.
In summary, the first part of this book is about wealth, which mainlytalks about the definition of wealth and how to build wealth
All the methods mentioned in this book about building wealth can besummarized into two words: Productize Yourself
"Productize" has leverage. "Yourself" has accountability."Productize"has specific knowledge. "Yourself" also has specific knowledge in there.You need to figure out which one of those things you can provide forsociety that it does not yet know how to get but it will want andproviding it is natural to you, within your skill set, and within yourcapabilities. Then you have to figure out how to scale it
Another important point is about judgement, which is alwaysunderrated compared to hard work.
To build judgement, we need to think clearly and seereality, with some very useful mental models.
]]>ctr、cvr这类二分类任务常用的损失函数是交叉熵损失,基本假设是事件服从伯努利分布,最终学习的输出是正样本的比例,而回归任务中存在着非常多种的损失函数可选,如mse、mae、huber loss、log-normal、weighted logistics regression、softmax等
每种损失函数都有其假设和适用范围,如果真实 label分布与假设差异较大,容易导致结果不佳,因此,本文会重点关注这些常见 loss的推导过程以及假设
这三个 loss 是回归任务中最直观也是最常见的loss,前两者都假设了误差服从某种特定分布,然后通过
MSE其假设是预估值和真实值的误差服从标准高斯分布,然后写出误差的似然(likelihood)函数,并通过MLE 推导出来最终的 loss 的形式,其推导过程如下图所示(来自
根据误差服从均值为 0 的高斯分布可以写出如下的似然函数
然后根据 IID 的假设和 MLE,可以写出最终的损失函数
MAE的推导跟 MSE 很类似,只是假设误差服从
从 loss 函数形式,可以直观看到,对于第
从回传的梯度可知,MSE容易收到异常值的影响,比如说有个异常样本的 label非常大,则算梯度时 \(y^{(i)} -\theta^{T}x^{(i)}\) 的值也会非常大,容易把样本带偏,而 MAE受到这一点影响会更小
所以 HuberLoss 也是考虑到了这点,对于 label 较小的样本采用 MSE,label比较大的样本,则采用 MAE, 整个损失的形式如下图所示
这是 google 一篇预估 LTV 的 paper 中提出来的 loss,
现实任务的数据往往是长尾切稀疏的,拿 paper 里的 LTV任务为例,会有非常多的 0 值,也存在极端高的值,如下图所示是paper里展示的 LTV 的分布(这里的 LTV 含义是首次购买后产生的价值,0值代表很多客户只购买了一次)
paper 提到直接用 MSE 会有如下问题,其实也是上面提到了 MSE存在的问题
MSE loss does not accommodate the significant fraction ofzero value LTV from one-time purchasers and can be sensitive toextremely large LTV’s from top spenders
所以 paper 提出了 ZILN(Zero-Inflated LogNormal) 的这个 loss,loss形式如下图所示(注意这里的
\[L_{ZILN}(x;p,\mu,\sigma)=-\mathbf{1}_{x=0} \log(1-p) - \mathbf{1}_{x>0}(\log p -L_{Lognormal}(x;\mu,\sigma))\]
这里的 loss 其实有 2 项,对应着 paper 里建模 LTV 分成了 2个任务,一个是预估购买概率(上面公式里的
这里重点讲第二个任务,即预估金额的损失
\[L_{Lognormal}(x;\mu,\sigma)=\log (x\sigma \sqrt{2\pi})+\frac{(\log x - \mu)^2}{2 \sigma^2}\]
最终的模型会输出 3 个预估值 \(p\),\(\mu\) 和
log-normal 形式的推导可以参考前面的 wiki 链接或者
相比于 MSE,log-normal 在预估值异常大时,loss也不会非常大,一定程度上缓解了前面提到的 MSE 的问题
这个 loss 在 Google 这篇 2016 的神文里被应用来预估用户的观看时长,
从名字大概能猜到 Loss 的形式了,在一个分类的 loss 上做reweight,具体的做法是使用 cross entropy这个损失函数,然后对于正样本(在建模观看时长中是点击的样本),使用具体的观看时长\(T\) 来做reweihgt,负样本不变
做了 reweight后,相当于改变了原来的样本中的正负样本的比例(这里把观看的作为正样本,不观看/点击作为负样本),我们知道 cross entropy 最终预估的概率值是正样本的比例,而reweight 后,对于 label 为\(T\)的样本,相当于在分类任务中变为了 \(T\)个正样本
则总体样本的正样本的比例变成了
而根据 Logistics Regression 的预估值为正样本的比例可知
由于正样本的数量往往非常少,因此 paper 把
\[\frac{1}{1+e^{-logit}}=\frac{P}{N +P}\]
左边分子分母同时乘上 \(e^{logit}\),右边分子分母同时除以 \(N\),最终可以推导出 \(\frac{P}{N} =e^{logit}\), 由于这里的 \(P\)是取了 sum 的,平均到每个样本上,最终 serving时预估的时长的值就是
则在训练时使用的损失函数还是 cross entropy,同时对正样本做reweight,serving 时得到 logit 后,取
上面的推导过程中忽略了原来样本中正样本的数量
则原来的公式会变成如下所示,等式右边的分母里,第一个
回到这个 loss 的假设,我们知道 cross entropy 的假设是 label服从参数为 \(p\) 的伯努利分布(这里的 p为成功的概率),然后通过 MLE 可求得 cross entropy 的形式
而在 cross entropy 基础上做了如上的 reweight后,相当于是假设了 label 服从了参数为
在回归中,还有另一种套路就是分桶+softmax,其思路也很直观,就是对label 的值域进行分桶,然后根据每个样本的 label把样本分到某个桶里,训练时转为一个多分类问题,通过 softmax损失函数进行训练
serving 时利用 softmax预估的概率分布,对每个桶做加权求和,如下式所示,
\[pred = \sum_{i=1}^{n} p_iv_i\]
这个方法的关键在于如何分桶,包括分桶的数量和每个桶的大小,这两个变量对最终的效果影响会比较大,分桶过多,容易导致每个桶的样本过于稀疏,而分桶过少,预估值有没有区分性
一般的做法是人工根据 label的后验分布进行划分,且由于实际中的数据往往会比较长尾(即 label较小的样本会比较多),所以会在 label较小的时分桶数量较多,桶的间隔也会越小,目的还是让每个分桶的样本尽量均衡;但桶的数量和大小,是需要不断调整的超参
除了直接使用桶的均值作为最终的加权求和项,还可以在每个桶都套上一个前面提到的损失如mse 等,不过这样就相当于是分区间的 multi-task 建模了,或者说是 ensemble中的 stacking 方法了
在这类方法中,另一个常见的操作就是 ** labelsmoothing**,这个方法的出发点是对于原来的方法丢掉了 label之间的大小关系,比如说把 label=50 的样本分到[0,10] 的桶和 [51, 100]的桶的损失是没有区分性的,因此自然的一个想法是让原来 one-hot 的 label变得更加 smooth
具体的思想是在训练时对 label做变换,让其变为类似高斯分布或拉普拉斯分布的形式,比如说原来的 label 是[0, 0, 0, 0, 1, 0, 0, 0], 对其进行 smooth 后会变为 [0, 0, 0.01, 0.03,0.9, 0.03, 0.02, 0.01], 而这里变换的方法也相当于一个超参了
总的来说,这个方法涉及到比较多的先验知识,包括如何分桶,如何选择label smoothing 的函数;但是避免了对 label的先验假设,理论上适用于任意的回归任务,但是需要定期review,防止总体数据有变,先验假设失效
Ordinalregression是一种适用在关注不同值的序,但不怎么关注具体的值的场景,套用 wiki的话是这么说的
variable whose value exists on an arbitrary scale where onlythe relative ordering between different values is significant.It can be considered an intermediate problem between regression andclassification
常见的任务比如说评级,例如针对图片、视频的色情程度做出评级,不直接采用分类的原因,跟上面提到的bucketing 方法里的 label smoothing 一样,分到不同的桶里没有区分性,
具体的 loss 形式也是基于 MLE 来推导,但是不同于前面的算式基于 PDF (
用来区分样本处于不同区间的
值得注意的是,对于评级任务,label是比较明确的,但是对于一般的回归任务,还是存在着划分区间,或者说给每个label 评级的过程,这个跟上面的 softmax 类方法一样,也是需要拍的超参
本文主要描述了回归任务中常见的一些损失函数,每种损失函数背后的假设不相同,其适用范围也不一样
MSE、MAE、Huber Loss是回归中比较常用和直观的回归损失,其假设是预估值和真实 label服从正态分布或拉普拉斯分布
Log-normal 损失函数则直接假设 label 服从 log-normal 分布,通过 MLE去求解 log-normal 的概率密度函数中均值
除了直接预估,也有通过转为分类来间接预估最终的值的,主要有 2类方法(1)Weighted Logistics regression (2)Bucketing With Softmax
Weighted Logistics regression 通过把一个 label 为
Bucketing With Softmax 则是通过对 label 进行先验分桶,然后通过softmax 预估 label落在每个桶的概率分布,最后对每个桶进行概率加权求和得到最终的预估值,这种方法的好处是对分布没有任何假设,理论上适用所有的分布,但效果非常依赖分桶的数量和桶大小,其中也涉及label smoothing、stacking 等改进技巧
Ordinal Regression 则是一种关心序但不关心绝对值误差的回归loss,其假设跟 MSE 一样,但是使用了 CDF 而不是 PDF来推导最终的损失,并通过训练得到分割不同级别的阈值,一般在评级任务中较为常用;但是在更一般的回归任务中,还是会依赖人工划分区间给予不同样本不同的评级
]]>解决这个问题最直观的思路是加 domain 相关特征或根据 domain拆模型,前者属于隐式的方法,需要特征的区分性足够强、能被模型学到,但这个足够强没有一个量化的标准,基本只能看实验效果;后者则存在维护成本过高的问题,比如说有n 个 domain 就要拆成 n 个模型
本文着重讲如何通过一个模型 serve 多个 domain的方法,主要是在业界验证有收益且公开发表的工作,基本上可以分为 3 类
在一个模型中根据多个 domain 拆成多个 head(每个 head 代表一个domain),通过每个 head 的参数学习特定 domain的分布,是一种比较直观和常见的做法
这类方法的代表是 MMOE:
下图直观展示了拆 head 的集中常见做法
MMOE 中的两个 M,第一个代表 multi-gate,第二个代表multi-expert;multi-expert 比较好理解,从 ensemble 的角度来看,就是在做bagging,而 gate 就是在控制每个 expert 的 weight,multi-gate 则是为每个expert 分配一个 gate,本质上就是做到 domain-wise 的优化
而 gate 的具体实现,也是一个 mlp, 最终通过 softmax 得到每个 expert 的weight,对于第 \(k\)个task,计算过程如下图所示
这是阿里的一篇 paper,应用场景就是比较典型的 CTR 业务,
在模型结构上,也是为每个 domain分配一部分自己的参数,从而达到在一个模型中 serve 多个 domain的目的,这一点跟 MMOE 原理上是一样的,文章是这么说的
Essentially, the network of each domain consists of two factorizednetworks: one centered network shared by all domains and thedomain-specific network tailored for each domain
STAR 基本结构如下图(b)所示,直观来看,有一个公共的 head,同时为每个domain 分配了一个 head,最终每个 head 的参数是公共 head 参数与 domainhead 参数的 element-wise 结果
在上面的结构中,有一个 Partitioned Normalization (PN)的部分,目标是解决统一 batch normalization 在这 multi-domain中不适用的问题
常规的 batch normalization 会计算 batch 内所有的样本的 mean 和variance,然后做归一化,如下图所示;这里有个假设就是这批样本是独立同分布(i.i.d.)的,但multi-domain 本身的要解决的问题就是不同 domain的分布不一样,因此不能直接用原始的 batch normalization;关于 BN为何有效,可参考这篇文章:
而 PN 的做法是为原始 BN 中的参数
这是个小网络,输入是domain indicator(表示这个样本来自哪个domain),输出是一个预估值,最终输出的预估值会与上面的 STAR的模型加和做最终预估; 作用等价于为每个 domain 增加了一个 bias 项
实验结果这里不展开,paper 效果显示比一些已有的 multi-domain任务要好(参数量是否打平没提到);也对 PN 的效果做了消融,结果显示 PN的效果比直接用 BN 要好
前面的两篇文章基本思路都是为不同的 domain 分配多一个 head的参数,然后通过不同 head 来描述不同 domain 的差异
提出 LHUC 这篇文章则没有显式地分 head ,而是通过在 hidden layer上乘上一个 domain-aware embedding,来达到这样的效果:
这篇 paper 最早是在 speech 领域提出的一个方法,基本的思路是为每个speaker 单独调整 nn 中全连接层里部分的参数,从而达到每个 speaker的个性化预估;总体思路比较直观,也很容易把方法迁移至推荐上
快手的提出的 PEPNet(
整个模型结构如下图所示,LHUC 部分是最右边的 PPNet 部分,每个 GateNU相当于为每个 hidden layer 生成一个 domain-aware 的 embedding,左边的EPNet 则是相当于为 embedding 不用分生成类似的 embedding
Gate NU 可以理解为一个简单两层的 nn网络,输入是依靠先验知识挑选的能够区分不同 domain的特征,输出则是一个 tensor(维度大小与 hidden layer 一样)
除了结构上的改进,这篇 paper还做了较多的工程上的有优化,这里不详细展开
这里主要想介绍 GRL(Gradient ReversalLayer)这个机制,这个机制出自论文
论文主要想解决的问题是 domain adaption,即在 source domain有较多数据,target domain 较少数据,怎么能够较好地同时解决两个 domain的问题,paper 里提到的方案是从特征层面去解决这个问题
the approach promotes the emergence of “deep” features that are (i)discriminative for the main learning task on the source domain and (ii)invariant with respect to the shift between the domains.
为了达到这个目标,论文提出的 GRL 机制如下图所示
从结构上来看,这也是个 multi-head 的结构,但蓝色的 head 是 sourcedomain 的原始 task,红色的 head(后面简称为 discriminator)则是一个 domain classifier,即是用来区分样本是属于哪一个 domain的
两个 task 在做 bp 时,蓝色的 head 正常回传梯度,discriminator则在梯度回传到 feature extractor 即图中色绿色部分时,乘上一个 negativeconstant,这就是 GRL 的机制
那为什么要这么做呢?paper 给出的解释是这样的,
we want to make the features \(f\)domain-invariant. That is, we want to make the distributions\(S(f) = \lbrace G_f(x;\theta_f)|x∼S(x)\rbrace\) and \(T(f) = \lbraceG_f(x;\theta_f)|x∼T(x) \rbrace\) to be similar. Underthe covariate shift assumption, this would make the label predictionaccuracy on the target domain to be the same as on the source domain(Shimodaira, 2000).
即希望 feature extractor 抽取出来的特征是 domain-invariant、对 domain不敏感的,或者说基于抽取出来的特征,discriminator不能很好地区分样本来自哪个 domain
而如果不加 GRL,正常的 bp 是会 discriminator 能够区分样本来自哪个domain 的,加了 GRL 后,则能够达到上面提到的“discriminator不能很好地区分样本来自哪个 domain”
那另一个问题来了,即为什么要在 feature extractor 这一层做,而不是在\(L_d\) 上就加一个负号?
因为如果直接在 \(L_d\)上加负号,相当于让 discriminator 把它分到错误的那个 domain,但一个好的feature 应该是让 discriminator 分辨不出它来自哪个domain,而不是把它分到错误的那个 domain
因此,GRL 机制某种程度上也是一类 featureengineering,用于提取出适用于多个 domain 的 feature
综上,本文主要介绍了三种解决 multi-domain 的思路,分别是 multi-head结构,LHUC 机制和 GRL机制;据笔者的了解,目前这几种方案在业界都有落地的案例,值得在相应业务中进行尝试~
multi-head 机制比较直观,为每个 domain 分配一个 head,分别学习不同domain 的分布,MMOE 和 STAR 这一类模型属于这种;LHUC机制则是根据先验选择一批有区分度的特征,通过一个小的 nn学习一个隐变量作用到hidden-layer上(其实也能作用到 embedding 上,PEPNet中没有介绍的 EPNet 就是这部分,原理基本一致);GRL则是通过训练方式使得模型抽取出来的 feature 是 domain-invariant的,训练的思想跟 GAN 的对抗训练比较类似
]]>如果以 Long Term Value(LTV)的视角来看,这是个在 LT 和 V 之间做trade-off 的过程,ad 如果出得过多,必然会挤压 item的数量和位置,进而影响用户体验和留存即 LT,但相应的广告收入,或者说Average revenue per user(
所以业界往往的做法是定一个用户体验的约束,在这个约束下尽可能优化 ad的效率,即达到收入最大化,因此很自然可以把这个建模成一个最优化问题,LinkedIn在 2020 年的这篇 paper就是这么做的,
直观地看混排这个问题,有 2 个子问题需要解决 (1)怎么计算每个 item 或ad 在每个位置上的价值:因为 item 和 ad是各自排序的,目标不同,最终的值的量纲也不同,这么把两者的 scale拉到可比范围是一个需要讨论的问题 (2)怎么分配能让最终 list价值最大化:在 item 和 ad 的价值确认后,怎么插入 item 和 ad的位置,从而达到整个 list 的最大化
上面提到的 LinkedIn 的 paper重点是在解决第二个问题,部分内容也涉及到第一个问题 ;本文会先讲一下这篇paper 的建模方法,然后讨论下计算 item 和 ad价值的一些思路,混排中一些其他需要注意的事项
paper把问题建模成如下图最优化问题(单次请求的最优,目前不考虑请求间的优化)
各符号含义如下
通过对偶拉格朗日可以求解出如下的解,式子中的
上面的最优化问题的约束只是总体 list 的 engagement utility要大于特定预制,但混排往往还有一些硬约束,在paper中提到的是:top slot 和min gap,分别表示第一个广告的位置约束,两个广告最小间隔的约束;除了这两个约束,一些常见的约束还有showtime gap 约束(出现广告的评率)、adload约束等(广告出现比例的约束)
这两个约束并没有直接体现在最优化的建模里,而是体现在最后的混排算法里,整个算法流程如下
上面的建模虽然比较直观,但涉及到的一些需要解决的关键问题,
paper 提到的 shadow bid,在经济学上称为
这里的影子价格 \(\alpha\) 是一个关于\(C\) 的函数,paper提到获取这个值的三种方法,
从上图可知,基本思路是 (1)确定
关于这几个值的获取,paper 并没有提供明确的方法,只是提到了\(u_{i}^{a}\)、
但如果真的这么做,存在的问题必然是历史数据会很稀疏,容易出现新的 item或 ad没有数据,或者把统计历史数据的维度拉得更大,这样容易导致效果变差,数据没区分性;因此,最终还是需要往预估方向去做
如果考虑实际的业务,\(u_{i}^{o}\) 和\(r_{i}\) 的值比较好获取,直接取原本item 排序和 ad 排序中各自的分数即可,但
如果让 ad 直接走推荐侧的模型,在物理意义上是 make sense的,但可能会存在 2 个问题(1)ad 的特征未必能跟 item的完全对齐(2)需要保证 \(u_{i}^{a} \ltu_{i}^{o}\)
这里第二个问题尤为重要,因为如果这个不成立,上面的最优化问题最终的解会是全出ad,这显然是不合理的,那如何做这一点的保证,笔者现在也没想到很好的方法;比如说在推荐模型做multi-head,一个 head 预估 item,一个 head 预估 ad,通过 regularization尽量保证 item head 要大于 ad head,但也没法做严格的保证
这个问题在上面的
如果在计算 \(u_{i}^{o}\)、
paper 里提到了一种方法,也是实际比较常用的:training阶段使用实际的 position,serving 阶段使用统一的position,同时保留一张映射表,映射不同位置跟 serving 时使用的统一位置的discount,映射表可通过后验数据统计获取得到,最终预估值乘上这个 discount就能等到不同位置的预估值
这种做法的缺点是这张映射表需要经常更新,所以更好的做法是把这张表做到模型里,让模型训练过程中就能学到这个变化,预估阶段同时预估所有的位置的score
对于推荐而言,往往序准确就可以了,但 ad因为涉及到实际扣费,会要求 ctr,cvr预估足够准确,才能避免扣费不准确,引起广告主的客诉等问题
除了上面的 position bias 会影响 ctr 准确性,两个 ad 之间的 gap大小也会影响 ad 的 ctr 等,如下图所示,ad 的 gap 之间如果过小,ad的点击率会过低,但 item 不会出现这种情况,本质上还是因为 ad的密集度过高,即使前面提到了有min-gap 这一类硬规则
paper 提出的做法是给增加一个 gap 特征来捕捉这个信息,paper做了如下推导,最终生效的形式跟 position_discount 有点像,等价于在原来的ctr 基础上乘上一个 gap_discount, 下图中的
而如果在上面的混排算法上加上 gap effect 的影响,会有如下的流程
paper 认为 item 价值是 engagement utility,ad 的价值是 engagementutility + revenue utility
而上面也提到了获取 ad 的 engagement utility会比较难,因此可以也可以考虑使用另一种思路来度量 item 和 ad 的价值
因为涉及到扣费,ad 的价值是比较好衡量的,一般采用的是 ecpm = bid ×ctr ×cvr(为了讨论方便,此处省略hidden_cost),因此很自然的一个想法是,能否为每个item 也赋予一个 bid,这样也能在 item 侧算出一个类似 ecpm 的指标,与 ad侧能进行比较
紧接着的问题是,item 侧的 bid 的含义是什么?ad 侧的 bid是有明确的物理含义的:广告主愿意为一个转化付的钱(还会叠加调价策略修改原始的广告主出价),但在item 侧并没有广告主这一角色,由谁来出这个 bid 呢?
最直观的方法就是基于 ad 和 item 各自预估值的量级的差异,拍一个 item侧的全局固定的 bid,但这样显然不是最优的,而且这个 bid的量级也需要及时监控和更新,因为随着迭代,两边的预估值的 sacle会发生变化
而如果从另一个角度来看,ad更多是表达广告主的诉求,目标就是要更多的用户转化;item更多是平台的诉求,目标是要为平台带来更多的用户和留存时间;留存时间越长,也意味着可供平台变现的流量会更多,或者说用户指标其实也是跟平台长期收入挂钩的;因此可以基于大盘来测算用户指标与平台收入的关系,以stay_duration 为例,可以对 stay_duration 分桶,测算 stay_duration与平台长期收入指标的相关关系,建立一个函数
对于 ad 而言,如果与 item 混排时,把 ad 插在 items 的第
上面提到了混排中存在着各种硬规则,比如说广告出现的首位,广告之间的min_gap,show_timegap等,从技术角度来说,这样的离散的硬规则显然不是最优的,会极大限制算法的搜索空间;而从业务的角度,这种硬规则往往是业务发展初期拍定的,随着业务发展,对当前业务是否合理也是需要重新评估的
举个例子,一个对 ad 敏感和一个对 ad不敏感的用户,使用同一套硬规则并不是最优的,因为同样的广告频率,在敏感用户那转化率会比较低,同时对用户的留存影响也会比较大(相对于不敏感的用户);而如果给对ad 不敏感的用户出更多的 ad,同时减少敏感用户的ad,打平总体的 ad数,最终总体的 engagement utility 和 revenue utility理论上也是更优的
具体的实现上,一般需要设置一套规则和计算方法,能够计算出硬规则中的所有可能情况下的utility,然后加入到 list 的总体价值中
而这其实也涉及到推荐或广告系统里的优化的一个方向,就是个性化,一般大盘策略上对所有用户都相同的超参或策略,都会有个性化的空间
当然在这个过程也要注意个性化往往也会有个限制,以混排为例,需要对不敏感的用户有体验保护,不能逮住这部分用户一个劲地薅
本文从 LinkedIn 的一篇 paper展开,介绍了混排需要解决的问题以及一种建模方法,paper的建模不复杂,关键是建模中使用的各个 utility 的获取,paper在这部分并没有说得比较详细,可能也是因为这部分跟实际业务耦合比较紧密;因此,本文后面也讨论了一种item 和 ad 价值可能的计算方式:为 item 计算一个 bid, 同时考虑 ad 插入对item 的影响
另外,paper 也提到了 position bias 、gap effect等在混排中常见的问题,本文针对 paper提出的方法和业界的一些做法做了讨论
最后,也探讨了一个比较比较开放的问题,就是混排中涉及到的 hardrule,hard rule 一般是红线,但从技术视角来看肯定不是最优的,同时 hardrule 是否合理,以及如何从业务角度和技术角度来 soften the hard rule,拿到engagement utility 和 revenue utility两部分的收益,也许是个值得讨论的问题
]]>在去年的
如果单纯看随机性,很容易让我们陷入虚无主义中,因为没什么是确定的,或者说没什么是能够坚信的,因为随机性几乎主导了一切。幸运的是,书里给出了还给出了一些也许可供参考的方法论,虽然作者行文有时候较为晦涩,但总体还是值得一读的。本文主要是《随机漫步的傻瓜》和《黑天鹅》两本书的一些笔记以及拓展,祝开卷有益。
生活往往被随机性左右,你的成功或失败不见得是因为比其他人高明或愚蠢,很可能只是单纯的运气的结果
上面这句话,也许是《随机漫步的傻瓜》最想给我们揭示的道理
《
英超联赛大部分球员都在9月至11月出生;
比尔·盖茨和史蒂夫·乔布斯都出生在1955年;
纽约很多著名律师事务所的开创者竟然都是犹太人后裔,并且他们的祖辈大多是在纽约的服装行业谋生。
为什么对那些成功人士进行的统计结果会这样一致“意外”?这是因为:
英超球员注册时间是9月。在同龄的球员中,9月份出生的人实际上比8月份出生的人几乎大了一岁,一岁的差距对他们的职业生涯有着不可低估的影响;
1955年前后正是计算机革命的时期,如果你出生太早,就无法拥有个人电脑,如果出生太晚,计算机革命的好机会又被别人占去了;
犹太人律师事务所的成长,是因为他们正赶上企业重组的法律诉讼出现革新的时候,而他们移民到美国的祖辈们的经历又让他们出色地掌握了抓住机遇的能力。
很多时候,大的成功往往靠的是天时地利人和,而且天时地利可能是主导因素。看人物自传往往会让我们热血澎湃,似乎遵循着成功者的路线,他的成功我也可以复制,但事实往往是他们在那个时代提供了那个时代最需要的东西,然后在合适的时机,时代给予了他们足够大的正向的反馈,不同时代的人压根无法复制。我们看到的往往都是幸存者偏差,因为无论概率多小,只要尝试的基数足够大,每个时代最终都能选出那一批为人所熟知的幸存者
这里并不是说人物自传一无是处,也不是说那些名人的成功是纯粹由机遇和随机性指导,他们的思考方式、他们付出的努力,都是无法粗暴地被“机遇”二字淹没的
但我们需要清楚地意识到,影响一件事情的成功或失败的因素往往是错综复杂,这其中有多少是运气成分,有多少又是努力的成分,往往无法给出一个明确的量化标准;而当我们面临一个选择时,如果能够清楚地意识到随机性在其中的影响,并心平气和的接收这个事实及其可能带来的后果,也许能让我们活得更加轻松和豁达
在股市上,我们往往也都是一个随机漫步的傻瓜,市场总体上升时,几乎每个人都觉得是自己英明的抉择选择才让自己赚得盆满钵满的,但其中是alpha 收益主导,还是 beta收益主导,可能大多数人都说不清楚;因为在短的时间内,市场很多所谓表现都是波动;各类新闻报纸每天都要点评股市,试图为今天的涨跌说出个理由,因为媒体总会想说点什么来明他们有存在的价值;但实际上没有什么理由,每天的股价变动由随机性决定更多
关于这本书,知乎上有个比较精彩的回答,
我们万事都需要一个解释,以获得内心的宁静。没有解释的事情会让人茶饭不思、寝卧难安
因此我们急于去总结成功的经验和失败的教训,其结果就是我们常常顾不得去分析这个成功或失败的原因是否存在
但常常我么也会找不到确定的因果,于是我们只好迷信;这完全是我们从先古部落首领那里传承下来的习惯,比如他们采用了某种祭拜姿势就可以求得龙王降雨
这本书多少有一点虚无主义色彩。你没有什么可以相信的,如果有人因为努力而获得了巨大成就,要相信,事情没有那么复杂——大部分时候,都是运气使然。虚无主义的意思是,没有什么是确定的,或者说,没有什么会找到确定的原因,一切都是不确定的。
可以把它当成《心灵鸡汤》一类的读物。它让你接受现实——当然,前提是你足够理性,同时足够努力和聪明。准确地说,这不过是一本写给迷失在财富追求的过程之中的人们,换言之,是写给有点钱、有点追求、但是钱又不太多的人们看的。很重要的一个提示是:不要老看着多少人比你强,要看到多少人比你差
不要忽视那些概率低、但是有极大的冲击性的事情,这些事情无法预测,但是在行动时要考虑到
上面这句话,也许是《黑天鹅》最想给我们揭示的道理
书里还给了很多由于惯性思维、人性等原因带来的问题,意识到这些点,也许能让我们能够更好地认知到很多事情或结论的局限性
很多时候,在黑天鹅发生后,人的本性促使我们在事后为它的发生编造理由,并且或多或少认为它是可解释和可预测的;而这其实也是黑天鹅发生的原因之一
书中将这一现象称作“叙述谬误”,叙述谬误指的是我们无法在不编造理由或者强加一种逻辑关系的情况下观察一系列事实。换句话说,我们在观察一组事实的时候,一定编造相应的理由或者逻辑关系,让我们觉得这组事实是可以解释的,符合逻辑的;如果不这样,我们就无法观察和表达。造成叙述谬误有以下几个原因
1)解释习惯;我们习惯对观察到的事实梳理因果关系,让事情变得可解释,这个过程虽然好,但是也会可能导致一些看起来无关的事实就会被我们忽视掉。而那些被忽略的事实往往会成为导致黑天鹅现象的原因,并且在黑天鹅事件发生后,被人们重新翻查出来,并加以解释2)模式辨识习惯:《
而如果进一步深究上面几个原因,我们会发现这都是人性导致的
在书里的“自我欺骗的人类”一章中,则提到了人类的思想有三重迷雾:1)假想的理解,也就是在一个超出人们想象之外的复杂或随机的世界,人们都以为自己知道其中正在发生什么;很多发生过的事情本来应该被认为是完全不可思议的,但在事情发生之后,看上去却没那么不可思议了。这种事后合理性在表面上降低了事件的稀有性,并使事件看上去可以理解2)反省的误差,也就是我们只能在事后评价事物,就像只能以后视镜里看东西,历史在历史书中比在经验现实中显得更加清晰和有条理;在一个历史事件发生之前存在无数个事实,其中只有相当少的一部分会在后来你对历史事件的理解中有帮助,而这些有条理的时间会被记入史书中3)对事实性信息价值的高估
在生活中,当我们作出一些判断和决定前,如果能够清楚意识到叙述谬误这一现象的存在,以及上面提到的由人性的局限性,也许就是这本书能够给我们带来的价值之一
这是《黑天鹅》中提到的两个概念,基本含义如下
平均斯坦:当样本数量最够大,任何个例都不会对整体产生重大影响(正态分布)极端斯坦:不平均性现象,个体能够对整体产生不成比例的影响(长尾分布)
如果从分布上来说,极端斯坦有点像方差较大的一个正态分布,极端的个体较少;而极端斯坦则是一个长尾分布,头部的一些个体会影响全局,跟二八法则有点像
这个概念往往会被应用在择业上
有些技术性的职业,比如牙医、咨询师、按摩师的收入是不可能具有突破性的,他们受到既定的时间内服务的病人或客户的最大数量的限制。在这些职业中,不论报酬多高,收入总是受到限制,他们不可能一夜致富,财富总是来自于持续的积累。并且这种工作在很大程度上是可预测的:他的收入可以增长,但不可能达到一天的收入超过余生的收入总和的程度,也就是说这种职业不会受到黑天鹅的驱使,假如你是一名会计师或外科医生,你不可能一夜之间成为超级英雄,也不太可能成为一名失败者。
而另外还有一些职业如果干得好,收入可以十倍、百倍地增长,同时几乎不需要增加额外的努力。比如股票交易员,买100股股票与买100万股股票的工作量是一样的,要打同样的电话,做同样的计算,对交易的正确性做同样的确认,收入却截然不同。同样,演员、录音师、作家对于同一作品,他们的工作量也是一样的,但这类职业可以不必增加劳动量就可能十倍、百倍地增加收入,一部发行量大的影片、一本畅销的书籍都能带来突破性的收入
一般智力,科学和艺术行为等属于极端斯坦,在这里成功是高度集中的,少量赢者得到蛋糕的大部分。其实极端斯坦基本上适用于所有“有意思”的职业,但从事他们并不是好主意,因为收入具有突破性的职业,只有在你成功的时候才对你有利,这样的职业竞争激烈,导致了更大的不平均和不确定性,在努力和回报之间存在巨大差异,可能会出现赢家通吃的现象,普通人或许什么也得不到;挨饿的演员比挨饿的会计师要多
很多事情不能只靠过去的经验来判断,某件事情1000天的历史不会告诉你弟1001天的任何信息;我们从过去获得的实际上顶多是无关痛痒和虚假的信息,甚至是危险的信号
其实这个观点《随机漫步的傻瓜》中就有了,只是这里做了进一步的说明和延伸,同时提出了以下有趣的观点
因为人们对于经验现实的细节知识了解的越多,看到的噪点就越多,就可能把它们错当成真实信息。同时,一旦你的思维被某种世界观占据,你会习惯于只关注证明你正确的事例。吊诡之处在于,你拥有越多的信息,你就越认为自己正确
因此,我们在接收信息时一定要谨慎过滤,不要轻易全盘接受,这里有 2个也许可供参考的方法
(1)注重事实而不是故事;我们天生喜欢故事,喜欢总结,喜欢简化,也就是减少事情的影响因素。没有人愿意去听某个无聊的抽象统计学讲座,我们喜欢听故事,这没有错,我们只是要去更加彻底的审视,故事是否对事实做了严重扭曲
(2)控制接收信息的频率;从机器学习角度来讲,人其实是一个持续流式更行的onlinemodel,对近期收到的信息和样本会更加敏感,每小时收听广播比阅读周刊之所以要糟糕,是我们会被短时间的很多noise干扰了想法和思绪,而较长的时间间隔能够过滤掉一些无关重要信息;这里不得不提以下当前软件流行的信息流模式,很容易让人建立多巴胺回路,让人一刷接着一刷欲罢不能,说到底,还是要保护好我们自己的注意力
我们在自以为拥有的知识方面非常自大,我们有一种内在的倾向,以为我们比实际上知道得多一些,这一点常常招致严重的麻烦。认知自大有双重影响:我们高估我们的知识,低估不确定性,也就是低估未知事物的范围
“
《随机漫步的傻瓜》告诉了我们生活中存在着种种随机性,需要清楚地意识到成功或失败中的运气成分,《黑天鹅》则是告诉了我们那些概率极低但破坏极大的事情的诱因,那回到最终要的方法论上,也就是面对这些随机性,我们能做些什么?
黑天鹅的序里写了这段话:如果把塔勒布和巴菲特的共同经验总结,可以得到应对黑天鹅事件的5个基本原则:1.不要预测;2.谨慎预防;3.危中取机;4.最重要的一点,保持充足冗余;5.不要负债
下面针对这 5 点进行一些拓展和讨论
黑天鹅事件往往无法预测、无法解释,很多事后的归因往往也是无效的;所以才有了我们前面提到的2 条原则:不要预测和谨慎预防
这里的小标题套用了孟岩的文章《
我们往往面临的三个主要问题:(1)总结出来的规律并不靠谱(2)用于预测的信息也不客观(3)未来充满不可预期的「随机事件」
(1)总结出来的规律并不靠谱;指的是我们总结出来的规律往往是从过去发生的事件中归纳出来的,而已发生的事情,往往是因果规律和随机性共同作用的结果,但我们的大脑回路天生并不习惯于捕捉「随机事件」,往往都希望根据因果规律解释已发生的事情,而随机性可能会导致相同的事情总结出不同的规律(想象有一个平行世界发生了相同的事情,但是结果不同,那么总结出来的规律也会不一样),这也是《黑天鹅》中提到的“叙述谬误”的现象
(2)用于预测的信息也不客观;作出预测需要信息,信息本身是客观的,但是每个人接收信息的方式并不客观,亦即“一千个人眼里就有一千个哈姆雷特”;我们听到的信息都是经过我们大脑加工的,往往会带上我们的个人偏好和特性
(3)未来充满不可预期的随机事件;这个比较好理解,不确定性四部曲以及整篇文章就是在阐述这种现象
针对上面的三个问题,文章也分别给了一些方法
(1)总结出来的规律并不靠谱->运用尽量少的规律,并且这些规律最好是普世的、第一性的、经过长时间考验的;(2)用于预测的信息也不客观->去除Ego,尽可能客观地去收集和看待信息,排除人为干扰;这个跟纳瓦尔宝典里提到的“Shed your Identity to see reality”说的是同一件事(3)未来充满不可预期的随机事件->有足够的容错性,对各种随机事件的发生做好准备
这里着重讲一下第 1 点,也是笔者认为比较重要的一样,这里提到的方法跟Firstprinciple很相似,其思想都是从事情的本质上去思考,仅从一些最简单的规律(“cannot bededuced from any other proposition or assumption”)去推导,这里有一个关于Frist Principle 的例子,
而回到投资里的不确定性,文章给出的方法论跟上面提到的基本原理是一样的>从最基本的一些普世规律和常识出发,打造一套自己的「投资系统」,并且对未来各种「随机事件」做好充分的准备,不会死。用系统去根据市场的信息做出「应对」,不断迭代升级,循环往复
祸兮福之所倚,福兮祸之所伏;很多事情都是祸福相依的;往往黑天鹅事件是以危机形式展现,但危中有机,危后出机,最大的危机会出现最大的暴跌,也就会形成最好的投资良机,黑天鹅的序中提到了:正确的策略应该是尽可能多地尝试和尽可能多地把握黑天鹅机会
当然,这个事情说起来是这么个道理,但实践起来会很难,就拿投资来说,你永远无法预估到绝对的底在哪里,且往往这种黑天鹅事件出现时,意味着我们相信的很多法则都会消失,这个时候根据历史经验做判断可能是行不通的;更重要的是,在黑天鹅事件发生后,人和市场都是很容易出现恐慌的,这种情况下无法预估到底加上恐慌,很容易让我们成为割肉逃跑而不是逢低加仓的人
比如说 08年的次贷危机,虽然惨烈,但的确有人从中获利了,这也正是电影《大空头》讲到的故事;但需要意识到,《大空头》中也存在着幸存者偏差,我们看到的是成功做空获利的几个例子,但其中做了同样的事情却最终失败了的,不会有人感兴趣,因为我们都喜欢听成功的故事,都崇拜以一己之力获胜的英雄主义;关于这部分可参考:
除了在黑天鹅中看到机会,日常还可以尽量做一些高杠杆的事情,即一些成本很低,但是成功了能够给你带来较大回报的事情;比如说
往往风险和收益是正相关的,为什么能捕获风险低但收益高的事情?《
上面其实是一个期望与概率的例子,关于这点可以延伸说说,上面提到的观点是要捕获概率低但收益高的事情;而在后面的《反脆弱》的策略更多的提到了要关注期望而不是概率:买卖不应取决于股票上涨概率,而应取决于上涨期望。比如有90%的可能上涨1元,有10%的可能下跌100元,那么期望是下跌1元,应该卖空,而非买入。这里提到的
如果人生会重复一万次,牙医在每次“人生”中都很有可能过上富裕的生活,而靠中彩票大奖过上富裕生活的流浪汉,却很难再中一次大奖。因此,不能纯以是否富有的结果导向来对人进行评价。可以将人生的种种可能看作是一种分布,现在当下发生的只是这个分布的一个抽样。牙医人生的整体分布更优于流浪汉,即使流浪汉偶尔中了一次超级大奖,但对人生的整体分布影响不大
两个观点看似矛盾,但实则不是,笔者认为其中差异在于这些事件发生的次数;期望是经过多次IID的试验得到的一个值,或者说买卖次数要足够多,这条定理才成立;而黑天鹅时间往往是稀有的,期望在其中也许并不成立,但交易是会发生多次的;所以结论也就很明显了,
这部分也很好理解,也是我们常说的鲁棒性或健壮性(robustness),比如说在工程上留出足够的buffer,预防低概率事件发生,以及永远不要 allin,无论是在投资还是生活,都要尽量给自己留一条后路
这部分涉及到反脆弱中的一些观点的,其中最令人深思的是:“系统的反脆弱性是通过牺牲个体为代价取得的”,这句话可以解释很多现象
回到与所有人都息息相关的日常工作中,这篇文章提出了一些比较有趣的观点,
一个国家是如何渡过经济衰退期的呢?是靠死掉一大批没有竞争力的企业,让坚持下来的公司减少竞争对手“人力资源市场”的“反脆弱性”也是如此:经济衰退期,淘汰一批没有竞争力的人,让留下来的人更容易找到工作;经济过热期,淘汰掉一批给不起高薪的企业,让给得起高薪的企业更容易找人。“反脆弱性”会牺牲一部分最脆弱的人的利益,来提高整个系统的生存资源的利用效率,而这正是“35岁现象”的本质,因为某些凭借年龄获得优势的行业与职业,一过35岁,脆弱性会大大增加
那大公司的稳定性从何而来?
系统的反脆弱性是通过牺牲个体为代价取得的,大公司之所以稳定,是因为“体系至上、公司文化至上、业务至上”,任何一个员工的利益都无足轻重,随时可以被牺牲掉,在巨大的危机面前,就算是CEO也可以牺牲
对个人来说,致命的是“大公司稳定幻觉”,让你陷入舒适,从而忽视了为自己建立“反脆弱结构”;这种工作造成的稳定性的幻觉,就像火鸡,它们活的时间越长,就越“确信”农场主的仁慈,直到感恩节来临的那一天
保持冗余,本质也是反脆弱,不要 all in一件事情,多为自己留一些后路,至于具体的方法和途径真的是因人而异了,毕竟这些也都是比较耗心力的事情,但本质还是要productize yourself
套用塔勒布的原话是这么说的,“有一条是对于个人和机构非常重要的戒律:我们可以降低经济生活中90%的黑天鹅风险……我们所做的只是取消投机性的债务。”
这里的投机性的债务没有一个明确的定义,笔者猜测这里指的是类似08 年次贷危机的那种炒房式的负债
房子在各个国家好像都会被当做金融工具,也的确其中有人会赚得盆满钵满,但需要清楚,你进去的时候是否会是最终的接盘侠
说实话,看完这两本总感觉比较反人性,因为人性就是希望事情都是可总结可解释的,包括笔者在写这篇文章,做的事情就是总结塔勒布这几本书的内容,期待从中获取一些可指导生活的规律和原理
但无论是《随机漫步的傻瓜》还是《黑天鹅》,都在告诉我们很多事情都是无法预测的,我们从历史获取的是无关痛痒,甚至是危险的信号;我们看到的很多成功也都是幸存者偏差,是运气和因果性共同主导的结果,且往往运气占了大头
如同开头所说,仅仅看到未来无法预测这一面,有时候会让人更绝望,很容易陷入虚无主义中,因为没什么是确定的,或者说没什么是能够坚信的,因为随机性几乎主导了一切;而我们,就是在其中随机漫步的傻瓜
既然生活的随机性的影响可能要远远大于努力,为什么还要努力?
因为在努力还没达到一定程度前,我们连面对随机性的机会都没有,或者说幸存者偏差也是有门槛的,当你的能力不足时,进入决赛圈的资格都没有
而面对随机性,书里这 5条原则也许值得我们参考与实践:1.不要预测;2.谨慎预防;3.危中取机;4.保持充足冗余;5.不要负债
写到这里,好像隐约读懂了罗曼罗兰的那句“世上只有一种真正英雄主义,那就是在认清生活的真相后仍然热爱它”;虽然“生活的真相”有很多种,生活充满了随机性或许也是其中一种,在了解这个真相后仍然能够“尽人事,听天命”,认认真真把手上的每件事情做好,也许就是一个清醒的傻瓜
]]>一直都有写年度总结的习惯,而这么魔幻的一年,更值得写篇文章纪念下,正好也是元旦放假,趁着这几天把过去一年发生的事情梳理了一下~
现在回头看 2021时的总结,发现当时写下的未来工作规划,跟后来实际的工作差异非常大;究其原因,还是总体业务和组织变化过于频繁
上半年主要在做一些广告创意上的工作,从平台和技术视角来看,笔者将这个方向主要分为如下三个子方向:生成、优选和投放;其中生成是指利用素材(标题、图片、视频、落地页等)生成候选创意(用户看到的广告),优选是从计划的候选创意(一个计划下的候选往往有多个)中选择topk 个用于投放,投放则是将优选出来的创意投放至线上
学界研究得比较多的往往是优选和投放,优选是个很典型的E&E(Exploration & Exploitation) 问题,研究的方法也很多,当时看到一篇比较有参考价值的是淘宝的一篇paper,也针对这篇 paper 做了一些记录《
投放则是一个更大的话题,往往涉及到成本、跑量、生态的问题,当时主要是针对生态问题做了一些研究和实践;这里的生态问题,往往是指复制问题和长尾问题,复制问题指的是投手利用系统的variance复制很多相同的创意,以达到跑量的目的,长尾问题指的是很多创意压根投不出去,或者投出去的量非常少
而从广告主的视角来看,素材制作是有成本的(如拍视频、修图等),且这个成本是在投放前就要花出去的,如果基于这些素材投放不起量,那这些成本就相当于打水漂了;而长尾也是导致复制问题的原因之一,毕竟就是投不出去,广告主才会去不断复制素材以达到跑量的目标;因此,通过技术手段缓解素材的长尾问题,对于整个系统的长期生态是有必要的
回到长尾问题,也是推荐/广告中很常见的一个问题,一般从策略或模型角度都有一些解决思路
策略层面除了上面提到的一些强依赖业务的规则设计,也有一些通用的思路,比如说建模二部图,强行让创意的曝光量有lowerbound 的保证,这其实也是冷启动比较常用的一个套路,这部分可参考这篇paper 里提到的思路 《
模型层面,当时研究下来,感觉比较靠谱的是 transfer learning 和self-supervised learning 两个思路,当时也写了这部分的一个总结 《
在广告系统中,优选和投放还算是比较常规的部分;素材生成则是近年业界在研究的一个方向,比如说巨量千川推出的产品:
从技术层面来说,这个难点在于“高光”在这里没有一个绝对的 groundtruth,而没有 ground truth 或者说 label是无法通过模型进行截取,而基于人工打标的方式势必是不可长期持续的;当时针对这部分也做了一些调研,绝大部分的paper 也都是基于人工打标的数据进行训练的,最后是 2019 年一篇 CVPR 的paper 给了笔者不少启示,即实际业务中有很多投后的指标数据(ctr、cvr、roi等),可以基于这些投后的数据来构建训练样本,即基于实际投放而不是人为的主观判断来决定一个视频是否属于高光,而在实际业务中,这也被证明是比较有效的;这部分的一些探索可参考《
在高光快投这个项目中,基本上把创意的生成、优选和投放环节都涉猎了一遍,整个产品的消耗也在接手后涨了差不多2 倍,但 7、8月左右,因为整体组织架构有调整等原因,这个方向的优先级总体有变化;虽然上半年在做创意时已经有一些调整,但都不如这次的大,笔者总体还是能理解这些调整的,毕竟不同的老大判断的项目的优先级不同,而新老大一般上来都要重新review 当前的项目,停一些认为不合理的项目,立一些新的项目
所以后面也去做了算力的相关工作,这部分工作挺有意思的,简单来说就是在机器资源有限的情况下,怎么提高机器的变现效率,从“算力= 请求量 × 平均请求消耗资源”,可以从 2方面进行优化,这部分业界也已经有一些尝试了,针对这部分也写了一些粗浅的理解《
上面提到的基本都是技术方面的工作,而在今年还有一些谈不上正式的管理经历,自己也在这个问题上做了一些调研,于是便对这部分做个总结《
今年上半年算是断断续续地学些了有知有行上的相关内容,并且按照笔者的理解划分为:认知与心态、概念与常识、买与卖三大模块。认知与形态主要是投资前的心理建设部分,概念与常识主要是介绍一些基本概念(如周期、投资标的、宏观常识等),买与卖则是一个比较成体系的投资系统(涉及到资产、仓位配置等)
写完上面的文章后,给笔者留下最深刻印象的是“盈亏同源”这个概念,顾名思义,就是盈利与亏损都是出自同一个源头,或者说都是同一个原因造成的;比如说,导致当下亏损的操作,如果换了一个平行时空,可能就是盈利的了。因为市场是不确定的,无法预测的,要放弃对所谓确定性的追求,同时摸索出适合自己的选择判断体系,基于当下的信息作出最好的判断,不要一直对过去的操作后悔或悔恨。仔细想想,生活不也是这样么?
而今年的整个投资市场非常魔幻,也是给笔者上了很好的一课,尤其是回想起比较疯狂的2021年初,大家疯狂买基金,连我妈啥都不懂都糊里糊涂地投了点钱进去,再看看今年惨淡,才更深刻地体会到教科书说的“闲钱投资、不加杠杆、不接飞刀、仓位配置”等是朴素却又正确的道理;也在各种媒体博眼球的报道中,体会到了“三根大阳线改变信仰”是怎么一回事
今年整个市场的回顾可以参考知行小酒馆的播客《
刚看了下账户,所有权益类资产今年总体回撤大概 5%左右,而且是在边跌边买的,如果一开始就重仓,回撤会更大;主要是亏在了主动型基金和中概上,主动型基金是源于对基金经理过往历史业绩的信任,所以总体仓位不低,这里并不是说主动基金不好,而是要知道在主动基金获利,业绩较好时,需要清楚这个是alpha 收益还是 beta收益,是周期带来的收益还是基金经理择股带来的收益,同时主动型基金的仓位配比信息是有延迟的,你不清楚自己在各行业的配置如何,所以笔者也在逐渐减少主动型基金的配比,更多放到了宽基指数和行业指数上
中概则是过快地接了飞刀,在刚下跌的时候就开始加仓,导致后续越加仓越跌,当然,这里的“过快”其实也是站在当下来看而得到的结论,当时谁也不会觉得会跌到现在这样,是无法预测的;但交了中概这个学费后,笔者对安全边际的要求会更加严格,也更加敏感了。现在分析,当时这么快接飞刀,一是来源于不太懂,二是当时总体仓位还很轻,着急加仓
今年盈利的都是大 A 以外的指数, 主要是恒生和德国 DAX指数,两者都是在比较低点时候进场的,其实也进一步验证了有知有行常说的“好资产+好价格”的理念,同时也说明了分散投资以及海外投资的必要性
另外,在今年做的比较多的一件事情,是经常看账户,看当前的盈亏;这听起来就是一个反面教材,因为根据一些研究,看账户越频繁,往往回撤会越大,因为恐惧割肉会比较多。但笔者在看账户的时候,更多在做的是观察自己面对上涨或下跌的情绪变化,算是自我情绪觉察的一个练习,然后根据当前情绪再来调整仓位。目标做到“涨跌都舒服”,因为这样才能拿得住
今年的生活也基本是两点一线,日常的状态也跟去年的差不多
撸铁跑步带给我的满足感,并不亚于去探店吃到了心仪已久的美食;写完一篇文章、看到博客又记录了自己的变化所带来的的成就感,并不亚于去攀登了一座险峻的高峰;了解到一些表面现象背后的本质原因所带来的震撼,并不亚于看到了光怪陆离的自然风光;AC一道题目所带来的快感,也不亚于通关一款制作精良的游戏。
这种状态一直持续到 6~7月,那会各大互联网公司在进行或开启裁员潮,内部业务在进行大调整,可以说是“内忧外患”,于是开始认真审视当前的这种生活的可持续性,同时心中也萦绕这很多没有答案的问题,那段时间可以用2 个字来形容:焦虑
于是笔者开始去调研,尝试回答那些没有答案的问题,也是在那个时间段,将所有调研到的内容作了梳理,写成了这篇文章《
另外,焦虑在人生的每个阶段都是必然存在的,接受焦虑、接受生活的随机性,比起去对抗焦虑、精细规划未来、小心翼翼地迈出每一步,可能是一种更好的方式;毕竟随机性不可避免,而过分追求确定性可能会让我们瞻前顾后、步步惊心,还不如学着接受并享受生活的随机性;既然预定要飞向意大利的航班,最终有可能让你降落在荷兰,还不如好好享受荷兰的风光,对自己说一句:
给自己做完了这个心理按摩后,心里的焦虑的确少了很多,或者说虽然日常也会焦虑,但是不再是之前的无头苍蝇的那种恐惧,更多的是对任务没有及时完成的那种着急,而不是无端生出的惶恐;因为认识到且认可了生活不止当前这一种叙事的方式,只要心态能够打开、积极拥抱变化,就不用过于恐惧所谓的35岁危机,毕竟未来的事情都是无人知晓的,而生活本身也是小马过河,其他人总结出来的经验未必适用你
另一个比较有意思的事情,是认识了 P;跟 P 认识的过程也很有趣, 我跟 P不是一个序列的,但是都参与同一个业务,日常工作会有一些合作;最开始以为 P是被我纯正的“广普”吸引的(毕竟多次调侃我的普通话),后来跟她聊天才发现,原来她在为她的闺蜜找对象,而我成了她“盲狙”的目标之一
对象当然没有谈成,因为还是比较享受一个人的状态~总体感觉就还是处于《
孤老的两个阶段:(1)一个人的阶段,对个人成长非常重要(2)结束一个人的阶段,渴望有家庭甚至有陪伴
当你去探索生命的本源问题的时候,你会感到一种很极致的孤独。你会觉得人是没有办法被理解的。但这我觉得这是一个人心灵成熟的一个必要条件
而当孤独走到极致,或者说自立走到极致,会发现别人给不了我什么,或者不需要其他人给我什么,才真正明白了怎么去爱别人(付出的爱是溢出的,是允许)
倒是在跟 P 的几次沟通下来,慢慢成为了兄弟(她是大哥 hhh);P是那种很早就知道自己想要什么的人,也一直有规划怎么去达成这些目标,跟她一块聊工作、聊生活、聊规划,探讨了很多困惑笔者比较久的问题,P也给了我不少受用建议,同时也了解到了 P比较神奇的经历,包括但不限于平静却又凡尔赛地更跟我说如何考上清华、工作不爽然后出国读了个书、面对外人看来的不幸经历却付之一笑...
后来在某天晚上心血来潮跟 P去夜游了亮马河,算是我在北京为数不多出去看风景的经历;然后去吃火锅,压马路到凌晨2点,也算是一段难忘的经历了~(船在动+手机渣像素导致了这种图片,绝对不是个人没怎么拍过照、摄影技术差[狗头])
可惜的是 P 马上就要到南方城市了,原本约定好的潮牛火锅,也在最后11、12月的居家中落空了;有人说职场中,我们在都在坐一趟时光的公交车,有些人中途上车了,和我们成了朋友,但也有些人下车后转到另一辆车了,希望跟P 能在以后的公交中有再次重逢的机会吧~
记得去年测体脂的时候立了个 flag:希望今年体脂能降得更低,能放上 8块腹肌的照片;可是这个计划随着 11、12 月的居家去不了健身房 +居家时管不住嘴 +康复后不敢做剧烈运动等等(为自己找的借口),最终未能实现;现在的体脂得有16% 了吧
今年 10月的体检,总体无太大问题,但一些小毛病还是少不了,毕竟机器越用越坏;也买了一些保险,也当做是为未知的风险做一些对冲准备~
整年的运动基本都用运动手表记录下来了,回顾才发现居然耗时最长的是每天上下班的骑车部分,其次才是为了减脂做的力量训练,11、12月基本是躺平状态了,因为都是居家办公+康复的状态
然后看了下几年去健身房的次数,最近一次就停留在 11月初居家前,跟去年的数对比了下,大概今年去了 70 次左右,
而去年提到的情绪性进食和报复性熬夜两个问题,今年也都有一些缓解,因为慢慢意识到,这两个行为本质上都是一样的,就是“把自己当做自己的泄欲工具”,而不在这么做的前提是“把自己当做一个真正的人”,这部分可以去听一下上面提到的播客《我(们)的孤老生活》。我们除了把自己当做自己的泄欲工具,也常常会把他人当做自己的泄欲工具,套用播客里的话是这么说的
在一段关系里边,不管就是情侣关系,还是朋友之间的关系,还是家人等等。就是有的时候我们会简化对方或者理想化对方或者对扭曲化对方,都是因为对方我们没有把对方当成一个完整的人,是我们的欲望的投射,永远在衡量你有没有给到我我要那个东西,不允许对方成为他们的样子;但这里还有个前提:能允许别人是别人,首先要允许他自己是一个人,真正他把自己当成一个完整的人;只有先把自己当做一个人,才能把其他人当做一个人,才能不把自己当做一个泄欲的工具
允许自己是一个人:不再去做自我评判,接纳自己就是这样一个人(尽人事,听天命)
去年真的是魔幻的一年,大到防疫政策的 180度大转变、二级市场的此起彼伏、席卷而来的海内外裁员潮,小到个人工作的频繁变动;而这些事都在说明同一个事实:市场是无法预测的,未来是无人知晓的
去年虽然曲折,但家人与自己身体仍然健康,工作也还算顺利,也开始思考了生活更多的可能性;去年提到要培养的技术/沟通/管理/投资等各种能力,今年也都进行相应的学习和总结,也算是有所得
而今年最大的体会,就是生活存在非常多的随机性,正是这些随机性导致了前面提到的无法预测和无人知晓的未来,相比于面对随机性焦虑不安,小心翼翼走好每一步,更好的选择是享受这些随机性,基于当下境遇作出当下最好的选择,无须后悔或懊恼,毕竟“盈亏同源”,与君共勉
]]>这意味着如果准备足以抗住高峰的机器,那在其他时间段大部分机器是空转的,或者说roi很低,因此往往在高峰的时候都需要扩容或降级。降级一般是指指降低请求数,按比例drop 流量,但是 drop流量对总体效果肯定是有损的,因此也衍生出了算力优化这个研究方向,算力优化本质上就是做效果和机器成本的trade-off, 或者说如何尽可能无损地降本
本文主要介绍一些算力优化的常见手段,笔者将其总结为drop、cache 和 dynamic三类方法;而如果把消耗的算力拆解,可以直观拆成 2 部分:请求量 ×请求消耗的算力,因此可以从这两部分出发去优化算力
上面的几个方法都是偏流量维度的优化,还有一些方法是对模型 inference 的耗时进行优化的,主要方向是计算并行(硬件升级)、模型压缩(量化、蒸馏、结构调整等),本文就不详细展开了
drop流量可以说是最原始和粗暴的降级手段,但是在流量突增等场景还是比较有效和立竿见影的手段,除了无差别地drop 流量的粗暴方式,还可以进一步做得更精细:通过 rule-based 或model-based 手段来判断一条流量是否要 drop
rule-based的方法往往需要定义具体业务中的无效请求,比如说这里的“无效”在推荐可能是一些用户无点击且停留时长短的请求,在广告可能是由于没有曝光导致的无扣费等。这样的话就可以梳理出一些基本的规则,比如说针对连续n 次出无效请求的用户,在下一次的请求可以直接 drop 掉
model-based 的方法跟 ruled-based方法差不多,一般可建模成一个分类或回归的问题;如果是分类问题,需要明确定义二分类中的正例和负例(即无效请求);如果是回归问题,需要定义每条流量的价值(如推荐或广告最终排序时使用的预估分)
这里值得注意的点是为了数据集无偏或者说避免 feedback loop,需要从不生效 drop 策略的流量中随机划一部分来生成训练集(holdout数据集)
cache也是常用的一种节省算力的手段,即把之前请求的预估结果缓存下来,然后相似请求过来后,把缓存的预估结果直接返回;这里有2 个关键问题
(1)缓存的粒度,一般粒度越细,预估结果越准确,但同时消耗的kv存储会越大;常见的可以考虑的维度包括用户、设备、媒体位置、访问时段等,具体缓存的粒度可以从中选出若干个维度叉乘出来
(2)缓存的预估偏差,由于不是实时预估的,所以预估偏差往往会比实时预估的要高很多,最直观的解决思路就是在cache 结果直接再套一个 calibration module(如
这里的预估偏差反映在后验上一般是高估,其实是因为被低估了的流量竞价会失败而没法曝光。这个现象跟很多ab实验的“小流量高估问题”的原因是一样的,实际上并不只是高估,而是预估不准,只是看到的投后数据都是高估投出来的
但这里两者预估不准的原因并不完全一致,前者更多是因为不实时带来的,后者(即小流量高估)本质上则是因为有2 个模型同时产生训练数据集,两个数据集的分布不太一致(feedbackloop),可理解为有 2 个 domain,然后处于小流量 domain 的模型使用了大流量domain的模型产生的数据集,总体被大流量的模型的数据主导看不到自身的高估(证据之一就是,如果把两个模型的数据严格隔离开,这个问题会大大缓解,但对大盘有损,因为小流量模型数据太少,这部分流量的变现效率就很低);所以实际中往往会把一些能区分domain 的特征(如 modelname、rit等)加入到模型里,也能缓解所谓的小流量高估问题
dynamic可以说是研究得最多的方法,其思想也比较符合直觉:根据每条流量预估的价值,动态调整每条请求消耗的算力,如果价值越高,分配的算力越高,反之亦然
基于这个思路,很自然能想到有 3个需要解决的问题:(1)流量价值的预估(2)算力的预估(3)分配策略
针对第(1)个问题,在搜广推的业务场景中,会涉及到排序的过程,因此可以把排序分数近似作为流量的价值;对于推荐,这个价值的物理含义可能不是那么强,但对于广告这类业务场景,基于ecpm 的排序就是意味着这条流量能给平台带来的实际收入
针对第(2)个问题,在召回、粗排、精排的经典三段漏斗中,可以把进入各个模块的候选数来衡量算力;值得注意的是:候选数和算力两者是正相关,但不是线性的,后面会详细展开这个问题
针对第(3)个问题,对流量价值和算力进行量化后,可以很自然地用最优化的思路建模这个分配问题,最常见的模式是在算力约束下,最大化流量价值,变量则是每条流量的候选数
分配策略的一个代表性工作是阿里在 2020 发表的 paper,
paper 很自然把算力分配建模成如下的问题
上面相关符号含义如下
在建模完这个问题后,paper 提到了这种建模方式面临的 2个重要问题,其实也是这类最优化范式通常都有的问题
第一个是需要实时求解最优化问题,这个问题的原因在于我们通过这种方式建模时,默认是能拿到全部数据的,如果统计过去n 天的数据是可以做到的,但是在线上实时 serving 是无法做到这点的
这个问题其实跟 bidding 场景下的最优化建模的问题一致,
第二个是流量价值即 \(Q_{ij}\)计算的问题,paper里给出的思路是通过模型预估,且提出了模型需要足够轻量级,因为流量维度的预估qps 会比较大
问题求解是通过拉格朗日对偶方法进行求解的,关于这个方法的原理可以参考这篇文章
与 bidding 中的推导不同,在 bidding中只需要获取最优出价公式而不需要具体的解,因此可以最变量直接求导数为0 推导出最优出价的公式,这部分详细过程可以参考
而在这里需要作出具体的决策或者说需要具体的解,即在请求i
中应该选择哪个 action,即需要让哪个
下面是笔者对上面推导步骤的理解
1)只有当 \(-Q_{ij} + \lambda q_j + \mu_i\ge 0\)时,公式(3)中的式子才有下界(笔者不太理解这一点,因为这里的\(x_{ij}\) 取值是 0 或1,而不是任意整数,所以即使 \(-Q_{ij} +\lambda q_j + \mu_i \lt0\),也不会出现无下界(负无穷)的情况)
2)有了 \(-Q_{ij} + \lambda q_j + \mu_i \ge0\) 条件后,可以将 min 的约束取消掉,上图的公式(4)因为这个时候的取 min 一定会使得
3)取消掉 min 约束后,剩下的 max 问题的变量就是
4)因此,对于第 \(i\)个请求,真正生效的约束条件是 \(\max_j (Q_{ij}- \lambda q_j)\), (这个约束条件是紧致的),只有这个时候
因此,从公式 (6)可知,线上 serving 时,还需要知道
但是 \(\lambda\)的解析解在这个问题中比较难求解,paper 在这里做了 2 个假设
假设一:\(Q_{ij}\) 随着\(j\) 的增加而单调递增假设二:\(Q_{ij}/q_j\) 随着\(j\) 的增加而单调递增
假设一的含义是随着候选数越多,能从这次价值得到的流量越大(笔者觉得这里还要加个约束,就是线上的资源能抗住的情况下,否则候选数越多可能会导致错误率增加,流量价值下降,paper后面提到的一个MaxPower的概念就是在讲这个事情),假设二的含义是随着候选数的增加,边际收益是递减的,这个比较make sense
基于这两个假设,可以推导出总体的算力
有了上面的“总体的算力 \(\sum_{ij}x_{ij}q_j\) 会随着 \(\lambda\)增大而单调递减”的结论后,可以通过二分法寻找一个
DCAF 的总体框架如下图所示,左边部分主要是建模
左半部分比较好理解,这里着重讲下右半部分,其中右上角的 InformationCollection and Monitoring部分,会实时搜集当前系统负载的各项数据,如错误率,超时率等,并通过 PID算法控制错误率和超时率,或者说控制系统当前能承载的上限避免整个系统被打崩,paper里也把这个称为MaxPower,可理解为根据系统的实时负载调整每次请求的候选数的上限
这部分在实验设置里也能体现出来,即随着系统负载 qps 增加,MaxPower会自动下调,保证整体系统的稳定性,如下图所示
\(\lambda\)则是根据上面的二分搜索算法,利用采样一段时间的数据实时计算
实验部分做了 2 个实验,离线和在线的
离线实验主要是做了流量回放,
- Action \(j\) controls the number ofadvertisements that need to be evaluated by online CTR model in Rankingstage.
- \(q_j\) represents theadvertisement’s quota for requesting the online CTR model
- \(Q_{ij}\) is the sum of top-k ad’seCPM for request \(i\) conditioned onaction \(j\) in Ranking stage which isequivalent to online performance closely. And
\(Q_{ij}\) is estimated in theexperiment.
离线实验结果如下,左纵轴的 ecpm是实际的流量价值,右纵轴是实际消耗的算力,从结果可知,离线回放能做到算力下降同时流量价值上涨,且随着\(\lambda\) 值的增大,DCFA总体消耗的算力和流量价值都是下降的,这个其实跟前面推导
虽然离线实验显示打平算力 ecpm+3.7%, 打平 ecpm机器成本-49%,但毕竟是离线环境,比较稳定,选择的 action也不会影响环境,所以如果开线上实验,效果一般会打个折扣,paper里的在线实验也显示了这一点
DCAF 这篇 paper着重讲了分配策略,但是对流量价值和算力的建模讲得比较少,只提到了
值得注意的一个点是,流量价值
直接把候选数当做消耗的算力不是非常精确的做法,比如说所有候选都只需要抽一次特征,这个时间不会随着候选数增加而增加;而如果以候选数为横轴,算力为纵轴,大概率会画出一条\(\log(ax)+b\) 形式的曲线(
美团在这篇文章中也描述了其对 DCAF 的一个改进,
如果直接建模 \(Q_{ij}\)(比如说通过multi-head 的方式,每个 head 代表一个 action),需要保证
针对这个问题,上面的美团的文章的做法是预估整条流量的价值,然后通过每个广告的预估分来估算不同档位的价值(即下图的档位价值预估),这样理论上能够计算所有可能的action,相比于 multi-head 的做法要更加灵活和轻量级
而价值预估上,为了保证在线的效率,美团采用的是“离线预估,在线查询”的方法,即离线通过对特征分桶来划分流量,然后通过xgb 预估每个桶里的流量价值并写入外部 kv;在线时通过实时查询 kv和插值的方法来serving,保证任何流量都有一个预估值,最后通过档位价值预估的方法来得到不同\(j\) 下的
除了这个思路,前面提到了如果以候选数为横轴,算力为纵轴,大概率会画出一条\(\log(ax)+b\) 形式的曲线(
美团的文章里算力的建模跟价值的建模很类似,都是离线预估、在线查询的
离线先做特征分桶,然后在桶里建模条数和算力的关系,每个桶的建模采用了分段线性拟合,与上面的价值建模不同的点在于,这里没有插值的过程(就是默认所有流量都能找到对饮的桶?)
而相比于 DCAF 原文采用条数来衡量算力,这里采用了 CPU的耗时来衡量算力,总体方法如下
而另一种思路跟上面提到的利用
本文主要从流量维度介绍了一些算力优化的手段,可以将其分为 drop、cache和 dynamic 三类方法,如果我们把算力拆解为“QPS×平均请求消耗算力”,drop相当于是有丢弃一些低质请求,cache则是通过缓存降低平均请求消耗的算力,两个方法都比较直观
dynamic也是在尝试在降低平均请求消耗的算力,或者更准确的说是重新分配算力,做到在打平业务效果减低机器资源,或者打平机器资源提升业务效果;DCAF是这类方法的一个典型工作,DCAF对问题的建模和求解比较值得学习,但是对流量价值和算力的建模讲得比较粗糙,美团技术团队的一篇文章对这部分做了较好的补充,本文也提出了建模这两个变量的一个思路;总体来说,这个方法在理论推导和业界落地上都证明了其有效性,值得学习。
]]>在这个话题下,有着不同的派系和理论,每一种看起来都讳莫如深;但是回到管理的本质,就是如何高效地组织一群人去完成一个任务,并且是长期可持续的
虽入职场时间不长,也有一些谈不上正式的管理经历,同时有幸从接触到的多位直属leader身上、从与一些前辈的谈话中,都获得了不少的启发和指导,自己也在这个问题上做了一些简单的调研,一直想对这部分做个总结,于是就有了这篇文章
文章主要是笔者的一些经历以及对管理的简单认知,样本必然是有偏的,未必在所有场景下都适用,文章可能会比较发散,祝开卷有益
在笔者当前有限的职业经历中,有几位给笔者留下较为深刻印象的的老板,下面会简单讲一讲他们的故事,以及笔者从中学到的一些东西
一般从 IC(Individual Contributor)到管理者的角色的转变,都是做了一些比较成功的项目;而这也意味着管理者的业务能力一般是会比较强的,从笔者的经历来看,也的确如此
在笔者接触到的大老板里,都有这样的特性:他们的能力是出众的,态度是谦和的(这里的能力更多的是指业务能力)
在这一点上,Z 老板给笔者留下的印象最深,也是笔者尤为佩服的一点,Z老板是那种工作了好多年,但是仍然保留着对技术与业务的热情和好奇心的老板,就是那种如同刚毕业的年轻人对新鲜的职场的热情与好奇心
Z老板是笔者毕业进厂时就认识的老板,当年刚毕业的时候觉得这种状态很正常,但是工作了几年后,似乎在经历着职场的Burnout(关于 Burnout,
也许也是因为这一点,Z老板能够一直保持这对业务的敏感性,能够很好地判断出业务上各类事情的优先级,也能在各种讨论会中提出很多IC 也没有考虑到问题
此外,笔者接触过的老板,对人的态度都是很谦和的,或者说是比较“真”的;这一点Z老板留下的印象也是尤为深刻,当你有问题或者说需要做出职场上的选择去找他时,他会站在你的角度,考虑你总体的利益,给你很多中肯的建议,哪怕这些建议对他来说并不是利益最大化的;换位思考的确是一种技巧,但是如果能够知行合一且长期地身体力行,在笔者看来就是一种难能可贵的“真”
这一点在 D 老板身上也是如此,我跟 D老板是两条线的,没有直接或间接的汇报关系,但是今年面临一些选择去找他时,他还是很客观地给我提供了非常多的有效信息和建议,这里也实名感谢匿名的D 老板,respect~
而或许保持一种“真”,在漫长的职业生涯中,才会有真正愿意长期追随你的人;因为员工也不傻,当你是真的站在他的利益角度上为他考虑问题,考虑如何培养他、为他争取应有的利益时,他也是会怀着感激之心愿意跟随着你去打仗的
而假装强大,只会吸引那些来依附你的人,而不是能跟你一起打仗的人,这不是威信,这是一种负担。坦诚会让管理变得没那么累,对下属坦诚,也让下属对自己坦诚
见证着 Z 老板经历过的起起落落,如果从功利的角度或者说业务的 scope大小,现在 Z 老板似乎在底部,但是笔者是很相信均值回归的,相信 Z老板肯定会回归到他应属 scope 那一天~
一些厂常提到的不设边界,但同时又要有 owner意识的理念,似乎跟上面是很矛盾的,但两者解析的角度不太一样,不设边界这个理念笔者觉得对个人更适用:即个人不应该局限于本质工作,而是去多了解其他人、其他团队工作,更好地融会贯通,同时需要对自己手上的工作有owner 意识
而笔者这里提的“边界需要清晰,才会有 owner意识”则是在团队角度去考虑的:即需要把团队工作清楚划分到具体的人上,才能让每个人都有owner 意识。这一点,笔者在过去一年里感悟尤为深刻
这里不得不介绍 J 老板,J老板也是上面说的那种能力出众、态度谦和的老板,而令我印象深刻的是 J老板可以说是手把手教了我很多管理上的知识
在 J老板正式接收我所在的小团队前,团队内的分工可以说是惨不忍睹,每个人同时参与着4、5 个项目,但是每个项目又没有明确的负责人,导致的后果就是每个方向的roadmap 都不明确、每个方向下关键的 action也没有厘清楚,人效很低,团队里的很多同学的士气也比较低落(后来跟 J老板的沟通中才发现,这是由于团队里较多初入职场的员工且缺少成就感)
而 J老板过来后,做的第一件是就是把这个小团队的方向划分清楚成几个重点的业务方向,并且为每个方向指定一个较为资深的同学作为owner,每个 owner 下有几个新同学(PS,现在回头看,这个策略也许并不普适,比如说面对着都是资深的同学;但也许是当时的团队组织中最好的策略)
作为其中一个方向的 owner,我也依葫芦画瓢,把这个方向的roadmap、重点的子方向梳理并划分清楚,分配到具体的新同学上,同时作为陪练的角色,指导每位同学去解决各个子方向上遇到的卡点问题等
在这个过程中,遇到的另一个有意思的问题,就是在何种情况下需要 “gethandsdirty”,一开始看到很多事情,笔者都会忍不住想上手去做,因为的确觉得短期内会让事情推进更快;但现在回看,这样的弊端也会很明显,一是下面的同学得不到锻炼,二是这其实是一个“老黄牛”类型的伪中层(这部分会在下面介绍),会把自己搞得很累,团队也得不到发展;而J老板在这个过程中跟我说过、现在仍然印象深刻的一个观点是:要长期培养有战斗力的团队,需要让每个成员成长,让每个成员有成就感
这个过程往往会存在一个事和人的权衡,或者说业务产出和培养成员的权衡,业务产出是能比较好去量化的,但是培养成员的产出就不太好去衡量。最理想的状态下把团队成员在进步,同时把业务完成得更好,但这往往需要更多时间与上级的耐心。在实际中,需要考虑的更实际的问题是:短期内需要保证业务产出到何种程度,长期又应该如何建设好团队,是一个以业务产出为约束,最大化团队长期发展的优化问题,这个问题没有标准答案,只能说是不同业务、发展规模、团队规模下可能的最优解都是不同的
经过半年这样的安排,总体的业务收入增长了 1.5倍,同时每位同学都有相应产出,部分同学也在 one one反馈中与笔者透露过这种安排让他更明确了自己的任务,并在完成了这个项目的一些milestone 后,有信心迎接更大的挑战了,而在这之前,这位同学差点就要被 pip了。这样的结果,印证了 J老板的方法的正确性,也从某个角度说明了管理对于挖掘个人潜能的重要性
虽然跟着 J老板的时间并不长,但是从他身上学习到了很多,无论是管理还是技术,也是非常感谢J 老板几乎是手把手教会了我这些管理的基本知识~
业务的迅速发展不免会导致组织的频繁调整,而在这个过程也让我有机会看到了G 老板到一个新团队的 landing 的过程
G 老板首先以项目维度,与-1、-2组织了多次会议,来 review当前组里进行的绝大多数项目,同时判断其合理性,笔者觉得这个过程挺好的,首先让G 老板能同时了解团队已有的项目和人员情况
而判断项目合理性的一个重要依据是当前团队定位,即我们当前团队做这个事情是否合理,如果这个事情已经有其他团队在做,我们参与到其中是否符合团队长期的定位,是否有一些事情是团队应该做但是没有做的?这种方式笔者理解是站在整个大团队的视角去考虑最优的解决问题的方法,需要较好的业务理解能力、扛得住一些短期的压力以及魄力;同时也让笔者第一次意识到,想象中的所谓组与组中间的“卷”、“抢地盘”等现象,其实并不会发生在所有的公司和团队里~respect
通过这种方式,G 老板最终 close 了一些跟其他团队 overlap比较严重且定位不太符合团队的项目,同时通过与团队配合比较紧密的销售团队的沟通,也新立项了一些项目。重新调整后,组里做的事情,虽然看起来不是并不是那么高大上,但是更符合了团队的定位;虽有被调整的同学体感可能会有些不舒服,但如果YY 一下,站在 G 老板的+1的角度,相信对这次的调整应该也是满意的,毕竟站在 G 老板的+1并不会希望看到团队下的所有同学都去卷同一个方向比如说ranking,而是需要尽可能保持各司其职,避免一些“脏活累活”没人干
G 老板做的第二件事,就是组建组里的核心团队(比较常见的就是 XX-core团队),主要是 G 老板的 -1 以及一些核心项目里的 -2同学。令笔者印象比较深刻的有几件事,一是 G老板愿意主动授人以渔,会给他的 -1赠送过一些管理上的相关书籍,并且非常真诚地说了这本书对他的其他很大;二是还会跟-2 的一些同学定期one-one,聊业务、团队发展、职业发展等问题(说实话这是笔者第一次跟 +2的老板的定期 oneone);三是对组里的核心团队,会定期进行面试等培训,统一面试的标准(这个在招聘还是挺重要的,如果不对齐标准,面试里就很容易出现类似ranking 中的召回与精排不一致等问题),同时亲力亲为组织核心团队的一些tb
通过这一系列的动作,至少在笔者的体感上,团队是更有凝聚力了,因为对于比较大的团队,上面的老板肯定无法亲自去了解每个人、把控每个项目的方向;而G老板的做法就是在大面上明确了整个团队的定位,同时把一小部分的同学组建为核心团队,把一些理念传递给这些同学,让这些同学去把控各个子方向;避免了放养式的管理导致团队方向不明确,在兼顾了手下同学的体感,愿意放权;或许这就是管理所希望达到的目标吧
因为业务调整等原因,与 G老板的汇报线只持续了大半年;但是在这大半年里,因为跟 G老板坐得比较近,从 G 老板身上看到了一个高阶的管理者的 landing过程,也看到了成熟的谈吐和处理问题的方式,更从与他的 one one中学习到了很多,回想这段经历,还是非常感谢 G 老板的
坚持做长期正确的事情,是一句政治正确、但在实际执行中往往会因为各种约束而变形的话
在这点一上,给笔者留下比较深刻印象的是 H 老板;H老板不算非常高阶的管理者,但是还是较好地践行了这一点,且最终证明了其价值的;这一点需要很强的业务判断能力,以及能顶住压力来拍板的魄力
之前 H老板接手的一个项目,老大不太看好,曾负责过的相关同学也不愿意继续去做,但H老板从业务角度出发,觉得这个方向还是有价值的,于是还是坚持投入了人力去做了这个事情,最终产品还是做起来了
后来跟 H 老板沟通过程中,H老板告诉了我他坚持做这件事情的原因,或者说怎么去判断要做的这个产品是否有价值(主要是广告主侧的产品);H老板给出的答案是能否真的能够给客户带来价值(非常官方但是正确的一句话),如提升了投放效率、或者提高了roi(即使短期的的消耗是掉的,但长期来看随着 roi的提升客户会增加预算,也正对应了他之前做的一个业务)等;而这样的结论了其实是真正把广告主当合作伙伴,并站在他们的角度去考虑他们的真实利益,才能有的一些思考
另外,H老板给我留下的另一个比较印象深刻的点是敢拍板,也看过隔壁的某个团队老大在很多事情上都唯唯诺诺,一直不敢拍板或给结论,之前不理解,知道看到这个故事才懂:
往上爬需要领导的信任和至少看起来好看的成绩;但是要想不掉下来,关键是不犯错、学会免责,让错误决策都归因不到自己头上去
为什么有时候,我会遇到某些管理者,碰到重大决策时一定先开会。会上他把本该由他做出的决策丢给大家。这个时候态度很谦卑:“我也左右为难,需要大家建议。”
然后不管你给他什么建议,他都说出好多问题。为的其实就是把这些问题留在会议纪要里。为的也是这个重大决策一旦失败,是“大家一起做的,不是我一个人做的”,可以不用担责。
这样带来的好处是他个人的,他就像个泥鳅,你觉得他有问题、想找到到底是什么问题时,发现他滑不留手。
这样带来的问题是什么呢?如果10个人一起讨论,必须要所有人都达成一致才能决策。那最后,大概率决策的质量是这10个人中最蠢的人所能理解的决策的质量。为什么很多影响我们生活的决策,看起来总是让人忍不住吐槽。因为参与决策的人们需要免责。
如果你在工作中,遇到这样的管理者——越是重大决策,越要开会讨论,而且在会上总在唱反调,就是不做出自己的选择。就要小心了,这是个为了自保,不惜坑害业务和其他团队的人。
当然,做长期正确的事情,哪怕短期有损失,这样肯定会有压力,这个时候往往需要跟老板的信任感,而信任感的建立,往往是在一起打过几次胜战
如果我们把团队也当做一个产品,那作为管理者需要考虑的问题,就是如何设计好这个产品。
设计好这个产品,需要清楚产品演进的过程,需要产品的执剑人在清楚意识到自己在这个过程需要扮演的角色,以及需要执行的动作
衡量这个产品的效果,则是整个团队是否能打,你的团队成员(用户)是否了解且认可这个产品的,当一个新的成员加入你的团队的时候,他是否清楚整个团队的职责,他负责的任务以及考核的目标等。
一般 IC 被提拔为管理者,都是因为其较为出众的业务能力,而从 IC到管理者的过程往往过程如下
而作为管理者,尤其是中后期阶段的管理者,需要确认自己比下属“闲”:先让下属忙起来,确保业务正常(图生存);管理者要闲下来思考解决更大、更长远的问题(谋发展);因为作为一个球队的队长,最主要的职责不是进球,而是带领团队进球,需要分辨哪些是必须自己做的事
套用一个比喻:如果你原来是一条鱼,成为管理者后你需要做的不是成为一条大鱼;而是要蜕变成鸟,得飞起来,否则,按照原来的方式,活多了会累死你。所以成为管理者,不是从做一件事,到多做一件事,而是完全换一种方式去做事;
成为管理者,常常需要肩负起的任务是招人
首先需要清楚,为什么要招人?一定是从业务出发,即业务现在因为要做哪些事情,所以需要有什么样的团队的成员来一起做
既然招什么样的人,取决于这个公司做什么样的业务,那就不一定说有经验的比年轻的更好,有的时候也会有所谓的资源陷阱或者经验陷阱,这就涉及到了招聘时的年龄限制的问题
虽然整个社会都有所谓的 35 岁焦虑或 35岁危机,但这里面最重要的是心态是否足够年轻,就是这个候选人是否有足够的热情和好奇心;只要是持续迭代,持续成长的人,年龄会显得不那么重要,当然前提是能力要匹配你的岗位
另外,在团队要扩张之前,一定要想明白怎么用最小的资源去验证这件事情是不是正确的。人越多一定是信息的流通变慢,而且会有信息的扭曲。这就好比在产品设计之初通过mvp 版本去初步验证这个事情的收益和可能的局限
除了招人,还要培养人(这里的人更多是指团队下属),需要记住一点是需要影响人,而不是控制人,管理者需要有成就他人的心态,即你不再是为自己负责,而是为整个团队,为团队里的每个同学,一定要打从心里希望看到自己的同学能够成长,能够晋升;因为管理是通过别人拿结果,需要记住功劳都是团队里实打实干活的同学的
管理者一定要知道:要围绕着事情,而不是围绕着人
永远不要想“他很资深,他是公司的老员工,所以我今天当他的 leader的话会发生什么问题”;也不要担心谁不服我,谁比我资深很多,我管不管得住他;总体就是不要戴有色眼镜去看自己,也不要戴有色眼镜去看别人
这个时候要想的是,我们要完成一件事情的话,每个人的分工是什么,它的产出是什么;当这些都能讲得明白的时候,这个时候就有了标准,就能够去做客观的绩效的考核
如何围绕着事情开展的方法论因人而异,笔者这里提供一个听到过的较好的说法:复杂的结果看过程,标准的过程看结果,短期的结果看策略,长期的发展看团队
另外,当你要去 push一个人的时候,本质上就是大家对目标还有分工上面没有讨论清楚,这个时候要做的事情不是去push、而要拉回来再讨论清楚我们的目标是什么,我们的分工是什么,当然前提是这个员工基本还算靠谱,而不是真的赖着不干活的老白兔
而从心态上,需要承认的事实是,一个良性发展的团队,肯定会有下属在特定的专业能力上比自己要强;而我们都是用人所长,整个公司范围内大家都是用人所长,所以不要想着什么事情自己都要做到最好,而是要想着这个人的这个能力,放在哪个岗位上能发挥出他最大的价值,当然识别长处这一点也很考验管理者的识人能力和业务能力
管理相当于不需要你亲自做很多很多事了,但是你得有办法让更多的人把这件事做得更好更大。从这个角度来看,管理就是在做翻译的工作,即把上级的任务翻译成需要下达的任务
而管理者的老板或者公司压下来的那个东西,是不能不经你翻译直接再传递给员工;因为如果你的工作只做中转站,那你一定会发现你的工作是没有价值的,不要原封不动地传话,需要带上自己的思考和判断
比如说一些事情如果传递下来,本身对于团队来说没有积极正向作用,可能你作为一个上级,你的价值就在于你需要把它过滤掉,就是不要往下再去传递
有时候如果下达命令时如果对方“不听”,或者说疑惑为什么员工会做得这么慢;先问自己是否说清楚,很多时候是因为你还是把自己的认知强加在员工身上,没把上下文或优先级同步到位,本质的问题还是信息的传递之间出了问题
《
很多管理者需要学的一个技能是你怎么再三确认他对你交代给他的工作或任务理解到位,给下属安排任务时,不要只说“要做什么”,还得说“为什么要做”“什么时候做完”“要做到的结果”
为了确保有效沟通,你还需要再做两个动作:
管理中沟通的重要性不言而喻,一些沟通的技巧和方法
(1)不要恶意假设对方,不要揣测
当你对事情不理解的时候,带着好奇多问一句:“你是怎么想的?这么做你的考虑是什么?”
(2)坦诚清晰
说话方式有很多种,总体要坦诚清晰,因为不管是正向的还是负向的,对于员工来讲,他能够比较好的接受这个事情,而这个比较清晰的接收到了你的反馈,是好过于你支支吾吾啥都不讲的;但是也要注意表达,不让别人误解,曲解自己的意思
(3)把批评变成动力
高效的管理是激发一个人的善意,而不是一个人的阻抗;从提问开始转变,“你为什么总是XX” 到 “你怎么样才能避免XX”
(4)包容开放
沟通是互动的,包容、开放地接受他的反馈,不要情绪一上来一激动,就给别人塞很多东西,但凡觉得他有个地方做的不好了,就非常激动的直接告诉他这个事情你做的不对,叭叭讲一大堆,然后不给他机会说话(能力强的IC 的这个问题越为为严重)
除了上下级的翻译,跨部门的合作其实也是在翻译
在上面的播客中,Zara提到的很有意思的一点是把我们想要实现的目标翻译成对方的目标,让人帮你的最高境界就是让他觉得你在帮他。所以如果要跟跨部门合作,Zara会先去看他的 OKR 然后看他的 OKR里有哪些是我这件事情可能能帮他实现的,然后就翻译成他的目标
虽然员工在工作中的积极性往往取决于其自身的目标、追求和欲望的强烈程度,但是一个管理者的重要任务之一也是激励和激发,激励员工的能动性,激发员工的创造力
虽然说激励很重要,如果你这个做的太过了,就又会让人觉得在洗脑,怎么找到一个平衡?
可能最重要的是要倾听下属的声音,然后针对下属的想法和诉求,尽量满足他的诉求,设置较好的激励;很多管理者一上来很容易变成纯单向的输出,就是给下属讲各种自己的愿景、价值观等等,但是忘了去倾听下属的声音,包括下属的真实想法,他实际的诉求等
当然,这种双向的沟通需要信任:在还没有信任没有建立之前,一个员工跟你讲他心里的话是很困难的,也不要去做这样的预期;而建立信任则是一个比较长的过程了,可能是一块打过仗,或者管理者的办事作风、人格魅力等能打动员工
对于一些初入职场的新人员工,需要更多的耐心,让他们去慢慢地去成长。不能说一上来就以过高的标准去要求他,因为你要意识到其实你也是这么一路走过来的,不能说你做到今天,然后你要求他在一个很短时间内达到你那样的一个水准,这是不科学的,这也是不现实的
要给他信心,告诉他做错了不要紧,做错了之后可以总结、复盘。这样的调整之后,你会发现他也就越做越有信心,而且也愿意去跟你交流;他的自信建立起来了之后,这件事情就越做越顺,越做越好
同时要避免新人员工的结果不达预期就自己动手去做,还是要坚持让你的团队的同学去做事情,不要去插手把他推到一边说放着我来,这个会特别大的去影响到他的积极性,以及对他长远的跟你的配合会有很大的影响
人不是千篇一律的,管理者千万不要幻想我用一套标准对所有的人都适用
有些人就是以情绪为导向,就是你今天给了他正反馈,他就开心的像一只小鸟一样满屋子飞,然后就好好工作;有些人是不吃你那一套鼓励的,他不吃鸡汤的,他需要的是你要用逻辑征服我;有些人就是不愿意听你讲逻辑,他是那种行动派,就说不要叨叨了,站起来就去干吧
而在公司的两大类业务(创新性业务和成熟业务)中,往往需要两类不同的人才
(1)公司在面临寻找第二曲线,要去找一些探索型业务的时候,需要找一批很愿意探索创新东西,创造新的东西,同时韧性特别强,不怕失败的人;因为探索型业务就意味着叫胜率低赔率高,一旦做成了很棒,但是做不成是大概率,就是派出去的敢死小分队一样
(2)对于成熟期的业务,需要另外一拨人:逻辑严谨,很少犯错,对风险很厌恶,对安全感有要求。这部分人他的整个思维是相对比较缜密,能保证你现在成熟期的业务少犯错,不出现短板,导致业务崩掉
另外,还着重提到了一种人群:推土机,即专业能力是很强的,然后自信心也很强。正是因为他自信心和专业能力很强,就很自我;这种人适合单兵作战缺,管理上我们叫保护性和限制性使用,避免它影响现有团队的一些文化;因为能力越强,水准越高,其实破坏力也越大,比如说阿里也出现过的例子,两位科学家来了,一人带个上百人的团队,然后花多少亿吵两年什么结果没有,俩人互相不对付,一起走了留下烂摊子
这部分本质上就是要换位思考,即从员工的角度去推进一些事情,
我为啥要指出他身上的问题呢?是因为希望他改掉问题。那他为啥会改掉问题呢?会因为我指出了他就改掉吗?肯定不会呀!他要改掉问题,只会是为他自己!于是,第二天,我试了一下用新的谈话策略,和一个小朋友聊问题。分成四步走:
1、“XX,你未来希望自己在职业巅峰时在做什么呀?”他说:“我想当一个创业者!”
2、“那你觉得,可以让你成为一个成功创业者的最大优势是啥?”他说:“我觉得我能坚持正确的事儿!只要一件事儿,我想明白了,就会坚决执行。”
3、“我觉得,你离成功创业者此刻还有个差距,你看这回这个项目这里、这里都有考虑不全的地方。如果要想成功创业,你得比现在细致才行。”他说:“对哎,我是觉得我还应该更细致。”
4、“不过我很认可你的优点。细致这个问题你已经意识到了,我相信你会发挥你的优点,把它解决掉的!”
从此,我再向团队指出问题的时候,对方常常都很开心,也会在谈话后很快行动起来。团队的氛围也在快速改善。
其实就是想清楚了一件事:每个人是不会仅仅为了别人的要求就改变自己的。能让他行动起来的,只会因为他自己的目标,尝试将需要他改变的地方跟他的目标联系起来;如果没有目标,那就是个混子,不适合呆在面对挑战的位置
这里之所以提到这个话题,是因为听到这期播客 《
这里主要摘自听了播客的一些笔记,也有一些个人思考
(1)向上的战略理解能力
(2)业务的精专,尤其是技术这一类岗位
(3)管理能力:能不能发挥好手下员工的能动性
(1)传话筒:没有经过自己的翻译和拆解, 只会机械地传话
(2)欺上瞒下:只会汇报和甩锅
(3)老黄牛:不懂授权,手下员工得不到发挥,没有成就感
(1)高层视角:大老板走到一线(包括访谈一线客户、与一线员工约谈、看一线的数据),不接受单一的中层的二手信息;需要降低大老板获取一线信息的成本
(2)中层视角:把信息(问题和功劳)尽可能快地传递到老板处,因为往往谁先说,谁就有先发优势,后面说的在大老板看来都是在狡辩;优雅地邀功;不要替老板做判断,客观地陈述数据的变化和具体过程,体现自己对业务的思考和洞察,老板自然会get 到这是你做出来的一个成绩
(3)员工视角:老板是伪中层,如果能汇报且为你争取利益没问题,但往往伪中层都会把利益归到自己身上;与伪中层相处:1)不独食且有能力类型:要让伪中层觉得你是他的自己人,为他解决问题然后你分得相应的利益;2)独食或无能力类型,想办法干掉或者跑路(如果是新人,可能只能跑路,但工作时间长了,可以想办法干掉),干掉关键打破信息壁垒,但是要提防伪中层的+1,也是一个伪中层(反映时要关系到伪中层+1的实际利益,比如说可能会影响公司的股价或期权价格)
(1)公司目标如何制定、如何考核的,既当裁判又当运动员容易滋养伪中层【合理的范式应该是从上到下定目标,有独立的裁判】
(2)高层是否会有 all hands 或者 -1、-2 的 one one
(3)反问面试官做过的最有意义的或者印象深刻成果,如果是真实参与的会滔滔不绝跟你说
(4)问面试官当前团队的员工有哪几个来源;伪中层一般会带着自己的嫡系,形成一个稳固的小圈子,这种情况小心被招进去当做背低绩效的替罪羊【合理的范式应该是老板手下有多个来源,存在有能力的老员工,能够信服这个老板】
最后,着重讲一些老黄牛类型的中层的问题,因为笔者也曾迈入过相似的误区;当你不懂得授权的,严格地控制所有的动作,最后会发生几个问题,第一个是他自己会越来越累,他整个人会变成团队的瓶颈;第二个是团队的所有人会越来越失去主动性,大家没有什么发挥的空间,最后主动性会流失。第三个就是团队的所有同学也会失去成就感,越优秀的人走得越早,然后越早会离开他。最后只有那些就是希望自己有一个安稳工作,不要承担责任的小白兔才会留下来。
套用一句比较形象的话就是
每天我的团队要找我很多次——很多时候是看方案,很多方案,我得看一眼,团队才能往下推进。有时候是出了问题,得赶快查问题。还有的时候,是推进遇到了阻力,得我帮团队找到其他部门,把资源谈下来我也要找团队很多次。有很多事儿,我心里挂着,是真不放心。时不时想起来就找团队问一嘴:做了没有?效果如何?但是,这些事儿,就不会发生在他与团队之间。
1、 他在自己的团队内,搞了个小规模的数据分析的团队。
不过他的数据分析,可不是仅仅支持AB测试。他让这个团队,量化了自己的评价标准。于是,再有团队拿着方案,找他看行不行的时候,他都说:你去找那个数据分析的负责人,他掌握着我的评价标准,他帮你测算一下,他说行,那就行。于是,团队需要找他过的方案,大大减少。
2、 他还搞了个项目经理。
团队有遇到资源问题,自己搞不定?也先不用找他。先找项目经理!公司有哪些资源、怎么协调,项目经理门儿清。真遇到项目经理搞不定,需要他说句话的。项目经理会帮他把微信说啥编好,他一键转发。于是,团队需要找他协调资源的情况,也基本消失。
3、项目经理还负责催进度。凡是他在意的事儿,他都让项目经理管理起来,周期性催活儿。于是,他需要找团队问东问西的情况也大大减少。
那什么事儿他必须亲自干呢——团队在方法上遇到了困难,实在找不到办法,他和团队一起讨论。他花了大量时间面试和接触更好的候选人,他还会听大量的用户访谈、每天自己看很多数据。
相比之下,我们大多数管理者,每天都被不得不做的紧急事务催得团团转。紧急的事儿消耗精力,但是重要的事儿才会产出关键业绩。
文化与战略,似乎是一个很大又很虚的词,但是在听了《
随着企业变大、人变多后,大家认知体系必然会不同频,必须要有一个同频的目标去做决策的一个标准,这个时候就凸显了企业文化的重要性,而文化就是帮战略、帮组织纠偏,它是很好的一个纠偏剂;套用林少的话是这么说的
首先文化确实蛮虚的,但我个人觉得其实从一家公司的底层来看,文化它是一个底座,它可能没有那么显性,但是它对这个公司的长远的一个指导是有非常重要的一个作用的。战略、组织、文化这三件事情其实是一个公司成功的比较重要的三个要素。那战略这个事情咱们比如说每年甚至每个季度都要开战略会,为什么?因为市场在变化,所以你的战略可能是会变化的,而且很有可能你的战略是会制定错误,可能会跑偏。组织其实它也是跟着战略变化的。那有可能我们这段时间我们这个战略出现了偏差,那我们大的这个组织它也会有一些变化,那组织里面也会有不同的同学加入。那可能有些同学非常合适,但有些同学他可能就不合适,可能也会又走偏的时候。那什么是文化呢?我觉得其实文化就是帮战略纠偏,帮组织纠偏,它是很好的一个纠偏剂。就从长远的发展来看,当我们有一些公司发展碰到瓶颈,公司走了弯路,那这个时候我们靠什么?就靠你的文化里面的使命,还是回到原点,到底我们做这件事情意义是什么?然后到底我们长远我们要去向何方?然后我们从起点走向愿景的这条过程中,我们的行为准则是怎样的?我们是跑着去,走着去,还是抄着小路去?还是说我们可能通过一些不常规的道路去?我觉得这些都是文化可能在起到指导的作用。我们企业文化其实比较核心的是三个部分,第一个是使命,第二个愿景,第三个价值观
战略应该是简单的,应该是你一说出来大家觉得他是容易理解的,跟公司的使命是极度契合的,然后跟我们自己的能力也是非常的契合的;战略不太需要多条,也不太需要说你去经常换方向,反而是你围绕着自己主赛道,然后好好的去进行战略的一些比较简单的升级
战略的制定往往分不同的阶段,早期更多就是靠直觉拍脑袋,就是老板看到有一个机会,还是一个无人地带;直觉这里会有机会,所以自己就往前冲了,可能大部分会失败,但少数会成功。战略直觉是挺重要的,就是一个CEO他每天都在接触这个公司的所有的信息,然后他也在跟很多外部的一些市场去打交道,就是这每天的信息其实是会让CEO 去产生一些战略直觉的。有些 CEO其实是有战略直觉天赋的,会是一家公司一个 CEO非常核心的竞争力。但仅有这个不够,因为即便如此,一个人依然是有盲区的。那这个时候就需要多方的视角,需要有高管团队帮忙来从不同的维度去做战略的复盘,做战略的探寻,结合外部的顾问,结合CEO的直觉,再结合整个管理团队的多维度的战略的探寻,是会制定出相对比较有效的战略方向。
而战略直觉依赖的的信息来源,播客里提到了三个(1)跟更多的同事去交流,不仅仅高管,跟更多的中层甚至是基层的员工去交流,一线的员工其实是离炮火最近的;可以听听他们的想法,他们对公司的看法,然后听听他们对市场的看法,他们对用户的看法(2)每天要有大量的输入,这些输入可以是来自于你所关注的一些账号,有公众号,有抖音账号(3)保持足够频率的跟外部的同行交流,他们可以是你的密友,也可以是你新认识的一些创业者,也可以是你的投资人,从他们这边也可以获取到非常高质量的一些信息跟建议
有了战略信息,如何向员工传递?需要靠机制一层层落实;比如说每个季度制定一个战略OKR 分享会,向全员表达(类似字节的 allhands);把战略贴在会议室墙上,每个人都很聪明,当他们的信息足够,当公司的信息差越来越少之后,那这个时候其实战略的理解、推行他就会相对比较容易得多。很多时候战略落地不了,可能是信息的传达不够
除了文化和战略这些看起来比较大而虚的内容,播客还提到比较实在的一点,就是管理需要工具化
管理很多其实是非标的,因为每个人的管理方式不太一样,每个人他自己的管理风格也不太一样,他的性格也不太一样。那这个时候,一个新员工加入试点,他怎么更好地去理解我们的沟通方式、协调方式跟会议方式?
如果能够将非标的管理工具化,通过更多的文档、通过OKR、通过绩效把它工具化。那这个时说一个新员工进入公司,他通过飞书等工具,他能够接触到的这些资料他就能够很快地get到这家公司是怎么通过文档交流的,开会的互动的,然后通过周报到底是怎么去协调的
管理这个词看起来似乎高深莫测,整篇文章看下来,的确也有很多的技巧和方法论,但回归到本质,还是如何通过高效的方式组织一群人去完成任务,并且是长期可持续的
正如没有一种通用的技术能适用于所有的业务,也没有一种通用的管理方式使用所有的团队,因为这跟业务类型、业务发展阶段、团队规模、团队成员的特点都有关;而回到最开头说的像打造一个产品一样打造一个团队,我们要做的就是随着业务等发展,不断地调整团队的这个产品的形态
往往我们会被传达这样的一个理念:当上了管理者似乎就能一劳永逸,避免 35岁危机,虽没实证过,但相信也不会是真的,只是一个妄念。而随着业务的发展不断调整、进化自己,以更年轻和开放的心态去迎接当前的挑战,有管理工作委任时能够扛得起,没有也能做个能打的IC,可能才是“一劳永逸”的答案;毕竟真正当上管理者的人是少的,而当上管理者可能也需要在合适的时机踩中合适的机会,有运气与努力成分;好好生活,快乐工作,才是每个普通人应该去努力追求的,与君共勉。
Highlight Detection在实际的应用场景较为广泛:一些视频网站(如爱奇艺、哔哩哔哩)里鼠标停留在视频上时会自动播放一些片段,这些片段可认为是高光片段;主流的直播平台基本都提供了直播回放工具,其中往往也会提供高光片段的候选,除了提供给用户侧,广告主/商家侧也会提供类似产品,如
这个方法来自
这是淘宝在 2021提出的一个方法,总体的模型结构图如下图所示,模型不复杂,左边是抽取多模态特征部分,右边则是基于抽取出来的特征和score,通过 GCN 做 finetune,损失函数由两部分组成,即Loss_reg
和 Loss_ag
特征工程部分,visual information 通过 I3D+BiGRU 提取,比较常规;textinformation 提出了一个 QFGA(Query-Focus Graph Aggregation), 一个基于graph 抽取特征的模块
Co-AttentionModule,这个模块主要作用是融合多模态特征(即 visual information和 text information),基本的原理是参考了 trasformer 的 self-attention机制, 对于下面左边的 block,\(v\)相当于 query, \(s\) 相当于 key 和value
其计算逻辑如下图所示
Graph-based Fine-tuning:这部分主要是为了减少抽取出来的特征里的 noise;paper 里是这么说的:Due to the presence of visual and text noises in multi-modal video highlight detection, we propose a graph based fine-tuning module to improve the accuracy of our model.
,但是也没进一步说明原因
具体的做法就是给每帧打一个分,然后选取按 score 排序 topk 的 frame构造一个 graph,基于 graph 做 GCN 的计算,关于 GCN的详细解释可参考这篇文章:
而最终的损失函数由 2 部分组成,
\(L_{reg}\),计算预估的开始/结束时间和真正的开始/结束时间的的差异,计算方式如下
\[L_{reg} = \frac{1}{N}\sum_{i=1}^{N}[R(\hat{s_i}, s_i) + R(\hat{e_i}, e_i)]\]
各符号含义如下
\(L_{ag}\) 计算方式如下,主要用来计算两段视频的相关性,\(k\)表示将每段视频切成 \(k\) 段clips,主要由三项组成
\[L_{ag} = - \sum_{i=1}^{k}e(v_i,\hat{v})\]
\[e(v_i, v_j) = \theta_{r} \cdot r(v_i,v_j)+\theta_{d} \cdot d(v_i, v_j)+\theta_{s} \cdot \cos(v_i,v_j)\]
各符号含义如下
预估时实际是一个多分类模型(softmax),会对最后构造的 graph做一个预估,并选择概率最大的一帧作为起始帧,然后取其后的 128frame作为固定的高光片段
实验评估的效果指标就是看各种 IoU 的占比,数据集是 taobao 提供的包含 5个大分类的数据,整个 dataset 的信息如下
paper 做了消融实验,结果如下图所示
各符号含义如下,可以看到文本特征,Graph-based Fine-tuning以及损失函数中的 \(L_{ag}\)项作用还是不小的
上面的 TaoHighlight方法使用的是人工标注的数据集,其缺陷是比较明显的,即人工标注导致了成本较高,可维护性太差;一是高光的定义因人而异,标注时主观性会比较强,二是成本和标注的难度决定了数据更新频率不会很高,这在业界基本是无法接受的
那很自然就会想到,能否利用一些无须标注的信号来规避掉需要人工打标这个环节呢?这篇paper 就提供了一个思路 Lessis More: Learning Highlight Detection from Video Duration
peper 认为 Less is More,即越短的视频的信息量就越高,所以切分出来的片段都可以认为是高光片段,反之越长的视频的信息量约低,切出来的都不是高光片段,因此,paper将训练样本 \(D\)分为分为三部分,即\(D= \lbrace D_S, D_L, D_R\rbrace\),\(D_S\)表示短视频的集合,\(D_L\)表示长视频的集合,paper 将短于 15s 定义为短视频,长于 45s的定义为长视频
每个视频都会被切成等成的 segment,记为
paper 采用了 pair-wise 的方法来构造样本,即从
损失函数的表达如下
\[L(D) = \sum_{(s_i, s_j) \in \mathcal{P}}\max(0, 1 - f(x_i) + f(x_j))\]
但这种认为短视频切出来的都是高光,长视频切出来都不是高光的方法显然是比较武断的,或者说存在noise,所以需要计算每对 pair 的置信度,因此引入了一个 binary latentvariable \(w_{ij}\),表示每对 pair的置信度, 因此上面的损失函数变成了如下形式
\[\begin{align*}&L(D) = \sum_{(s_i, s_j) \in \mathcal{P}} w_{ij} \max(0, 1 - f(x_i)+ f(x_j)) \\\&\begin{array} \\\s.t.& \sum_{(s_i, s_j) \in \mathcal{P}} w_{ij} = p|\mathcal{P}|,w_{ij} \in [0,1] \\\&w_{ij} = h(x_i, x_j)\end{array}\end{align*}\]
上面的 \(p\) 表示训练样本里有效的pair 的比例,\(h\) 则是计算
虽然这里通过 \(w_{ij}\)做到了在统计意义上只有部分样本有效,但是未必就能把noise 完全干掉,因为缺少人工先验的信息,可能最终训练出来,在真正有效的pair 上,\(w_{ij}\) 可能会更小
总体的模型和流程如下图所示,
上面也提到,
\[\begin{align*}&L(D) = \sum_{g=1}^{m} \sum_{(s_i, s_j) \in \mathcal{P_g}} w_{ij}\max(0, 1 - f(x_i) + f(x_j)) \\\&\begin{array}\\\s.t.& \sum_{(s_i, s_j) \in \mathcal{P_g}} w_{ij} = \sum_{(s_i, s_j)\in \mathcal{P_g}} \sigma(h(x_i, x_j)) = 1 \\\&w_{ij} \in [0,1]\end{array}\end{align*}\]
实验采用的指标是 mAP(mean average precision),在 object detection中比较常见的指标,可以简单理解为多个类别物体检测中,每一个类别都可以根据recall和precision绘制一条曲线,AP就是该曲线下的面积,mAP是多个类别AP的平均值
mAP 的定义跟 AUC 有点像,只是这里采用了 PR 曲线,AUC 采用的是 ROC曲线,两者的区别可参考
实验主要在两个公开数据集上做,数据集为 YouTube Highlights 和TVSum,数据集里对视频做了分类(domain),因此也尝试了总体建模(下图的Ours-A)和分 domain 建模(下图的Ours-S),效果还是挺不错的,也超过了一些 supervised 的方法
文章也做了消融实验,主要是 2 部分
(1)针对上面的binary latent variable
(2)对比了数据集大小的影响,随着数据集增大,准确率逐渐上升并减缓,比较常规的结论
关于 highlight detection 的 paper不少,这里主要挑选了两篇有针对性的,两篇 paper 的一些核心点如下
第一篇 paper,TaoHighlight: Commodity-Aware Multi-Modal VideoHighlight Detection in E-Commerce
第二篇 paper,Less is More: Learning Highlight Detection from VideoDuration
第二篇的 paper的模式感觉是更适合实际的生产环境的,主要是人工标注的可维护性和持续性都不好,而在第二篇基础上,真正落地时可能还有几个问题需要思考
走在奔三的路上,凝望这前面那个迷雾般的 35岁路口,焦虑就一直萦绕在心头;伴随着的是一系列的疑问:大厂为什么要裁员?所谓的35 岁危机从何而来?只有互联网才有这个危机么?普通人只能眼巴巴地等待着 35岁到来然后被裁掉?我们能做些什么?
当我最开始问出自己这一串问题时,焦虑中带着点绝望,因为前方的路虽然处于迷雾,却又似乎一眼能望到头;但是准备写这篇文章,心里又平静了很多,也许是经过这一个多月的调研和自我教育,看到了生活的可能性和随机性,接受了与焦虑为伴这个事实。本文算是写给自己的心理按摩,文章可能会有点发散,祝开卷有益。
先说大厂裁员,大厂裁员本质上是在停止增长后的断臂求生;你会发现,首先裁员的部门基本是那些还没有实现盈利、具备较大不确定性的部门,而经济下行时,企业更多地会追求稳定性而放弃未来不确定的可能性;在这种前提下,往往会存在整条业务线被优化掉的情况,有时候哪怕你是一个高职级的员工、或者是应届生,也难逃被裁的结果
上面很关键的一个词是是“停止增长”,从微观层面的角度来看,停止增长指的是公司的DAU可能已经见顶,广告等收入也见顶,而能够带来新的现金流的业务还没出现;从宏观层面来看,则是整个互联网行业面临着没有新要素的困境(新要素指的是之前的移动互联网、移动支付),目前很难去找到一个所谓风口,或者说蓝海。无人驾驶,元宇宙,web3等等,都还无法没看到变现的迹象,大厂基本的现金流还是传统的广告、游戏和电商
PS:其实这三年反复的疫情,各行各业都不好过,也并非只有互联网大厂在裁员,只是刚好这个人群在互联网上的声音比较大,裁员其实是从传统行业一直蔓延到互联网大厂的,因为疫情最先影响的就是实体的生意,然后才是互联网,实体生意都没了,还需要啥营销和广告呢
裁员现象其实跟资本二级市场里的一些现象有点类似,比如说裁员存在恐慌情绪的蔓延,大厂开始裁完了,中厂也会跟着裁;举个可能不是很恰当的例子,裁员就是公司看空未来的经济发展,跟二级市场大家看空某个股票疯狂抛售并无二样,且抛售的股票无人接盘
裁员另一个很重要的原因是人员冗余,因为在经济好、资本充足时,一切看起来欣欣向荣;在这个时候大厂招人并不理性,会疯狂招人,而且大的组织做很多事情都有惯性,招人会一直招到非常冗余,这个惯性就有点像钟摆效应,如同在大牛市顶端进去接盘的人们,大家都是怀揣着上证指数要上1 万点的心态进场的
疯狂招人背后,边际收益的递减是必然存在的,乱翻书在 54期播客聊到这个话题时(相关链接会放在最后),里面有句话特别传神:“飞驰的火车上,每个人都觉得自己在开火车,其实大家都在车厢里做布朗运动”
所以,大家会发现裁员后,对公司业务的影响可能是很小的,工作业绩影响微乎其微,但是财报会立马更好看,其实这个也可以用二八法则来解释(最近越来越发现,几乎一切皆可二八法则),这就好比在一个广告系统里,把那些无跑量素材或计划砍掉,你会看到对整个大盘的几乎是无损的,但是所谓的生态会好很多,但从另一个角度来看,这牺牲了长尾计划/素材的探索空间,回到公司上,则是牺牲了未来的可能性。
裁员一般会有什么迹象?在乱翻书的播客里提到了,裁员一般有 2 种情况
(1)中小公司,突然遭受资金上的问题,然后急于去控制成本,会迅速的在所有层面,包括连行政费用都会裁掉,比如说员工的福利等(2)大厂,经济性的裁员,提前预示到了未来会有什么风险,会有什么趋势的变化,前置的进行成本优化。整个成本结构被拉出来,人力成本的优化只是其中的一部分
定下了裁员目标后,会盘点业务,然后决定部门需要裁员的比例,这个时候可能会出现频繁的汇报,写PPT 描述你在做什么,产出了什么价值等
另外,裁员的决策往往没有一个很长周期的准备和测试,有时候就只是上面突然把这个指令传达到hr的一句话,然后立马开始了“约谈->赔偿->走人”等一系列流程;所以可能会出现前脚刚给五星,后脚就立马裁人;前面还在疯狂招人,后面就开始冻结hc 并开始优化
首先要对大环境有一个判断,就是自己所处的专业的人才供需情况,裁员初始阶段会存在大量的人不愿意激降身价的情况,趁着这个时候市场上的供给端还比较充足,需要从你有经验的这个细分领域里边找到一个比较优质的岗位迅速地嵌进去
说到底了还是供需关系,这也是为什么在知乎上相关的回答有很多建议,如果公司大趋势就是要裁员,且你所在的业务线有较大的风险,就争取做第一批被裁的
那怎么市面上的工作的好坏?基本上,只要业务能够有良好的现金流,业务看上去比较靠谱,这些岗位普遍就好。像那种还依靠着融资的钱生存,还没有正向现金流的业务,并且在你可预期的未来,都不太可能有稳定的现金流,这种预判非常考验个人的判断力,同时也有运气成分在里面。
比如说自动驾驶、新能源车这些它未来是趋势吗?一定是趋势,但是你不知道它什么时候能到那个节点。万一它是十年,而假如你在一个行业等十年,那这十年你是不是真的能积累下来一些经验?
为什么媒体一直把 35 岁锚定为中年危机的年龄?其实定 35这个坎是为了方便大众的认知和媒体的传播,真相是这个年龄段上下的都算是这个范围
而这个年龄段会有的一些共性:上有老下有小,需要照看的东西更多了,放到工作上的精力会更少,同时学习能力和学习意愿普遍的会偏弱化一些(尤其面对一些创新业务的时候);当然,这是普遍意义,但不是绝对意义上的。因此,在面对一些经验价值没那么高的业务类型上,找一个年轻的更有冲劲的精力更充沛的,性价比会更高;而互联网又有多少经验价值高的业务呢?
说白了就是只要你不是不可替代的,找到了更便宜好用的螺丝钉,就会把老的生锈螺丝钉摘掉,这么说可能会比较残酷,但目前看来事实就是如此
如果说的更残酷一点,所谓的中年危机,就是钱不够,不够满足当前的需求和欲望,无法如预期水平地去照看你关注的那些人和事;面对收入的断崖式下跌,心理和生活上都难免会受到冲击
规训这个词,从播客里听到的时候就觉得非常的妙,一般来说每个厂都有自己的一些文化,入乡就要随俗,而很多人从毕业开始就在一个大厂环境里面,里里外外地被规训,他认识世界的方式和做事的方式全部是依赖这个大厂形成的规则,但他意识不到是被规训的
这种规训最大的问题在于,他内心的秩序和意义是来自于这个大厂的,你如果问他喜欢什么,做什么事情能沉浸有热忱,他突然会发现卡壳
这样的人一旦离开,要面对的问题还是挺多的,尤其是心理上的;有个很好的比喻就是“这就像在一个鱼缸里边圈养了50年的一个鲸鱼放归大海”,我们认为是自由,但是对他来说不是他认识世界的方式。这跟ze ran 在 “程序员的悲哀是什么” 这个问题写下的
你在一个厂里边没有升到高管,又能做十几年,这本身代表着一些事情。其实那个脑子比较开放性的意愿比较多的,比较强的,普遍的会有很多想法,要么在大厂里边自己管一块业务,要么就蹦出来,可能成、可能不成,那是命运的问题;但是不会在一个大厂里面像做一辈子一样去做十几年,但是公司不开我,我可能做20年对吧,最终这个漏斗本身筛下来能做那么久的又不是高管的,是同一类人,相对追求确定性,安稳,开放性没那么足。专业上垂直,因为待得久,有一定的专业能力,但这个专业能力要依附于某个大平台
在所谓的大厂裁员和中年危机双重 debuff的加持下,焦虑自然是难免的了,我们不禁会问,我们能做什么?如果离开大厂,是否就能消解掉这两个debuff?
这部分不少案例来自
而刘飞也提到了很多人不做这件事的原因,那就是信息差:“很多老同事老朋友他们非常缺乏安全感和有35岁焦虑,就是因为不知道。我觉得他们的能力他们的喜好想法其实挺适合做一些别的事情的,但是就是单纯不知道。因为他们看到的例子、我们在大厂里接触到例子,都是这种互联网大厂的玩法,和创业的拿融资烧钱创业的这种玩法,我觉得知道之后,可能真的是有很多可选的机会”
那为什么大家眼里只能看到那种高举高打的创业?因为接收到的信息有偏。我们看很多商业分析,或者是自媒体的文章,很容易产生一个错觉:就是你创业你做互联网只能做大,你不做行业第一,DAU上亿,你不做市值十亿一百亿,你就根本下不去这个手;久而久之,我们看到的创业成功的模式似乎都是那种具备规模效应的模式,我们以为创业只有这一种模式
与之相反的是,也有不少人从大厂出来,选择了一个自己比较清晰(就是他知道这个事情的商业逻辑是什么样),然后同时又有一个比较好的现金流的事情,这就是一个比较好的生意;这个生意如果从互联网视角看,好像没那么性感,但是这个生意它会让你觉得好像更踏实一些,更有积累一些
而本质上,创业也是做生意,只不过创业打上了一个理想主义的标签,最后你追求的还是一个能不能转起来的生意,而不是说只是把DAU 烧起来,剩下的什么都不管了
下面主要摘录自刘飞在非大厂叙事里提到了几个小生意,里面有基于轻量级开发团队做的效率工具,小工具app,也有涉及实体的二手店和淘宝店,总之就是像我们展示了更多的可能性,这里引用刘飞的一段话
之前我们做互联网很多时候做的,我理解它更多的是效率平台,效率平台做的很多事情都是撮合,都是我把供需匹配好。然后我在这个过程中有的是用人力,有的是用运营,有的是用算法把这个效率最大化。但是现在消费市场变化了之后,会有很多垂直的领域,小众的领域大家追求的是内容产品或者内容品牌,就这些是面向垂直的用户,小众群体。
就比如说某些是消费品,包括刚才我提到的像 flomo,你很难说 flomo它是一个可以对标备忘录、对标印象笔记、或者对标飞书的一个协作工具。它就是一个很小众的工具,它是做知识管理。它不是一个大众的产品,它有自己的用户群体,它自己的用户群体有非常好的复购率,这个用户群体有非常强的粘性,而且非常认同这个产品。就类似这样的产品,还有像那个多抓鱼,还有像那个三顿半,这些产品其实它们都是类似的这种属性的。就我有自己的目标用户垂直领域,然后它们有比较好的复购,然后我持续地深耕做这些用户
下面的几个故事,会言简意赅地摘录一些笔者关注的重点,推荐去听一下原播客,也许每个人能听到的重点都不一样
flomo是一个快速记录想法的笔记软件,创始人是
少楠在刘飞的三五环做客了非常多次,下面的一些内容也是两人的播客里聊到的,相关的一些播客链接也会放到最后
为什么做 flomo
少楠在提到离职创业时,辞去提供一大笔年薪的工作,的确会比较恐惧,尤其是上有老下有小的情况下;但是转念一想,如果这个事情等到 40多岁再来做,成本又会变得特别高;而相比于这个,在相当长的时间里都在用五年前或七年前的知识来解决问题让他更恐惧,因为这相当于他的知识体系不更新了,而他的知识是最值钱的东西
《
虽然做 flomo后拿到的钱变少了,但播客里有个观点是这样的,就是“每一笔钱是不平等的”:大厂里拿到的钱,跟创业拿到的钱,即使是等额的,但是背后代表的东西是不一样的;大厂那笔钱的背后是你的交换出去的时间和价值;而创业那笔钱背后是你创造的资产,能够持续创造现金流;而如果按照创业公司PE 来算的话,从创业拿到的工资折算回去,资产的价值还是比较高的
但是,我觉得大厂积累下来的经验和履历也是一种资产,虽然大厂履历带来的光环越来越暗淡,需要警惕的是在边缘部门做一些边缘事情,积累不下任何经验
焦虑
收入焦虑,某种程度上也是知识焦虑,要多问下自己的知识资产是在消耗还是积累,有没有变现手段?比如说自己的知识体系是否已经非常老旧了,或者垂直性非常强,只有在某个领域或某个公司才适用
做 flomo 的一些经验
效率产品,背后都需要有一些被验证过有效的理念,且这些理念要传递给用户(通过内容创作构造出品牌)
用户增长,往往同时需要考虑 2个方面,一是讲好品牌故事(烧钱投广告增长不可持续),二是做好投放渠道(内容渠道和广告渠道,酒香也怕巷子深)
虽然 ab实验是一种比较科学的决策方法,但是很多决策没法拿短期的数据来衡量,比如说把品牌种在更多的用户心里;打造品牌往往需要做一个长期贪婪的事情,少楠做这件事的方式就是写很多文章和内容,教用户怎么使用,甚至是改变思维方式
开发 flomo 的是一个轻量级的团队(初期只有 2个人,现在应该也是个位数),而
一直想做一个中国版的 product hunt,但是效果一直不达预期;反倒是一些site project,在数据上的表现很不错,改变了 61 只想做 big的想法,更专注在一些 small but effective的东西上;这个过程的关键是看数据,数据是不会骗人的,所以这个过程一定要有一套评估的系统,能直观看到数据
两个小工具类产品,offscreen 和谜底时钟,都是打磨了一年后,随着 IOS上线带来的小组件特性而火了起来,具有一定的运气成分,但同时也是为这次运气做了一年的默默耕耘后,才能在机会来的时候快速抓住
小团队做增长的一些路径:找到各种媒体上的 KOL,如果东西是好的,KOL也是会愿意去推荐的(follower会喜欢),同时海外市场也是一个有潜力的市场;提到了增长,在这一期的播客里也cue到了少楠之前的一些感悟:第一次创业关注的是体验,第二次创业关注的是增长
flomo和谜底科技的几款产品都有一个共同特点,就是为了控制成本,不会把事情搞得很复杂,无论是团队规模或者是产品功能;谜底科技的App基本都没有服务端,选型目的是想让团队比较轻量级,重运营和重服务端的都不做;即使不做这些,依然可以挑出很多有商业价值、有前景的项目,写这篇文章也发现谜底科技的另一款小工具谜底黑胶又在app store 登顶了
所以,不要特别瞧不起小的东西,不一定就要做一个特别大的公司,比较好地解决垂直领域的一个问题,也只很值得去做的,比如说小宇宙;古典产品也许在慢慢回归
上面两个案例都是偏互联网工具类的产品,后面的两个例子则是涉及到了实体类的小生意。山茶子是
在牙刷味持续工作过程中,也在持续地想自己想要做什么,工作只是单纯地为了生活;决定做做茶叶时,开始做的时候也没有想得很清楚;因为有时候如果充分调研,可能就不会去做了,会觉得这个事情太大了。
与前面的提到的两个互联网产品不同,互联网产品的边际成本基本为0,但是涉及到实体的生意还是存在实打实的原材料成本的,因此也需要考虑供应链,以这个茶叶生意为例,基本的供应链就是,茶叶原料-> 代加工 -> 包装 -> 推广 -> 发货
具体搭建茶叶品牌的流程就是先去做了竞品调研,买了市场上这个领域所有的产品,只要相同价格下品质做的更好就可以,但是利润空间会更小;原材料在杭州龙井茶村找,代加工厂在1688上找,但是前期规模小,不一定能找到很好的工厂;这一系列事情其实牵涉了在播客里反复被提及的浙商思维:先去做眼前的事情,尝试把眼前的事情做好
虽然如此,实际中也存在很多不充分调研,考虑不周全而倒下的创业者,只是大家没有看到,这里面感觉还是有一定的运气成分
这里有一个理念跟前面的两个案例很相似,那就是也不会一开始就考虑很大的团队,除非招一个人能赚出他自己的工资
做生意不像在公司,这家不行就换下一家,但是在公司不行,对接的研发/产品不行,很难换一个
谈到了更多可能性,警惕自己给自己贴标签,如果因为你比较成功地做过一些事情,其他人给你贴上了你擅长这件事的标签,不要误认为自己只能做这件事,需要接触和尝试,不一定每种可能性都要尝试,但是要从接触开始
环境对人的影响是很大的,人的生活状态,价值观和叙事方式都是由环境塑造的,在环境里很容易被周围的人影响,举了一个比较极端的例子:比如说这公司都快倒了。但是只要这公司里比如说公司租的楼够好,公司里面的员工大家每天还是按时上班,甚至还在加班。还是比较有昂扬斗志的。开会大家还是在argue 加在这争来争去的。那你就会觉得这个公司好像没啥问题
最后,还提到了一种很有趣生活态度:把生活当做游戏,自己是主角,其他人都是NPC;不同 NPC可能会给你带来不同的线索,体验不同的支线任务;但是能奖励你的那个事情才是主线,找到能给你正反馈的主线和NPC
猫助最早想开二手店,可以追溯到大学的时候;当时没有去大厂,而是去了刚成立的知乎,因为觉得去了创业公司,至少能看到一个企业是怎么做起来的,将来就可以去做自己的企业了
最早多抓鱼的 MVP版本是:“我们找了一些可能有意愿卖二手书的朋友,然后说如果你想卖书你就@群主,群主会给你约快递,最后群主会单独把钱打给你。群主收到书之后会把书名写在Excel表上面,然后再发到群里说,我们今天上新了,快来挑挑都有什么你喜欢的书。这就是最早的多抓鱼”
选择实体店 or线上?当前多抓鱼两个模式都有,实体店偏本地,租金贵但没有邮费,退货率也非常低,就基本没有退货了;线上是全国的匹配,调用了物流;非标的东西(没有明确规格和型号的商品)只在线下售卖,但是偏标准品的东西还是说偏线上全国消化(当前主要是书,衣服和小数码)
世界上很多很多的生存方式和路径,不要只看到一种路径:从 p4到p6,p6到p8
c2b2c(多抓鱼)相比于c2c(闲鱼),能够提高卖家的效率,保证买家的质量,而这两个原因也是猫助选择了多抓鱼现有的模式
在多抓鱼,没有什么纯粹的管理工作,上到 CEO下到一个实习生,全都是要搬砖的
跳出社会预期:老耿(70后)以前是豆瓣的 VP,对自己的预期特别低,而他就活的状态像个少年,什么事情都能做;其实也是我们常说的ego 小的一种体现
现实中,很多事情都是一座围城,城外的人想进去,城里的人想出去
如果说大厂是一座围城,那上面都是围城里的人出去并且活得还不错的故事,但是城外都是毫无风险的吗?围城外是否会存在让人回想起被支配的恐惧的“巨人”?
当然存在,上面看到的都是成功的或者说目前公司还存在的案例,必然存在一个幸存者偏差,死掉的项目是没人关注的。而看到很多成功项目时,我们很容易幻想:这些事情自己好像也有能力做,做成也不难,却忽略了媒体报导的偏差性、人和人的差异性,以及生活的随机性,很容易会因为当前手上或烦人或无聊工作,而脑子一热冲出围城,然后就会面临着现实生活这个“巨人”的一顿毒打
在三五环的一期播客里也提到了这一现象:很多大厂离职出去的员工会面临着“返贫”的现象,原因是不懂得打理资产;资产最终会回流到会管理他们的人身上;而打理资产的能力,无论是上学或者上班,都没有人教我们;上学是在学教科书里的知识,上班更多学习的是专业能力和管理能力
什么是打理资产的能力?无论是投资金融类资产,投资其他人的项目,还是创业做个小生意,大致含义就是能够看到完整的商业逻辑,看到钱从哪里来,怎么保证现金流
对于普通人来说,要意识到自己在公司学习到的能力的局限性,绝大部分人都是一个可弃用的螺丝钉,对于全貌未必看得比较准确;哪怕看到了全貌,历史经验也是具备局限性的,因为很多事情会受到经济周期的影响,在经济上行时总结的经验,未必就适用于所有的时期
我们常常说,大学是一座象牙塔;其实大厂也算是一座象牙塔(尤其是离一线销售岗位较远的岗位),大部分人工作中每天接触到的清一色的都是相同的人和事,不需要关注公司的现金流情况(大多数情况也没有这样的机会),只知道广告能有收入,却不知道广告里的每个细分行业的生意是如何运转的,广告主为什么愿意花钱投广告;只知道商家的roi>1看起来好像就是正的,却不知道刨除商品、人工、场地、营销等成本,可能就是个赔钱生意;这些东西,围城里没有人会教我们。
即刻上
做电商这几年,也见过很多“精英人士”入局做电商,可能是我段位不行,接触的都是精英人士做电商失败或者被毒打的案例。这些失败案例的步骤也比较一致
第一步:精英人士泛指:名牌大学海龟精英/互联网大厂精英/外企500强白领精英/有钱的用过好东西的富二代/有点审美天赋的艺术精英第二步:锚定一个品类,可能是宠物/护肤/美妆/服装/电子产品/运动/食品/母婴产品等等
第三步:做这些品类的产品调研,用了该品类TOP10的产品之后,发出各种吐槽:这是人吃的么?人用的么?质量那么差?这么丑的衣服是人穿的么?狗都不会用的东西........
第四步:由此认为该品类机会大有可为,认为自己进去一定能颠覆品类,成为该品类第一,并且认为自己将是国货崛起的代言人,自己有着巨大的使命,一定要让中国人都用上好东西
第五步:自诩为乔布斯化身,开始非常极致的产品开发,选最好的材料/面料/食材,各个环节都用最好的工艺,各种版本,包材,样本打了几十个版本,一次又一次推翻,跑遍了全国各种代工厂
第六步:在产品设计上罗永浩附体,字体大小,颜色,VI,排版,行间距,字间距,深浅调了几十版,学习张小龙,每一个像素都抠的非常细
第七步:半年或一年后,产品正式上线,由于产品各种选取最优质的材料,那个成本也高出天际,然后那个产品售价超出主流市场价格带一大截。
第八步:产品好是好,但因为太贵,老百姓买不起,所以销量寥寥无几,非常讽刺,目标是希望国人用上好东西,但结果国人用不起。
第九步:东西太贵,只能抓精准富裕中产精英群体,但又没有特别渠道,手段,抓不到这群用户,花钱做了很多广告,转化率极差。
第十步:找各个主播,渠道去推,主播渠道都表示东西很好,但太贵了,推不动,能不能售价降50%,咬咬牙同意了,爆了几波销量后发现卖一个亏一个,别人都说你家直播卖了好多钱,只有你知道,算上税,退货,邮费,主播分成,产品成本,你甚至还赔钱。
第十一步:销量上不去,也没法融资,公司财务开始恶化,资金不断消耗,推广费用捉襟见肘,没钱开发二代,三代产品,开始各种暴躁,骂员工,员工合伙人纷纷离职
第十二步:库存堆成山,卖不出去,各种供应商找上门来,找家里要钱/拿出工资储蓄/卖了房子之后终于把欠债还完了。
第十三步:出来逢人就总结,自己的产品非常优秀,非常好,可惜中国老百姓不识货啊!
读到这里,你会发现,长期呆在大厂里会里里外外被规训,也面临着所谓的中年危机;出去外面,面对着的是更加复杂的人和事,看到的都是成功的案例,具备较强的随机性和不可复制性,真正去做的时候可能一不小心就返贫,把过去十多年的积累一次清空。那我们能怎么办,似乎没有一个一劳永逸的方法?
是的,生活本来就没有一个一劳永逸的答案。在大厂可能会被裁员,难道开公司当老板,就会永远盈利不倒闭么?我们看到上面的还算成功的非大厂的各种叙事,能活多长时间,可能连创始人也没法告诉你。生活本来就是混沌的,充满随机性的,无法预测的,过分追求安稳与确定性,有时候会很痛苦。
《
仔细想想,我们的一生好像都是在实现目标中挣扎着度过的。上初中的时候,老师告诉你,中考的淘汰率是最高的,只要闯过去,上了高中一切就好了。但上了高中的时候发现不是那么回事嘛,高中老师又说了啊,考上大学就进了天堂。于是你考上了大学,依然空虚迷茫各种草样年华,父母老师又告诉你,找到工作就好了。工作之后发现烦恼和忧虑依然都在,女朋友给你看马云的故事,告诉你等你事业有成就好了……
你发现了吗,其实人这一辈子的每一个阶段都有新的痛苦和顾虑,周而复始,生生不息。绝对不会因为你考上大学,事业有成,迎娶了女神就从此happily everafter。但每一个阶段也有每一个阶段的快乐,无法替代。生活不是安徒生童话也不是好莱坞电影,从出生的那一刻起直到生命的尽头,都不存在什么节点,过去了之后一切幸福美满无忧无虑。
接受人这一生都要与焦虑为伴的事实,不要与焦虑对抗、尝试解决或者抹除焦虑,也许会是更自然与平和的状态,因为what you resistpersists,往往越抵抗,反噬可能会越严重;所以需要学会接受焦虑,学会与焦虑相处,因为很多事情,你接受了,就不会痛苦,或者说有了预期,当事情发生时就不会那么痛苦(人的快乐和痛苦往往都是来源于发生了预期以外的事情)
但接受焦虑,并不意味着要躺平,因为焦虑往往就是有一些需要做的事情但是没有做,那件事在你的心底大声地发出嘲讽,让你愈发恐慌;所以往往什么都不做,会让你更加焦虑,因此焦虑时合理的手段也几乎只有一种:进一步做好你当前的事(工作、学习),并选择一个“至少不是错的”的方向去努力
对于还在大厂的人,就是好好把手上的事情做好,提升自己的能力;至于升职这类事情,能力和运气都是必要条件,我们无法左右运气,但至少在能力上,我们还是具备主观能动性的
而在本职工作以外,又有什么是值得我们去追求的呢?
无论是继续留在大厂或者是决定是否从大厂离开,都要想清楚,自己是为了什么去做这个事情的,或者说要找到内生的信念
内生的信念,指的是你真的有你想要去做的事情;这种情况下,无论你是辞职还是创业,无论结果是好还是坏,普遍感知上会更好一些;因为这种情况下收到的正向的反馈是大于你获得的外在工资的。这个正反馈可以是你在外面做内容做得好,受到读者的好评;也可以是你在外面做一个品牌,你感受的一些成就感等等
如果说你还没有找到这些东西,只在对比工作的状态和收到的工资的话,那确实在大厂整体肯定还是对比起来更舒适的,因为从大厂那种有一定的基建保障的环境中出来之后,会面对一个更混沌的外部系统,它资源整合调度做事的难度其实并没有比之前降低,只是对体感上你的好像自由决策,没人能管得了
反之,如果没找到自己喜欢做的事情,被外部诱惑从某个大厂离开的人,经常会有落差,最后的情况都不会那么好
因为如果你是被诱惑出来的,可能是觉得现在工作特别不开心,特别累,出来可能更开心一点;或者说外面有一个机会,这个机会给你承诺的很多,但是你没有看到这个风险。这种情况出来的话,很容易就会感觉到心力支撑不住,因为没有原来这种确定性和安全感了,在外面自己又没有特别想做的事情,那就确实会比较痛苦;所以有很多人就回去了,但是也有很多人回不去了
很多情况下,我们应该摆脱竞争,竞争就必然会内卷,只要你跟别人做一样的事情,就一定会产生这种消耗性的竞争。你要想办法为自己找到一个差异的点,然后去做跟别人不一样的事情。我们常说的“找到自己的那条赛道,在那条赛道上我们就是第一”,其实也是这么一回事
如何找到自己的赛道?对不起,这也没有一个明确的答案,但是比较明确的是,我们需要看到更多的可能性,收集足够全的信息,然后自己做判断,而不是直接收集的是别人的结论,因为个人的差异性和生活的随机性决定了适合每个人的赛道是不一样的
工作之余,可以尽量多地做低成本的尝试,万一哪个尝试成了,就可以比较从容地应对所谓的裁员和中年危机;以戴某demo为例,之前在业余做投资的事情,做顾问的事情已经做了好多年了,在离开公司的时候其实并不是一个很突兀的要转型,而是一个很自然的过程
对于更多的人来说,可行的方案之一,也许是真诚的有品质的表达,因为这是一个高效的社交活动。当你把你的思考放出来去寻求回应的时候,很多看到并与你共频的人会给你那个回响(念念不忘,必有回响),这比你挨个自己去找人这容易的太多了,而这些表达说不定会给你吸引来更多的可能性和机会;所以我一直认为有品质的写作、播客、视频等,都是一个高效的社交
这里其实是套用了孟岩写的文章的标题:
我们把人力资本释放的现金流,不断通过金融市场,转换为金融资本。随着时间的流逝,我们的金融投资获得不错的回报,金融资本也慢慢增长成为我们总财富的主要部分。
年轻时,尽管我们完全没有意识到,我们可能远比自己想象的有钱。只是在这个时候,财富更多以人力资本的形式存在。
因为拥有相对安全的人力资本资产,这就意味着年轻人可以比年长者把更多的金融资产投资于更高风险的资产,比如股票,甚至可以包括少量的杠杆和债务。原因很简单,这时候的损失,无论是5 % 还是30%,尽管当下看起来很多,但在我们总资产(包含人力资本)的盘子里,实在微不足道。
在谈工作的时候,大家很容易会把着眼点放在收入上,这无可厚非。但它带来的副作用是你过于集中在这个点上,你就会忽略你整个职业生涯里,真正应该积累的可能是视野、知识能力、品格、人脉、口碑等。你如果真正真是并积累它,钱会找到你
另外,无论你所在的企业如何,都要记住,企业愿意聘用你,他们花钱购买的是你的专业能力,这是一切的前提;而你把着眼点反过来放在那个纯收益上,有可能忽视了真正要积累的东西,反而不一定会有一个很好的结果,因为这样下来竞争力可能会越来越低,同时有可能失去了你自己的自我认同
很多大厂里的员工,其实并没有在大厂里边真正把自己当成一个产品或者一个资产去创造什么东西,更多的是把焦点盯在工资和收益上,但把焦点盯在你的经济收益和盯在创造上,你的过程和结果可能都会不一样,尤其是你的体感。而飞书建议大家写的
Am I productizing it? Am I scaling it? Am I scaling with labor orwith capital or with code or with media?
放眼互联网公司的发展或者个人的成长,我们会发现,一个绕不多去的话题就是运气,或者说生活的随机性;什么“我的成功你也能复制”,都是在扯犊子,忽略了时代的不同和生活的随机性
我们生活中遇到的事情基本可以分为三类,第一类基本由能力决定,比如说考试;第二类纯粹由随机性决定,比如布朗运动;第三类,也是我们最常遇到的,由能力和随机性共同决定,比如创业、投资、恋爱或是梦想。
我们最大的问题是,面临生活中大部分的事情时,往往会自动地归为第一类,而忽略了随机性对结果的影响。大到互联网的发展,小到一个个体去选择自己的职业生涯,其实很多都是随机性决定的;有的时候我们事后因为人性的原因,各喜欢各种归因,总是在这找原因,其实没啥可归纳的,也没什么指导意义,因为时代在变,大环境在变
当你意识到世界很多事情都有随机性,甚至是被随机性主导的;当你深知这件事情的随机性也许永远不会青睐你,你是选择继续坚持下去,还是选择躺平呢?
而一个人最宝贵的财富,也许就是在做一件事情时,能够清楚地意识到随机性和运气在其中的占比,并心平气和地接受这个事实
需要意识到的另一个事实是:随机性会带来坏的事情,但也可能会带来好的事情,而在我们努力没达到一定程度前,我们连面对好的随机性的资格都没有,也可能会随时被坏运气冲垮;这也意味着需要做好2 个准备
(1)抓住好运气的能力(2)对冲坏运气带来的风险
抓住好运气的能力,意味着我们要不断地提高自己的各项能力,即使现阶段不能给你带来即刻的回报;比如说现在要提拔你,你觉得你的管理能力是否能够hold住现有的团队?你的专业能力是否能带领整个团队攻克当前遇到的问题?比如说web3现在如火如荼,这里面是否真的有好的项目,你是否有能力去分辨其中各个项目的价值,而不是去当绿油油的韭菜?
对冲坏运气的能力,意味着我们要能够尽量识别出未来可能发生的风险,比如说工作上的风险,身体健康的风险,经济上的风险等发生时,你有做好兜底的方案吗?
面对随机性,有时候会让人绝望,因为即使你做了准备,对最终的结果可能也是毫无意义的;但面对随机性,我们唯一能做的也是好好地活在当下(虽然被说烂了,但的确是真理),放下一些不必要的执念和无意义的比较,与身边的人愉快相处,认真安排好每一天的活动,用心去感受每一天的心境
因为一直瞻前顾后,容易陷入对过去的后悔和对未来的担忧中,这种焦虑带来的是所有非工作状态的生活都被填满;尤其当你做的是一个寻求机会的事情时,准确地规划是很难的,当你试图用理性来假设和分析时,很多时候回过头再看,这些假设跟真实的差异会很大,但这样的分析往往会令人陷入悲观主义,因为往往假设会越做越谨慎,似乎一定要万无一失才能开始行动
既然随机性不可避免,而过分追求确定性可能会让我们瞻前顾后、步步惊心,还不如学着接受并享受生活的随机性;既然预定要飞向意大利的航班,最终有可能让你降落在荷兰,还不如好好享受荷兰的风光,对自己说一句:
最后,借用《
我学会了如果你必须离开一个地方,一个你曾经住过、爱过、深埋着你所有过往的地方,无论以何种方式离开,都不要慢慢离开,要尽你所能决绝地离开,永远不要回头,也永远不要相信过去的时光才是更好的,因为它们已经消亡。过去的岁月看来安全无害,被轻易跨越,而未来藏在迷雾之中,隔着距离,叫人看来胆怯。但当你踏足其中,就会云开雾散。我学会了这一点,但就像所有人一样,待到学会,为时太晚
文中相关的一些播客
这个系列的文章绝大部分内容来自于有知有行,也会有一些笔者深究后调研的内容,且按照笔者的理解划分为:认知与心态、概念与常识、买与卖三大模块。妄图将投资这个大话题以及有知有行的编辑们整理的上百篇文章浓缩到这篇小小的笔记中,自然无法面面俱到,所以这篇文章还是会挑选笔者关注的一些内容,更详细的内容可参考有知有行以及本文里的相关引用。
本文是买与卖部分,也是实操部分;投资赚取的收益本质上就四个字:低买高卖,虽然只有四个字,但是如果要做好这个事情非常难,本文试图为这个没有标准答案的问题寻找一些可参考的解。
这个系列前面两部分的内容可参考
如果将“低买高卖”进一步拆解,我们能够进一步拆成以下几个直观问题
而这几个问题又涉及到实操中常说的资产配置、仓位控制、估值等实操部分,下面会详细介绍这几部分,并在最后尝试回答上面几个问题。
资产配置本质上就是在做分配,即把我们需要投资的金额分配到各种投资标的上,具体的投资标的在上一篇文章《投资这件事(2)-概念与常识》中已经提到了,基本就是:股票(A股、美股、港股)、债券(利率债、信用债)、黄金、大宗商品、现金等;每个大类里还可以细分,比如A股可以分成大盘小盘,再加上消费医药这样的长牛指数,美股可以分大盘小盘,美国医药美国消费,美国房地产。在E 大其主导的长赢计划中,把其投资的标的细分如下
上图从内开始第二圈的类别,分别是:A股、货币、债券、海外新兴市场股票、海外成熟市场股票、商品。
第三圈更加细分,在以上大类中,再次细分为:A股价值股、A股大盘股、A股中小盘股、A股行业股、国内债券、海外债券、港股、海外互联、欧洲、美国、原油、黄金。
这就是资产配置,关键在于区分大类,配置比例
资产配置的一个重点是资产相关性,即需要将资产分配到相关性低的品种
在《
文章的的观点是把资金分散到相关性很低的品种中,这样当某个品种表现不佳时,另一个品种可以将我们的收益率保持在不差的水平,其实就是风险分散
文章里以上证 50 和中证 500 的相关性作为例子,说明了要同时持有大小盘这2 种类型的资产
在某些时段,大、小盘股票会表现出不同力度的上涨,这种上涨是很难预期的。所以,最佳策略是同时持有大、小盘,动态平衡。谁涨得多就卖一些,买入涨得少的。在熊市初期与中期,尽量多持有大盘股指数。跌幅会比小盘股指数小很多。在估值回归到正常情况下,开始加大力度加仓小盘股。未来这部分投资的弹性会远大于大盘股。
那 A 股的大、小盘具体有哪些选择?《
我个人认为,做为宽基指数的补充,行业指数非常有必要配置。尤其是一些长期必然走牛的行业。这些行业的持有,应该比宽基指数更加坚定。不到出奇高估的时候,绝不卖出,宁愿做过山车也要持有。当然,可以用我们的策略平滑收益。比如目标市值。
当然,行业指数配置的比例要低于宽基。可以考虑的是医药、消费大类下的细分指数,或者干脆就是医药和消费指数。信息指数与创业板指数走势相关性0.99,确实没有必要重复配置。
另外像养老、环保这样非基础性行业,偏向概念性的指数,也可以在特定时间段配置
这样,未来路线图已经清晰:50、300、500、创业、医药、消费。当然,你如果就选其中的几个也没有任何问题,比如你觉得就买50、500,或者 300、创业,都没有问题;关键在于,一定要大小搭配
上面是 16 年的结论,而在 21 年,《
另外,上面讲的基本上都是长期投资中的资产配置,而在有知有行中,则把这个范围拓展得更大,即把一个人的所有资产分为了四笔钱:长期投资、活钱广利、稳健理财和保险保障;也是其投资体系中的四大模块,本系列文章讲的基本都是长期投资的内容,其他部分内容可参考
上面提到了要配置何种资产,紧接着的问题自然就是要配置多少,而这就涉及到尤为重要的仓位配置,这部分会介绍仓位配置的一些基本思路和原则,具体的仓位配置方法也会简单介绍,但是这里的方法也只是一个大的指导。
在《
而投资,首先心里要舒服。因为“你不舒服,你慌乱,你兴奋或者痛苦,就很容易犯大错”,文章给出的实践经验如下
首先,你要问自己几个问题:如果我手上的股票或者指数,跌了40%,我会不会痛苦?如果我手上的股票或者指数,涨了40%,我会不会难过?你的股票跌了,你会痛苦,就说明你的仓位重了;反之,你的股票涨了,你痛苦,说明你仓位太轻。好了,现在遵照这两个问题答案,把你的仓位调整到最平衡的位置:也就是说,涨40% 和跌 40% 的时候,都不是那么难过。这时候,就合适了。
在《
在《
对于一个心智相对成熟的、愿意长期投资的投资人来说,「满仓」、「空仓」都不是应有的状态。不论你的本钱是10 万,50 万,100 万还是 5000万。满仓意味着你极度看好后市,空仓意味着你认为下跌不远。基于人类对于预测的没有天分,这样show hand 的赌博虽然可能赢,但无疑长期来看破产是不可避免。
关于空仓,则提到有 2个误区,一是不要空仓等大底,因为没人能预测绝对的大底;另一个则是在极度高估的时候也要保留一些仓位;笔者对这里的第二点存疑,既然都知道是极度高估了,为什么还要留仓位,笔者没亲身经历过大牛市,但是看E 大的文章在 2015的狂热时候是都清仓了的,可能这里想表达的意思是总体狂热的市场里也有一些被低估的资产,可以持有这些资产?
空仓等大底,也是一种贪。只要是贪,就会有风险。「踏空」在72 倍 PE 不可怕,如果有些板块十几倍 PE 还不敢买哪怕1%,那么真的就有点风险了
估值过高的时候大量卖出,但至少留 15%仓位永不离场。朋友们,放心,长期看,指数会一路上扬。不信你看看深综指的走势。这15%不会让你赔钱。估值回到历史均值附近,开始少量买入。回到大底区域,重仓买入。其他时间,用各种方法保本,赚钱,等待大牛市。通常我的经验是,这样做一轮熊市到最低点总资产减少幅度不会超过15%。而牛市资产则会增加 N 倍。
前面虽然提到投资赚取收益的关键在于低买高卖,但是而影响收益除了低买高卖,另一个很关键的因素,那就是具体买多少,在《
对于大多数普通人来说,进行金融投资活动的重点,我个人认为,应该是「建立足够的低成本仓位」。这里面有两个重点。
第一个是「足够的」。仓位不够,说什么都白搭。想要实质性地在金融投资中得到足够的回报,仓位一定要够。我本人除房产外,大概90%~93% 的可投资资产都在除现金等价物外的金融投资中。大概 70%~75%的资产都在 ETF计划中。这十几年的投资经历告诉我,足够的仓位才能在上涨中赚到足够的钱。
第二个是「低成本」。我对控制持仓成本有着异乎寻常的执着,哪怕有时候会错失一些机会,也在所不惜。低成本持仓带来的好处显而易见:除了会让你赚得更多,也会使你的心态非常平和。在上涨赚钱的时候更容易拿得住——大多数人赚不到钱的原因,就是某个品种一套十年,好不容易回本后马上卖出,再买入另一个套十年的品种。如果你的成本低,你就会更容易安安静静地等着你的持仓利润不断增长,让利润飞奔。
终于到了具体的分配策略,看了几篇文章总结下来,基本思路就是先分配各大类的比例,然后根据每个大类当前的估值,分配在这个类中应投入的仓位
在《
在你的终极配置中,单个品种配置不要低于5%。低于这个数字对你的资产组合没有意义。然而也尽量不要高于20%,最多不能高于30%(如果你特别钟爱A股,可以把大、小股票分为单个品种,也就是不要多于60% 配置)。 在大类投资组合中,仓位在 5% ~ 10%以内,属于偏小,这样的仓位即使上涨较多,对总收益贡献也不会很大。而如果你的单一品种仓位超过30%,则一定是过高,万一有个风吹草动,会对你的组合造成非常大的影响。那么总体来说,建议持仓品种的仓位在15% ~ 20% 之间,大类品种不超过 6 ~ 7 个。
上面的策略是给每个大类分配比例,在分配好大类的比例后,还需要考虑的是每个大类当前的仓位控制:即将分配给当前大类的15% ~ 20%的现金,具体该投入多少到大类对应的标的中?答案就是估值
在《
根据指数基金历史百分位,进行仓位控制。 如果目前在历史 50%的地方,则将仓位控制在 50%。 如果目前是历史 10%,那么给 90%仓位。 如果现在是历史 90%,那么就给 10%。 以此类推。这是中性投资者的仓位,激进与保守,可以分别 ±10%。
而在《
仓位的确定是看全市场估值。要综合全市场 PE、PB 和加权 PE五年、十年数据。对于计划来说,大的原则是:100% -现处百分位,得出应该配置多少仓位。这是适合一般投资者的。
比如说,现在全市场估值是 75%,那么 100 - 75 = 25,则一般投资者应配置25% 仓位。对于计划来说,用得是更加保守的一种算法:在现处百分位还在 50%以上的时候,配置仓位减半。
那么,上面的公式就变成:(100 - 75) / 2 = 13%。也就是在历史 75%的时候,配置 13% 仓位。当现处百分位回到 50% 附近,则迅速将仓位补足到接近50% 的地方。比如可以补到 40%~45%。随着估值继续下降,则完全按照 100% -现处百分位的仓位配置。到了 35%以下,则将这个数字艺术性地放大。比如在历史 30% 的时候,应该配置 70%仓位,但可以在这个时候加大投入,配置 75% 乃至 80%。也就是说,在100% -现处百分位这个公式的基础上,估值高的时候保守配置,估值低的时候激进配置。
在平衡在之前的文章《
具体方法:用动态平衡的方式,操作优质行业 +优质增强指基(标准指基亦可,大小平衡,如300 + 500)+ 优质主动基金。
具体操作步骤如下:首先,确定你的调仓周期。最低不要低于三个月,最高不要超过一年。原因我不解释,我建议经验少的朋友可以六个月调整一次。其次,确定你的最高、最低仓位。我建议除非特别激进的朋友,股票仓位最好不要超过80%-85%。如果你只是个普通投资者,那么5:5 或者 6:4 都很适合。第三,确定你的品种。我的建议是增强或标准宽基指数基金(50、300、500、1000、创业、科创)与优质行业基金结合。有能力可以再去找几个优质主动基金加入配置。这里要注意,这只是我的建议,如果你学有余力,这部分的配置甚至可以延伸到个股上。买了好股票赚钱,同时可以有打新收益。只要是股票类资产,都可以算作仓位。只是我强烈建议70% 的普通投资者就不要买个股了。第四,考虑目前合适的仓位。这个可以考虑估值,也可以参考我经常会给出的仓位建议。第五,定期实施你的计划。
在《
固定比例配置根据自己的风险承受能力,确定各大类资产的基础配置比例。风险承受能力低,就多配置利率债。承受能力高,就多配置权益类资产,然后再平衡。再平衡从两个角度考虑:空间、时间。时间好理解,不要太频繁,也不要太久。我看3个月到半年比较合适。空间意味着你要给每个品种设置涨跌空间。比如,你给A股设置50% 配比,结果它几个月涨了 50%,占比已经超过60%。这时候你就要根据空间原则,将它的持仓占比降下来,卖出一些。
动态比例配置等你有了经验,就可以尝试动态配比。根据每类资产的便宜程度,一定范围内给它不同的占比。比如如你所说,A股估值极低的时候,你给70% 仓位,极高的时候给30%。如果你有能力,这样长期看效果会更好一点。但是要注意,这个对于投资人要求极高。没有经验没有能力,很可能弄巧成拙。所以要慎重。
仓位控制中提到每一大类里的仓位控制依赖这个大类当前的估值,那如何估值是一个核心问题,这部分给出了一些参考方法
在《
这个方法极具指导意义,但不能只靠这个判断,因为还要考虑投资者情绪以及政策变化,包括货币政策、财政政策以及专门针对市场的政策。而E 大在判断 2015 的顶部和 2018 的底部时其实都依赖了这个估值指标, 即 PE 和PB
在《回顾 2015年的哈迪斯之顶》是这么说的
中国股市自 1995 年以来,有过三次 PE 超过 60的尖峰时刻,分别是 2001 年、2007 年和 2015 年 其中,尤以 2015年风云变幻、诡异莫测。 6 月 15 日,两市全市场 PE 超过 72倍,远远将历史最高抛在身后。随后,暴雨倾盆,泥沙俱下。短短的三周时间内,PE居然已经跌到了历史均值附近! 要知道,2001 年,阴跌整整 2 年,才在 2003年跌破 PE 均值,进入投资区域;2007 年 10 月创出最高后,在 2008 年 5月才跌破 PE 均值,进入投资区域
A股整体 PE 60 倍,整体 PB 5.5倍以上,被我定义为「哈迪斯之顶」
而在《2018年钻石底发车解说》里,是这么说的
今天数据没出来,但如果尾盘半个小时没有猫腻,那么今天A股全市场PB 应该会降至 2.5以下了。这是一个标志性的事件,意味着进入真正意义上的低估区域。根据我的评价体系,A股整体即将由「黄金区域」进入「钻石区域」。除非我的评价体系失效了,否则各位投资的A股即将进入一个极其难得的大底区域。这个区域从 2005 年至今,出现过四次。大致是 2005、2008、2012 和现在2018。十三年四次,十年三次,其实真的并不容易,各位且买且珍惜。
但是请注意,「区域」并不意味着不会再跌。区域也是有空间的。PB 从 2 跌到 1.5,不考虑业绩增长,也还有 25% 的空间,所以做好思想准备。有同学问,为什么不等 PB 到 1.5 再买?这么想的同学,2012 年将错过 2008年以后,近十年来唯一的超级大底。当时 PB 也只是到 2而已。三年后,创业板涨了 590%「钻石底」是一个底部区域,不存在预测某个点是大底的情况。预测某个点是大底这件事,不是傻子就是骗子才会干
在《A股的历史估值》中,也提到了判断顶部和底部的一些参考指标
一个指数的估值是否进入过去十年最高 10%区域,具有非常非常重要的意义。通常情况下,某个指数进入过去十年最高10% 区域,就是本人清仓区域。
从全市场加权估值(非市值加权,外部综合经济数据加权)来看,A股历史出现过4 次大顶,分别是1996、1997、2000、2007、2015。这三次大顶的高度几乎完全一致,超过45 的区域
大底则不完全相同。2005 年之前大底只是 30。2005年之后的大底全部在 20 左右或以下。分别是2005、2008、2012。2008比较特殊,杀的太厉害,居然杀到了 15 左右。
这几篇没有给出全市 PE、PB 数据获取的参考地址,但是
上面的例子虽然提供了顶部和底部的参考数据,但不是说当前的PE、PB的绝对值一定要比历史大底低才可进场,因为绝对的底部是无法预测的;《
用我们跟踪超过 10 年的A股全市场 PE 来看,2008 年这个数字到过 17倍。如果在 2012 年你还希望 17 倍入场,那么到现在你都一分钱也赚不到——2012年大底,全市场 PE 值是 25 倍。同时,随着无风险利率的变化,我们不能用刻舟求剑的方法,去推导「大底」的估值应该是多少
而在《
回到“避免底部吃不饱的”这个问题,通过数据、情绪、政策导向判断底部后,进行仓位布局是,还需要注意节奏问题,即“到了底部区域,你的节奏一定不能再继续慢慢买。因为金融市场,极度高估和极度低估都非常罕见,一旦出现,必须大力买入”。而在《
交易节奏的速度。在上涨趋势良好的时候,你的卖出节奏要放慢。不着急,慢慢卖。留出空间——也就是说,第二份卖出和第一份之间要有空间。买入当然也是同理。在趋势向下的时候,第二份买入也要和第一份拉开空间。
那么,什么时候该加速买入?就是当你发现目标已经便宜到与你手上的仓位完全不匹配,要尽快建立仓位的时候,比如去年底我们做的。同理,当价格贵到手中仓位已经明显太大的时候,就不要再慢慢卖出。
那 PE/PB 有没有缺陷?在《
文章没有详细展开讲,但是知乎上这个
企业发展其实有不同阶段,有创业期,成长期,繁荣期,衰退期。不同阶段,企业的估值可能会有比较大的变化。一般而言,创业期与成长期,企业快速发展,在这个时候也是容易给予高估值的时候。很简单,企业营业收入从无到有,基数低,增速相对就快,所以我们看到为什么创业板股给予高估就是这样的道理。有时候,PE高有其逻辑。如果你不能接受一定的高PE,事实上你也就排除了成长股的个股了。这类股确实是爆发力猛,十倍股往往从这其中出现,但大家也清楚,十倍股不是那么好抓的,高收益潜力的背后,其实是高风险,这对个人的能力要求极高。繁荣期,则对应的是企业的发展成熟阶段,一般慢慢发展也成了行业的龙头企业了。盈利稳定的情况下,市盈率可能会回落到20左右
很多新手投资者容易拿当前的估值比较低,就觉得他是好票。事实上并不是,在这里要讲一个价值陷阱的问题。价值陷阱特别容易出现在周期股中。很多上游原材料个股,因为原材料的涨价,业绩连续一年甚至持续多年上涨,所以股价也飙的老高,市盈率看起来可能只有个位数,很多人就认为估值低,可以买。但事实上,行业的反应可能往往令人大失所望,在这里列一个逻辑:原材料持续上涨——有利可图——很多人会去扩产——等到扩产产能出来之后——产品供大于求——价格开始出现下降——恶性竞争持续——企业利润出现下滑,利润下滑之后——市盈率一算就跟之前不一样了——可能变成市盈率大。对于周期股,我自己的心得是在低市盈率时卖出,在高市盈率买入,就是对于周期股来说,和我们平时的认知不同,他们不是估值越低越好,可能估值存在滞后性。
但是,对于所有股票这个大群体来说,整体估值就非常重要,因为不可能所有的股票都高成长,也不是所有的股票都具备周期特征。如果一个市场上绝大多数股票都很贵,那么这个市场大多数人就很难赚钱。
PE、PB 不适用于个股,但是适用于市场的这个观点,在其他文章中《
这里介绍一些能看各类指数或者总体大盘估值情况的工具
定投在各个理财课程里都被塑造成一个个美丽的神话:每月省下一笔小钱做定投,三、五、十年以后突然发现变成了一大笔财富。
这个传说是如此美好:不需要学习高深的投资知识,不需要盯盘,只要每月省下一点钱,不知不觉中就能赚上大钱,以至于不少人对其趋之若鹜。
但结果真的如此吗?结论是不一定,下面就从几方面说明定投可能存在的一些陷阱
经常听到的一个说法是定投可以随时开启,不用择时,但是《
从收益的角度来说,定投最适合的行情是先下跌后上涨,其次是震荡下跌。因为这两种情况都能很好的利用定投平摊成本的特点,借助市场下跌摊低成本,等待行情回归时迅速回本并赚取收益;而最糟糕的情况则是先上涨后下跌,
回到标题里的问题,定投也要择时,但这里的择时不是要精确踩准一个时间点,而是选择一个大概率是底的地方开启,结合市场牛熊轮回的周期特性,熊市时更适合开启定投。
另外,《
为什么很多平台最后还是推出了「周定投」,甚至「日定投」呢?这主要是为了满足很多人心理上的需求——经常操作一下账户,似乎这样可以提高收益。行为金融学里,把人们这种喜欢频繁交易的现象称作:过度交易。而根据研究,多数时候,频繁的交易并不会带来更高的收益,反而增加了交易成本。
定投最大的特点是平摊成本——只要我们能把成本摊得越低,就越有助于我们提高定投的收益。这就是市场上常见的一些定投策略的基础思路:进一步摊低定投成本。
在《
这几种方法的细节对比这里不展开,文章最终推荐的是估值定投法,即基于PE、PB等估值指标进行定投,低估值时投入多份,高估值时少投入或不投入。具体的估值可以看前面估值体系里提供的一些工具
同时文章通过数据分析指出,合理卖出才是提高定投收益的更大杀器,那该在何时卖出?
看到这个问题,基本上大家都会不假思索地回答在最高点卖出,但要识别牛市顶端肯定是很难的,我们也很难期望卖在牛市的顶端。
在《
这几种方法的细节对比这里不展开,文章推荐的方法是最大回撤法,因为前两种方法都存在着无法绝对估准的问题,因为每一轮牛市的涨幅都不同且不可预测,难以设置绝对的止盈目标和估值
最大回撤法会设置一个可容忍的最大回撤幅度,当目标指数下跌超过该幅度,就卖出所有资产,结束定投。文章举了天天基金的慧定投的例子
它先设置了一个目标收益率,但牛市究竟能上涨多少,这是不能测算的,为了让投资者能享受牛市更多的收益,慧定投在达到20% 的目标收益后,如果市场继续上涨则继续持有,一旦出现回撤,回撤幅度达到10%,就迅速卖出全部资产。
对比前两种方法,这种方法在该时间区间内,获得的累计收益率最高。原因是它充分利用了牛市过程中情绪性上涨不可预测的特点,转而判断牛市结束时点,避免了目标收益率设置不合理导致的过早卖出
因此,文章的结论是:目标收益率 + 最大回撤法、目标估值法 +最大回撤法,实际中,天天基金的慧定投是这么做的,且会在低估的时候加大定投的金额。
定投是一种灵活控制成本的投资模式,而如果要获取收益,本质上还是要投入到好的资产,在《
长期收益是定投收益的最大来源,而一个资产的价值高低从根本上来说还是其未来现金流决定的。以股票为例,未来的现金流来源首先是公司的盈利增长,其次是股息,最后是估值。再比如债券,未来现金流来源主要是利息。
另一个则是波动情况,一些定投的文章就主张定投要选高波动资产,《定投依旧要选好资产》指出这个说法对也不对。说对,是因为高波动资产确实能增加我们在低位买入的概率增加,从而摊低成本;说不对,是因为从最终结果来看意义并不大。
文中举了中证 500 和标普的例子,两者涨跌幅很接近,差不多都是 90%左右,但是,中证500的波动率要大得多,回测结果显示最终定投中证500的收益还被指数收益率稍低的标普500反超了,原因是中证500虽然波动率大,但我们没办法总是买在便宜的时候
而回到具体的投资标的上,还是之前一直推崇的指数基金,因为主动型股票基金存在着基金经理不稳定的问题,但指数基金不受这个影响
主动型基金基金经理变更的这个大问题,在指数基金身上是基本不存在的。因为指数基金的管理基本上是量化的,基金经理在里面起到的作用很小,不怕他离职。最差的情况是这只指数基金终止清盘,我们也可以很容易在市场上找到跟踪同个指数的产品替代。这也是为什么很多人说的指数基金「永远不会死」。
不过,在指数基金定投里还有一点要注意,就是最好选择宽基指数而非单一行业或主题指数。
这里的网格策略,是一种
它会让你对下跌能够乐观接受甚至有些期盼。尤其是当实现一波收益后,你甚至盼着赶紧跌好让你再来一次,虽然你的长线持仓会有损失。这种心态的改变会让你的状态变得极度舒适。投资的时候,状态是否舒适非常非常重要。不舒适就有可能带来变态的心理以及变形的交易。
你买的品种趋势不好,中期会下跌。但下跌并非一路跌到底,中间会有无数反弹。你把反弹利润吃到了,你的安全垫就加厚了。当品种持续下跌后,你买了很多筹码,但由于过程中不断吃反弹利润,成本持续降低,最终在底部区间你只是极少浮亏甚至没有浮亏。
同时,文章也指出“这不是赚大钱的路”,因为大钱是坚定持有中赚到的。这点你还不明白,以后就会懂。但是波段很必要,为什么?因为波段给你提供源源不断利润的同时,也能让你真正坚定持有未来赚大钱的仓位。
那网格策略具体是如何的操作?E 大有 2 篇文章详细介绍了这个策略
在《
第一步:确定交易品种。第二步:列出网格表格。表格中包括交易价格、交易金额、交易日期。第三步:做压力测试。 第四步:设置交易提醒。第五步:按照交易提醒进行交易。
首先,做网格的品种,一定是有底的品种。也就是说,不会死的品种。什么会死?比如个股,这里不是说个股一定会退市,凉透了那种死。它如果基本面发生变化,这辈子也涨不回来了,在网格策略中,也算死了。而做网格最佳的品种,则是“那些没完没了的上下折腾,几年后回头一看我去你怎么一点都没动啊;这种品种简直可以说是网格策略的最佳伴侣,如果你能找到一个,基本上就等同于你找到提款机了。”
其次,一定要做好压力测试,因为“网格策略最关键的地方不是能赚多少钱,而是你可以知道最坏情况发生后,自己的账户会怎样”;具体做法文章描述如下
设计交易表格的时候,根据具体情况,模拟最大下跌幅度。比如说,你现在要开始一个中证500的网格,那你就应该知道,下跌60%,几乎一定是最坏情况了。甚至下跌 50%也非常困难。那么你如果相对来说激进一点,就可以以 40%设计压力测试。保守一点,就按照 50% 或者 60% 设计。如果你真的不知道到底应该给多少最大下跌空间,你可以参考 ETF计划里面每次关于指数最大跌幅的判断。在那个基础上,再加 10%基本上就是铁底。
具体的交易策略,就是列出网格表格,包括交易价格、交易金额、交易日期,然后随着下跌逐步购买,且在上涨时卖出,文章里是这么说的
如果从 1 开始,以 5%幅度为一网,则买入价格分别为:1、0.95、0.9、0.85、0.8……卖出价格除第一网1.0 买入的要在 1.05 卖出外,其它每一网都是上一网的买入价格。即, 0.95买入的一网,1 元卖出;0.9 买入的,0.95 卖出,依次类推。
所以,你 1 元买入的部分,在 1.05 清仓,赚到 5% 利润。0.95 买到的,在1 元清仓,赚到 5.26%……最终,在 0.7 元买入的部分,0.75清仓,则这部分收益率就可以到 7.14%。
可以看到,这里的策略有 2个关键点,一是开始的时机,文章指出是“价格略低于价值的时候”,但是这个很难有一个统一的标准,文章建议是观察ETF 计划,如果 ETF计划开始买入,说明这个东西不太贵;二是网格大小,文章给的参考值是普通的品种一般给 5%。波动大的品种(比如券商指数)给10%
另外,还提到了走势相似的品种不要重复开,比如说都是大盘股指数,50 和300 就别开 2 个网格了。
上面是 1.0 的策略,在《
本文主要讲了投资中的实操部分:买与卖;在了解了本文所介绍的知识体系后,再回到我们在最开始提的几个问题
相信答案也就就很明确了,做好资产配置,买入相关性低的资产;在低估值的时候买,高估值的时候卖,指数的估值一般参考PE 和PB,更着重看其区间(历史百分位)而不是绝对值;而买卖多少依赖仓位控制中的分配方法,低估时仓位更重,高估时仓位更轻。
另外,本文还提到两种策略:定投策略和网格策略,前者偏向长期的投资,后者则更偏向短期的波段操作,里面都给出了一些实操建议。
即便如此,投资还是很难;因为上面只是说了一个大原则,或者说“正确的废话”,具体每个品类,PE、PB到了多少认为是低估值,也没有一个明确的答案,历史上每次的大涨和大跌时这两个值也不尽相同;又或者是即便是道理没错,面对真实的下跌80% 时,逆势加仓还需要有足够的勇气和子弹。
在笔者整理的过程中,虽然尽量把文章的内容尽量整理得脉络比较清晰,但总体感觉还是会比较混沌,没有绝对的真理或圣杯,几乎任何觉得有道理的建议或理论,都能找到反例来推翻;回到最终,你会发现还是一个“度”的问题,但是这个“度”的把控则是非常非常奇妙的,而这也许就是投资被称作一项艺术的原因?
投资里有个“盈亏同源”的概念,顾名思义,就是盈利与亏损都是出自同一个源头,或者说都是同一个原因造成的;其本质是也是在描述上面说的混沌的现象,市场是不确定的,无法预测的,要放弃对所谓确定性的追求,同时摸索出适合自己的选择判断体系;这几篇文章在做的事情就是尝试归纳E大、有知有行已经摸索出一套体系,不能称得上是完美,但是自洽,而且在真实的系统中验证过有效性的;当然有效的系统肯定不止一套,但是愿意这么系统地整理且公开的,笔者目前就找到这一套,也希望对你有用。
]]>这个系列的文章绝大部分内容来自于有知有行,也会有一些笔者深究后调研的内容,且按照笔者的理解划分为:认知与心态、概念与常识、买与卖三大模块。妄图将投资这个大话题以及有知有行的编辑们整理的上百篇文章浓缩到这篇小小的笔记中,自然无法面面俱到,所以这篇文章还是会挑选笔者关注的一些内容,更详细的内容可参考有知有行以及本文里的相关引用。
本文是概念与常识的部分,主要是笔者在学习过程中接触到的一些概念性的知识,对于熟悉的人来说,也许是“常识”,笔者则是在尝试将这些不熟悉的内容变为自己的常识,也希望对你有用。
第一部分的内容见 《
春夏秋冬,阴晴圆缺,万物皆有周期,市场也存在着周期,这部分主要讲市场周期的表现形式,产生原因以及应对方法。
市场是有周期,主要变现为股市每天的起起伏伏,或者是各个行业的此起彼伏;最常见的就是牛熊交替,行业轮动与风格轮动
以牛熊交替为例,《
「牛市三阶段」:第一阶段,只有少数特别有洞察力的人相信,基本面情况将会好转;第二阶段,大多数人都认识到,基本面情况确实好转了;第三阶段,每个人都得出结论,基本面情况将会变得更好,而且永远只会更好
「熊市三阶段」:第一阶段,只有少数深谋远虑的投资人才能意识到,尽管形势一片大好,基本面普遍被乐观看涨,但是基本面肯定不会一直顺风顺水;第二阶段,大多数人都认识到基本面正在越变越糟;第三阶段,每个人都相信基本面只会变得越来越糟。
E 大的文章《
证券市场中的情绪波动,就像一个钟摆的运动一样。这个钟摆来回摆动,形成一道弧线,弧线的中心点完美地描述了这个钟摆的「平均」位置。但是事实上,钟摆待在这个弧线的中心点位置的时间极短,一晃而过。相反,钟摆几乎大部分时间都在走极端,弧线两端各有一个极端点,钟摆不是在摆向极端点,就是在摆脱极端点
除了牛熊交替形成的周期,行业轮动也会形成周期,《
按照我们的定义,持续加仓并持有一个板块接近至超过30%,视为「抱团」。类似的情况发生过四次,分别是: (1)2007Q1-2010Q1抱团金融,持续 13 个季度 (2)2009Q3-2012Q3 第一次消费抱团,持续 13个季度; (3)2013Q1-2016Q1 抱团信息科技,持续 13 个季度(4)2016Q1-当前第二次消费抱团,已经持续了 13 个季度;但如果从2017Q1算正式开始抱团,目前只持续了 10 个季度
每个板块的业绩推动自有其原因和逻辑,货币超发和信贷放量时金融板块业绩改善并大幅回升的动力;通胀升温是消费板块业绩大幅改善的动力;新技术和并购趋势是信息科技板块业绩大幅改善的动力。
除了行业轮动,风格轮动也是常见的周期表现,《
证券市场上,是讲究「风格」的。比如从规模上讲,大、小就是两种风格。
我们持仓中的50、红利(策略指数,可以归入大指数)、300、金融(行业指数,也算大指数)都算是「大股票指数」。
500 当然不算大指数,但在目前这个市场上,也不能算小指数。毕竟已经有3500 只A股,第 301~800怎么能算「小」呢。中证1000勉强算是小指数。我们买的创业板指数其实严格来说也不能算小指数,姑且把它列入。
基于这个维度划分的风格是存在轮动的,表现如下
「风格」是会不断轮换的。虽然这个轮换周期甚至可能长达十年,但一定会轮换。很多人在2012 年到 2014年,小股票动辄数倍涨幅而大股票纹丝不动的时候,戏称大蓝筹是「大烂臭」,甚至写出万字雄文论证大股票将永远退出A股历史舞台。当然,后面发生的事大家都知道了。
2017年以来,蓝筹股走出了一波行情。颇有一些近视的同学,又开始坚定否认小股票的投资价值。「大的就是好的,漂亮50 最好,小股票永远没戏了。」
同样地,如果去分析美国的股市,也会发现相同的现象,观察美股历史(因为美股历史较长,数据极其丰富翔实,所以用它举例),你会发现非常明显的大小轮动记录。也就是说,大股票和小股票通常会各领风骚数年,最终两者超长期涨幅不会差太多,甚至小股票会稍微略高一点
周期是如何产生的? 《
经济周期是某个国家、或者整个世界在一定时间内的经济产出情况,增长或衰退。一个经济体的长期经济发展情况,通常是由人口出生率、劳动生产率、科技发达程度等等这样的因素决定
即使 GDP的变化不大,企业盈利水平的波动也可能会很大,造成这种现象的原因有多个,文章里提到了两个原因:经营杠杆和财富杠杆,这里就不张开讲了
市场是参与者行为的总和,而人心的变化,往往会导致市场出现非常极端的变化,而这就是情绪周期。文章认为前面两个周期变化,都比不上情绪周期对市场波动的影响大文章里举了「漂亮50」的例子,旨在说明人们对这些大蓝筹股的情绪的转变
至此,文章指出了一次完整的周期如下
市场的气氛和叙事开始变化 >>导致投资者开始追捧某一类股票 >>随着追捧股价节节走高印证了牛市的故事 >>更多的人蜂拥而至并让市场产生这种景气不会消失的错觉 >>市场气氛开始掉转 >> 投资者接连出逃股价大幅下降 >>公司股价长时间的一蹶不振……
经济形势好的时候,企业家过度盲目地投资再生产,银行等金融机构在经济上升周期的信用宽松(容易贷款)也助长了这种行为,这些在经济好的时候进一步放大了企业的盈利。
反应到市场周期上——媒体都是好消息,企业盈利屡超预期,一片欣欣向荣。这时候投资者的心理和情绪就接管了现场。「这样的景象一定能持续下去,黄金十年不是梦」,于是股票价格大涨。
某个时候、某个因素导致企业盈利不及预期,而这时最后的接盘手也已经进场,于是股市开始下跌。经济形势良好时候的经营和财务杠杆,此时变成了企业的包袱,企业的盈利迅速减少甚至亏损。股市进一步下跌,媒体上都是坏消息,投资人认为这样的景象一定会持续下去,经济要完,于是抛售股票。企业裁员、投资者身家缩水,大家纷纷勒紧裤腰带,减少不必要的消费,企业的收入和盈利进一步降低……直到开始下一个周期。
因此,经济周期、企业盈利周期、市场情绪周期,波动逐级放大,但终会收敛回归到长期趋势本身,这个长期趋势,也就是一个国家经济和企业盈利的增长。但是这三个周期,以及各种其他周期(比如信贷周期)与因素的叠加,造成了整个市场的起伏波动,而人心在这里的作用尤其之大。
上面虽然在探讨周期是如何产生时最后提到了债务周期,但是没有详细说,而Ray Dalio 的《
关于 Ray Dalio,张潇雨的播客里也介绍过这位大佬,
文章指出世界经济运行主要由三个因素驱动:1.生产率的提高 2.短期债务周期3.期债务周期,这三个因素共同组成了一个经济发展的模型
下面则是这个经济模型里的一些要素和发展规律
信贷是经济中最重要的组成部分。如果借款人保证偿还债务,而贷款人相信这一承诺,信贷就产生了。任何两个人都可以通过协定,凭空创造出信贷。现实生活中大部分所谓的钱,其实都是信贷。美国国内的信贷总额大约为 50万亿美元,而货币总额只有大约 3万亿美元。信贷可以使收入增长在短期内超过生产率的增长,但在长期内并非如此。信贷如果造成超过偿还能力的过度消费,就是不良信贷。
信贷会导致支出的增加,且信贷可以立刻凭空产生;而如果支出和收入的增长速度超过所出售的商品的生产速度,价格就会上涨,我们把价格的上涨称为通货膨胀。央行不希望通货膨胀过高,因为这会导致许多问题。央行在看到价格上涨时就会提高利率,随着利率的上升,有能力借钱的人就会减少,同时,现有的债务成本也会上升,每个月信用卡的还款额会增加。由于人们减少借债,并且还款额度增长,所以剩下来用于支出的资金将会减少,因此支出速度放慢,而由于一个人的支出是另一个人的收入,环环相扣,人们的收入将下降。由于支出减少,价格就会下跌,我们称之为通货紧缩,经济活动减少,经济便陷入衰退如果衰退过于严重,而通货膨胀不再成为问题,央行将降低利率,使经济活动重新加速。随着利率降低,偿债成本下降,借债和支出增加,出现另一次经济扩张短期债务周期通常持续 5~8年,在几十年里不断重复。但是请注意在每个周期的低谷和高峰后,经济增长和债务都超过前一个周期。因此在长期内,债务增加的速度超过收入,从而形成长期债务周期
尽管人们的债务增加,但贷款人会提供更宽松的借贷条件,这是因为大家都以为形势一片大好,因为仅注意最近出现的情况。最近出现的情况是什么呢?收入一直在增加,资产价值不断上升,股票市场欣欣向荣,现在是繁荣时期,用借来的钱购买各类资产,很划算。当人们过度借贷消费时,泡沫便产生了。债务与收入比例称为债务负担,只要收入继续上升,债务负担就可以承受。于此同时资产价格迅猛上升,人们大量借钱来购买资产,因为投资促使资产价格日益升高,人们感觉自己很富有,因此即使积累了大量债务,收入和资产价值的上升帮助借款人在长期内保持良好的信用。但是这种情况显然无法永久持续下去。债务负担不断增加使偿贷成本越来越高,到了一定的时候,偿贷成本的增加速度超过收入,迫使人们削减支出,由于一个人的支出是另一个人的收入,收入开始减少,而偿贷成本继续增加,导致支出继续减少,周期开始逆转。这时便到达了长期债务的顶峰,债务负担变得过重。美国和欧洲在 2008年就发生了这一情况。日本在 1989 年和美国在 1929年因同样原因发生了这一情况
最后讲的例子,其实就是次贷危机(2008),日本房地产泡沫(1989)和美国的大萧条(1929);这个时候经济会进入去杠杆化时代
在去杠杆化过程中,人们削减支出,收入下降,信贷消失,资产价格下跌,银行发生挤兑,股票市场暴跌,社会紧张加剧,整个过程开始下滑并形成恶性循环在衰退中,可以通过降低利率来刺激借贷。但是在去杠杆化过程中,由于利率已经很低,低至零,从而丧失刺激功能,因此降低利率不起作用。美国国内的利率在1930 年代的去杠杆化期间下降到零,在 2008 年也是如此。
为了对去杠杆化,通常采用以下四种办法
这四种办法的的基本原理和因果关系如下
削减支出会导致收入下降,当收入下降速度超过还债的速度,因此债务负担实际上更为沉重。削减支出的办法引起通货紧缩。企业不得不削减成本,这意味着工作机会减少,失业率上升。这导致下一个步骤,即必须减少债务。
借款人不还钱,存款人会担心银行没钱,于是纷纷取出存款,银行受到挤兑,个人、企业、银行出现债务违约,这种严重的经济收缩,就是萧条。萧条的一个主要特征是人们发现原来属于自己的财富中很大一部分其实并不存在。很多贷款人不希望自己的资产消失,同意债务重组。债务重组意味着贷款人得到的还款减少,或偿还期延长,或利率低于当初商定的水平,无论如何,合约被破坏,结果是债务减少,贷款人希望多少收回一些贷款,这强过血本无归。
在去杠杆化过程中,政府的预算赤字飙升,原因是政府的支出超过税收。政府必须加税或者举债以填补赤字。但是要从哪里拿钱?从富人手中,通过征税把财富从富人那里转到穷人手中。
因为支出的很大一部分是信贷,但是萧条时期信贷消失,所以人们钱不够花,那么怎么办?央行发行更多货币,央行通过用这些货币购买金融资产,帮助推升了资产价格,从而提高了人们的信用,但是这仅仅有助于那些拥有金融资产的人。因此,为了刺激经济,央行和政府必须合作。央行通过购买政府债券,其实是把钱借给政府,使其可以通过刺激计划和失业救济金,来增加购买商品和服务的支出,这增加了人们的收入,也增加了政府的债务,但是这个办法将降低经济中的总债务负担。
文章指出去杠杆化是一个把高债务水平变化到低债务水平的过程。为了使经济再次恢复正常,这个通货再膨胀的阶段大约要持续7~10 年,因此有失去的 10 年这个说法
最后,文章给了三条建议,其本质都是要不要过渡依赖信贷,而是要依赖生产率的提升(而不是信贷)来提升收入
第一,不要让债务的增长速度超过收入。因为债务负担最终会将你压垮;第二,不要让收入的增长速度超过生产率。因为这会使你最终失去竞争力;第三,尽一切可能提高生产率。因为生产力在长期内起到最关键作用。
如果说上面是宏观经济的角度去分析周期产生原因以及一些应对措施,那 E大下面的几篇文章里讲的就是从个人投资者的角度去看这个周期以及一些应对的手段
《
就像花开有期,每个品种都有它的起伏周期。从周期的角度讲,你应该做的是尽量识别每个大类的春夏秋冬,然后根据大致的天气状态,增减衣服,舒舒服服地活下去。
这几年,消费、公用事业走得非常好,去年以及今年债券走得不错,今年黄金异军突起。这所有的现象都说明我们处在典型的——宏观经济下行周期。(笔者附,指的是经济不好时股票也不好,债券黄金等资产更受青睐?)在这个周期中,受宏观经济影响小的消费、医药(本来医药这两年应该表现非常好,不过行业遭遇新政冲击表现不及预期,但其实已经非常不错)、现金流强的公用事业等板块就成了抱团取暖的避风港。
接下来呢?简单地说,下一个周期将是逐渐走出宏观经济下行的周期,那个周期股票一定表现很好。其中表现最好的一定不会再是消费或者公用事业,而是金融与科技类这些高弹性、有想象力的板块。债券表现不会太差,因为流动性还在。在目前这个周期表现非常好的贵金属会表现相对来说不会依然这么亮眼。当你发现上述情况发生,你就应该知道宏观经济已经走入了下一个阶段。不必看太多宏观经济数据,因为只有资本市场才是最敏感最领先的指标。股票先于宏观数据,而债券又会先于股票,这是因为做股票的人非常敏感,而做债券的人更敏感。至于下个阶段什么时候到来,我不知道,但我认为,在合适的时候应该慢慢的为下一个阶段做准备
面对牛熊交替,《
金融投资中的权益类投资,尤其我们这种自诩为「价值投资」的方式,它绝不是这个月1%,下个月 1%,今年 12%,明年12%……权益类投资不是这样的,这样的叫做固定收益,或者 P2P,或者麦道夫。权益类投资的特点就像春夏秋冬。有的时候发大财,有的时候平平无奇,有的时候黯然神伤。
而面对风格的轮动,《
我给各位的建议,是投资万万不可短视。这个短视的意思,不仅是看不到长久的未来,更是被短期的历史所迷惑。熊市的短视中看一切都是利空,一切都是灰暗再无希望;牛市的短视中一切都是利好,股市永无天花板;大股票表现好就是漂亮50 永远涨涨涨;小股票表现好就是成长股一生牛牛牛。证券市场是轮回,是周期。大周期套小周期,大轮回里有无数小轮回。千万千万别被最近发生的事所迷惑。
另外,资产配置的重要性,也能通过周期的角度说明,即除了权益类资产,还要配置债券、石油、黄金等资产,因为这些品种的周期与股票不同,而多个相关性很低的品种相叠加,会带给我们被熨平的周期,让我们四季如春,资产不断新高。最常见的就是股债轮动,
而对于熊市或者说下跌,《
没有危机是不会出现让你暴富的大底的。这也是为什么会出现大底,以及为什么大底没几个人敢买的原因——因为出大事了。
行情最差的时候,很多人预期会更差,因为形势看起来真的很差,而且看起来会更差。这个时候,很多之前看多的人会卖出,很多看空的人会继续看空。之前看多坚持不卖的人已经算好,然而他们已经没钱买了,除了股息。
这里谈到的投资标的主要是指金融类资产,常见的基本上可以分为三大类
(1)权益类资产:股票,基金等(2)固收类资产:定期,国债,企业债,央行票据,债券基金等(3)现金类资产:现金,银行存款,货币基金等
权益类资产指的是你拥有这个资产全部或者部分所有权,也享有这部分资产产生的收益;固收类资产一般是债券+定期;现金类的则是常见的各种货币基金,这三类资产风险和收益都是从高到低。
除了上面说的三大类资产,黄金,原油和房地产也是常见的投资标的,但是这里着重讲权益类资产。
无论是有知有行团队还是 E 大,都更推崇指数而不是个股,在《
指数投资与个股投资最大的不同,是有一个大致可估算的区间
比如之前说的下跌 80%原则,就是价格区间。比如钻石坑或者哈迪斯顶,就是价值原则。知道了顶和底,你就可以开心的设计你的策略了。如果你知道它极大概率不会跌破某个价格,你就可以以那个价位为底,设计一整套或者几套长期或者短期交易的策略。
但是股票则是很难预估出高点和低点
股票如何估值?PE?PB?ROIC?现金流折现?内含价值?马化腾差点 100万卖掉腾讯,结果因为没人买而作罢这种事我会乱说?小马哥都没法对自己的公司正确估值,一般人……
我认为股票的低点不是最低点。没有人能预测股票的最低点。买股票最好的时机,我认为是突破布林线中轨的时候。最好是一根大阳线突破,伴随成交量。当然,成交量突破中轨前就要有……这很重要。这时候还不要买,等一等。也许股价会回抽,回抽确认中轨有效的时候,全力买进!
指数可以认为是“不会死”的品种,这是由指数的自动更新迭代的机制决定的,《
指数会有一个自动更新迭代的机制,比如每年,或者每半年,甚至更加频繁地重新编制。大部分指数重新编制成份股时不会大动干戈,通常只改变其中的20%,比如对于 50 只成份股的指数来说,每次大概变动就 10 只,先剔除 10只,再纳入新的 10只。走人的股票是不符合指数编制要求的,而请进的是那些符合的。所以一旦成份股中有公司亏损,或者甚至业绩不佳就会有可能被轰走。在一个经济正常发展的国家里,永续的指数长期就是上涨的。
因此,指数具备优胜劣汰的天然属性,这一点在《
这部分其实在上面的风险中提到的指数自动更新迭代机制中也提到了,
个人始终认为基金是老百姓最好的投资工具。不管股票基金债券基金还是货币基金。本人的基金金额是股票的8 倍。我研究了半天,基金的表现始终还是比我好。
在《为什么我很少谈论个股》中,讨论了为什么牛市中大多数人干不过指数
第一,指数本身就是股票组成的,简单来说,一定有一半股票跑不赢全市场指数。如果是权重股行情,那就不用说了,80% 股票跑不过大指数。
第二,大多数人都是不停的交易。你自己看成交量。牛市换手率在 100%-200%之间。半年所有股票就能换手一次,你就知道多少人在不断的买进卖出了。一般都是买进强势股,卖出弱势。按照均值回归,可想而知大概率是买了就跌,卖了就涨了。你不换?你不换你手里的就是不涨。服不服?你换了才涨。
第三,低位是没人买的。大多数人是越涨越兴奋。场外观望的也是越高越买。买当然要买强势的,结果就是gg。
这里主要指个人投入精力的人力成本,包括选股、盯盘等花费的精力
指数的优点是,对于选股能力不强的朋友(90%的散户)来说,可以不用去学习枯燥的会计知识、跟踪瞬息万变的公司变化,只要大致看看历史估值,找个低位买入即可。
但是股票需要学习更多的概念,还需要做到“能选出好的股票、能买在低位、能卖在高位、有坚定的信念在赔钱的时候相信它会涨、回本后坚信还能涨”;这里的每一步都涉及到比较多的细节,这里就不赘述了,更详细可参考文档里的内容。
另外,这篇长文《
在《常聊的 A股指数》,E 大提到了其主要关注的 A股的指数(2021/01):沪深300、中证500、创业、科技、消费、医药;其中前两者属于大盘宽基指数,后三者都可归类为行业指数,这些指数都比较好理解,;而有知有行则专门为红利指数这个关注度没那么高的指数写了三篇文章
《
红利指数是一个根据股票的股息和分红来进行编制的指数,市场上红利指数有很多,即便是主流的红利指数,也分为上证红利、深证红利、中证红利、标普红利这4个,并且这四个指数虽然在名称中都有「红利」二字,都将自己定位于寻找股息率高、分红稳定的股票,但其实他们四个差别很大,这与4个指数的编制方式关系较大。文章提到这点笔者比较认可:很多人有误区,觉得选主动型基金才需要关注基金经理的投资理念和选股逻辑,指数不需要。事实上,指数基金也是同样需要分析,因为指数的编制方法决定了它的选股策略。
红利指数的一般排名规则就是按照股息率从高到低进行排序,但深证红利却是考虑了股票过去三年累计分红金额(绝对值)占整个深市分红总金额的比例,这个比例越高,排名越靠前,跟通俗来说就是它考虑是分红金额这个绝对值,而不是股息率(股息率= 每股分红 /每股价格),这样的编制方式会对那些每股价格高但是股息率低的股票有优势,即深证红利偏向于大盘股
选完成分股后,该考虑每只成分股的权重了,也就是指数的加权方式。深圳红利采用的加权方式不是股息率加权,而是自由流通市值加权(其他三个红利指数采用的都是股息率加权)。即哪个股票的自由流通市值大,权重就高。作为一个红利指数,加权的指标却不是红利而是市值
因此,从上面的编制方法可知,深证红利的红利属性较弱,跟我们常规认为的红利指数有很大的不同。红利只是它筛选的指标之一,除此之外,它还要看日均成交额、经营状况、现金流等数据。文章认为“深证红利不太像一个红利指数,更偏向于一个基本面指数”
标普红利全称是「标普中国A股红利机会指数」,其编制方式是建立一个成分股备选池,这个备选池需要满足过去3 年盈利增长必须为正、过去 12个月的净利润必须为正的要求。然后,所有入选的股票按照年度(过去 12个月)股息率排名选出最高的 100只股票,按照股息率加权构成指数。在构成指数的过程中,为了分散,规定了每只股票权重不超过3%,单个行业不超过 33%。
但是标普指数公司只给了这些介绍,并不公布历史持仓,导致大家没办法分析,根本不知道这个指数具体怎么选股,而这种编制方式存在几个隐患
(1)成分股的股息稳定性不好;标普红利想寻找A股市场上具有稳定高分红能力的公司,但事实上它只看过去一年的股息率排名。过去一年的周期太短了,这么短的周期,会选中一些出于特殊原因提高自身股息率的公司(2)周期股占比太高;标普红利选股逻辑会使得它持有很高比例的周期股,容易在经营业绩很好、分红多的时候纳入周期股,但周期过去后,这些个股的股价会大幅下跌。而股价下跌会进一步导致这类产品股息率一直很高,很难从指数中剔除出去,指数就会被这类成分股的股价下跌所拖累。(3)对垃圾股的容忍度高; 并没有像其他红利指数那样剔除 ST等垃圾股,而是在所有A股中进行选择 (4)指数样本调整频率高;标普红利每半年调整一次样本,调整频率比其他红利指数高,本来就是按照过去一年的股息率排名选股,成分股变动已经挺大了,再加上半年调整一次,这就导致成分股变动更大
中证红利的成分股是从沪深A股中进行选择,不对某一市场和赛道过于依赖。作为对比上证红利是从沪市中选择,深证红利是深市中进行选择。
虽然标普指数和中证红利都是从整个 A股中选择,但是相比于标普指数的编制方式导致成本股变动过大,中证红利在这方面好了很跟标普红利比,中证红利是按照过去两年的股息率进行加权的,考察周期更长。另外,为了避免公司的特别行为,它要求公司过去两年连续分红且每年的税后现金股息率都要大于0, 具体的编制方式为
过去两年连续现金分红且每年的税后现金股息率均大于 0,按照过去两年的平均税后现金股息率由高到低进行排名,选取排名在前 100名的股票
文章在这部分给的建议是中证红利跟其他红利指数比,很普通,但具有市场代表性,如果你想投资红利指数,请选择中证红利。
投资过程中容易有
E 大早在《
在里面提到了投资海外市场的一个工具, QDII(Qualified DomesticInstitutional Investor) 基金,简单来说就是海外市场的基金,基本分类跟 A股其实也差不多,《
QDII 基金的种类跟 A股的基金差不多,有主动股票型、指数型、混合型、债券型、另类投资型(包括商品型、房地产信托型、绝对收益型、资产配置型FOF)等。而QDII-指数型基金,是QDII基金中最重要的工具性品种,覆盖了多个重要的海外市场股指,比如恒生指数、标普500、纳斯达克100、英国富时100、德国DAX、日经225等,此外,还覆盖了部分海外医药行业指数,如标普500医疗保健等权重、标普全球1200医疗保健、纳斯达克生物科技等
值得注意的是,除了正常的股市波动的风险,QDII 基金还存在 2个额外的风险
(1)汇率风险;QDII基金都是出海投资的,到海外市场投资就得换外币,持有外币资产就必然要面对汇率波动的风险。而汇率有涨有跌,汇率波动带来的影响也有正面、有负面。人民币贬值,对基金净值产生积极影响,人民币升值,对基金净值产生负面影响。(2)外汇限额带来的流动性风险;国家采取外汇配额制,基金公司所获配的外汇额度在一定时期内都是固定的。如果QDII基金申购踊跃,导致外汇额度被耗尽,那要想再新增申购,就只能等别人赎回腾出额度才行。比如近来各路资金老想抄海外股市、原油大跌后的底(2020),大量资金涌入导致大半QDII基金因为没有额度而暂停申购
对于第二个问题,如果基金本身可上市交易,那在折溢价率合理的前提下,通过二级市场来达成策略计划倒是一种应对方案。
选择股票基金的时候通常有 2种类型:指数基金和主动基金;选择哪一种是个值得思考的问题
这里的「主动」指的是其选择投资标的,部分或完全由基金管理团队决定,由于基金的信息披露制度是周期性(基金季报)、不完全性(部分股票),非及时性的(季度过去20多天公布季报),所以你不可能知道一只主动管理基金过去做什么(部分知道),现在在做什么,未来会做什么。
因此,孟岩在《
(1)在 07年回测时发现一个有趣的现象,选择每年排行靠后的基金,第二年通常可以跑赢大部分同行,这岂不是意味着可以通过买某年排名后几名的基金来战胜市场了?后来发现,造成这个「结果」的「原因」是:由于市场风格切换的原因,在某一年成功「赌」到某个风格的基金经理通常会排名市场前列,大仓位「赌错」的基金经理则会排名靠后。当第二年市场风格切换的时候,排名靠后的基金经理的业绩则又排名前列。(2)由于基金经理的变动比较频繁,并且存在多人管一只基金、离职造成业绩空档等现象,因此通常会采用市场拟合等各种方式去修补一个基金经理的业绩曲线。这样进一步带来了研究的不准确
而在《
- 可预测的投资对象。指数基金过去和现在投资了什么我们一清二楚;而且指数基金将会如何投资,我们也一清二楚;可预测的投资对象会带来一个巨大的优势:可估值。所以大家才会看到指数市盈率,股息率等信息
- 永续 +上涨。指数会有一个自动更新迭代的机制,比如每年,或者每半年,甚至更加频繁地重新编制。一旦成份股中有公司亏损,或者甚至业绩不佳就会有可能被轰走。在一个经济正常发展的国家里,永续的指数长期就是上涨的。
- 注意力区别。相比选择被动管理基金,那些选择主动管理基金的投资者更容易被短期业绩影响,在买入基金之前的选择标准就喜欢考虑短期业绩
- 制度风险低。主动基金有可能会出现老鼠仓或利益输送的现象,而指数基金不会
- 管理费、托管费低。指数基金的管理费率相比主动管理类型的基金就低很多,托管费也低一些。有的指数基金,特别是ETF基金会多一个标的指数许可使用费,费率很低。
而 E 大在《
主动基金的问题就在于决定它成绩好坏的环节过多。有时候过去的成绩好你并不知道它的基金经理是运气好还是实力强,你也不知道这个实力强的基金经理明天还会不会继续管理这只基金。总之,一切都是未知。
我投资指数基金的两个最重要原因: 第一,指数基金是真正的几乎 100%「权益类资产」。主动基金赋予基金经理的权力太大,可以不断增减仓位。而配置资产这件事我自己完全可以完成,我购买指数基金就是为了配置我资产中「权益类」资产。我买10% 的指基,就希望有 10% 的权益类资产;如果主动基金把仓位变成80%,我的权益类资产变成 8%了,我还怎么配置资产?第二,指数基金可以估值。指数基金发展到今天,类别已经很多。低估、成长、价值、行业……我可以通过对每个类别进行估值,并计算业绩增速,根据模型投入不同的资金。而主动基金则完全无法估值,你根本不知道这只基金的基金经理下个月会买卖什么股票。你所有的宝,都压在基金经理和基金公司的身上。简单地说,指数基金持有的股票是有「规则」的,主动基金没有。没有规则的东西很难把握。
长期看,一定有 20%~30%的主动基金表现会比指数强,即使你能在指数基金上低买高卖,也一定有10%~20% 的主动基金长期表现更好。如果你能够找到这些在未来表现出色的10%~20%主动基金,那么你就适合投资主动。否则,被动指数投资是很适合你的。
另外,文章还着重提到了“在股市赔钱,大概率不是因为你买了指数还是主动,而是因为你牛市入场,熊市出场”,而相比投资主动还是被动来说,建立你自己的投资体系才是真正重要的事。
前面讲了指数与个股、指数基金与主动性基金的一些区别,且更推崇普通投资者投资指数基金,那在选择时还需要考虑哪些因素。
E 大在《我选择指数的2 个思路》给了 2 个选择指数的参考指标
第一个是绝对跌幅。我个人的定义是最高点到最低点绝对跌幅是跌到 20%~32%(跌到20%~32%。也就是说下跌68%~80%)。任何指数到了这个区域我都会大力布局。第二个是连跌时间。在A股,连跌三年被我看做黄金机会。一个是空间,一个是时间。
而常说的指数往往也分为宽基指数和行业指数,顾名思义,前者投资的是整个大盘,后者则是某个行业,在《
虽然前面都是在推崇指数基金,但是如果要选择主动基金,孟岩在《如何选择主动型基金?》中还是给了一些参考;这个过程与其说选择主动基金,不如说是在选择主动基金经理
在《聪明的投资者》中,格雷厄姆认为:要想在一生中获得投资的成功,并不需要顶级的智商、超凡的商业头脑或秘密的信息,而是需要一个稳妥的知识体系作为决策的基础,并且有能力控制自己的情绪,使其不会对这种体系造成侵蚀。
我的公式:知识 x 情绪 x 意愿
知识你需要了解一个基金经理的投资哲学和系统。而看人比看公司,要更难。我们可以根据基金经理的访谈、文章等信息来判断他是否具备完整、自洽、符合投资大道的投资哲学,以及拥有进化这个系统的开放心胸和方式。然后再根据他在历史上的业绩、季报中股票的选择和调整来判断他是否在按照自己的「知」来进行「实践」。情绪观察一个人和组织,最好的方式是当「极端事件」发生的时候。比如 2018 年 10月市场风声鹤唳的时候,基金经理是否能够平和、稳定、甚至发出一些乐观的声音;除了个人的情绪,我们还需要考察基金公司对情绪带来的影响。意愿「投资系统」也有了,「情绪控制」也能做到,那如何判断你委托、依靠的人能100%的站在你的角度为你着想和服务呢?我想可能有三种方式:名的绑定、利的绑定、时间
主动基金最关键在于基金经理,但选择主动基金时对及基金本身还是有一些指标可供参考的,在《
规模太小的话,会存在清算的风险,对于投资者来说,基金一旦清算,那就会从浮亏变成实亏,规模小于5000 万的基金,最好不要碰。
而规模太大也会有问题,这里的大指的是超过百亿的基金;基金行业的规定,一只基金持有一家上市公司市值不得超过基金资产净值的10%;此外,基金持有这只股票的仓位不能超过这家公司股份的10%。所以规模太大的话,就要把每只股票的仓位降低,同时也会多配更多的股票,但基金经理可能没有那么多精力去调研那么多家公司,而且市场上好公司本来就不多。
仓位集中的股票起伏都比较大,谨慎选择规模大,仓位集中的基金,这类基金的风险会比较大。仓位分散的基金可能在市场震荡或者下跌的时候也分散了风险,业绩更具稳定性。而通过基金的重仓股票,也能初步的判断这只基金的投资风格以及投资的范围
在基金资料页面我们可以看到持有人结构比例,一般有个人和机构两大类,机构持有者指的是企业、社会团体、事业法人等组织,个人的话就是散户。
受机构青睐的产品说明是比较优质的,因为他们投资的不是自己的钱,而是关系到整个机构和整个团队的,投资前都会比较谨慎,会对基金公司以及基金经理做好充分的调研。所以在比较持有人结构上,文章建议选择机构资金占比多的,因为遇到股灾的时候,相对机构来说,个人投资者可能更容易受情绪影响,会出现频繁申赎的情况,资金频繁的进出会影响到基金的净值波动。
不建议买新基金,因为新基金的往往在牛市发行的频率较高,容易在高点建仓,同时手续费比较贵,很多都不打折
这里要讲的非权益类资产主要是四大类:债券、原油、黄金、房地产
在《
E大的资产配置主要分为了A股、境内债券、成熟市场股票、新兴市场股票、境外债券、原油、黄金、房地产,在且慢上可以看到其具体的配置标的和比例
同时谈到了对这些资产的一些看法,这里主要摘录非权益类资产部分
债券是可估值资产,比如说现在十年期国债收益率 3.2%,你就知道,它就比2% 的时候有投资价值。
历史十年期国债收益率的波动范围,大致是 2.5%~5%之间,可以根据这个配置你的债券资产。配置时需要注意 2 点
利率债大多是国债、国开债等国家发行的债券。它们更多的与利率水平相关,不用考虑信用问题,因为几乎是刚性兑付的。而信用债的收益率会高,但偿付信用是依据发行债券企业的信用。
这样你就应该理解,在经济危机中,只有利率债会一枝独秀。因为那几乎是唯一可以确定保本的资产。
债券的走势几乎只与两点有关:收益率和流动性
所谓流动性就是货币当局释放的货币多少。债券投资的最佳时期,就是当局释放大量货币,然而经济又没有起色的时候。这个时候钱多了,但经济不好人们不敢买股票,结果债券价格就会大涨。
黄金的波动特性是巨幅波动,类似于涨十年,跌十年,然后再涨十年这种
通过回顾历史,发现每次美联储降息都预示着美国经济将出现一些问题,股市有可能下跌。在这种流动性被释放,而经济和股市又出现问题的时候,黄金自然成为很多投资者的选项。
所以黄金的一个投资时间点: 流动性释放 +预期不好,避险功能被激活
原油和房地产文章里涉及的不多,同时在资产配比里也不高,这里就不详细张开了
前面都是讲一些概念性的东西,这里则是从数学的角度去讲一下投资中的几道算术题,通过数字能够对股市中的涨跌更加敏感。在《
在投资中能常听到的一道数学题是
如果你持有的股票下跌 33%,那么需要上涨 50%才能回本;如果你持仓的基金下跌 50%,那么上涨 100% 才能打平。
从这道数学题上我们可以总结出一条投资经验:永远不要让你的资产大幅缩水,否则,回到高位,再创新高将是非常困难的
以下两种场景中选择一种作为你未来的投资收益率,你会选哪个?
(1)第一年赚 80%,第二年赔 40%,第三年赚 80%,第四年赔 40%…… (2)每年赚5%。
也许很多人在看到第一个选项,直观感觉就是第一年赚 80%,第二年赔40%,那两年合计能赚 40%,每年 20% ,当然比 5% 强。
但是在了解到前面提到的涨跌幅不能直接等价,我们会发现在偶数年,第一种情况的年化收益率是4% 左右,还真不如第二种的每年 5%。更极端一些,如果单数年赚 90%,双数年赔50%,那么长期收益率居然是负的
另外,这个也适用于基金经理和散户朋友
各类基金经理有多少吗?至少有上万人。这上万人绝大多数因为没有名气,所以管理的基金规模都不大。当他们在某年赚到很多钱的时候,其实赚的绝对数字很小。比如10 个亿规模,赚 100%,规模到了 20 个亿,赚了 10 个亿。这样他在牛市成为冠军基金经理,名气大增,申购量暴增 5 倍、10倍。于是,他管理了 100 亿资金。好的,熊市来了,这时候当他赔40%,那么两年合计,到底赚了多少钱呢? 亏损 40 亿 - 盈利 10 亿 = 消失 30亿。 然而,他第一年赚 100%,第二年赔40%,其实两年合计收益率还是正的。但是,30 亿就这么消失了。实际上,当他的规模到了 100 亿以后,只要下跌 10%,之前牛市赚到的100% 利润就已经消失殆尽了。
这个道理,也同样适合散户朋友。当你用一点点小钱在牛市中赚了幅度很大的钱,然后开始信心十足的转移储蓄加码买入的时候,很有可能是在消灭财富的前夜。
这也是 E大一直在文章里强调的“熊市不赔钱或者极少亏损,牛市大致跟上指数”的原因。如果几轮市场周期你都做到了,你赚到的钱是那些大起大落的人永远也赚不到的。
E 大有一个 7080 定律,即一个不会死的品种极限跌幅在80%。这就引出了一个问题,假如在腰斩,也就是下跌 50%的地方买入,到了跌幅 80% 的地方,你的亏损幅度是多少?
答案并非你认为的 80% - 50% = 30%,而是60%;计算也很简单,假如原来是 10 块,跌到 5块的时候买入,则跌到 2 块时,对于你而言,亏损是 (5-2)/5 = 60%
同理,你在同样品种已经下跌 60% 的地方买入,到了下跌 80%的时候并非浮亏 20%,而是 50%。在已经下跌了 70% 的地方买入,到了下跌 80%的时候并非浮亏 10%,而是 33.33%。
这里说明了一个道理,那就是从 0 到 -10% 的距离,与 -70% 到-80%的距离完全不同。这也是为什么熊市越到后来越惨烈的原因,那个时候财富的缩水远超一般人的承受能力,即使账面只变动了几个百分点。在熊市的末期,大多数一路抄底的人都会彻底崩溃。因为他们的损失只比站在山顶上的人小一点而已
另外,这道数学题也说明了一个道理,不要轻易抄底或者说接飞刀,如果基线跌幅在80%,那你抄在了 60%上,可能的跌幅还有 50%,而 E 大的文章里是这么说的
对那些非常狂热急于抄底的朋友说几句。没错,在股市上确实有所谓的「别人贪婪我恐惧,别人恐惧我贪婪」这句话。但实际上这是在很极端的时候才好用。在大多数情况下,市场是聪明的,市场大多数时候不是傻子。如果你认为市场大多数时间是傻子,那你才是傻子。而且,你永远逆潮流而动,最终的结果就是被蜂拥而至的群众们踩在脚下。所以,还是要对市场和群众保持敬畏
在投资中,我们通常关注的是收益率,而在《
投资是基于概率和赔率的游戏。
所谓概率,指的是一个事件发生的可能性有多大;所谓赔率,指的是这件事发生后盈利或亏损的程度。好的投资是两个因素共同作用的。
用一个简单的公式来表达:投资收益 = 概率 x 赔率。
如果只注重概率,当遇到极端事件时可能会赔光;如果只注重赔率,那我们可能会浪费掉很多还不错的「积小胜为大胜」的投资机会。
文章给了一个博彩业的如何利用赔率和概率,来达到坐庄永不亏损的目的
世界杯决赛,德国对英格兰。赌球玩家们开始下注了:买德国队赢的资金合计有120 万,买英格兰队赢的合计有 80 万。如果你是庄家,你需要操控这场比赛来获利吗?你需要准确预测结果来获利吗?答案是:不需要。赌局里有个因素叫「赔率」。赔率为 1.2,表示玩家投入 100 元,赌对了会拿到120 元(包含 100 元下注本金)。 假设德国队赢的赔率是X,根据上面的资金分布,德国队赢时庄家要支付的资金是 120 x X万,赔给买德国队赢的玩家。 只需要保证120 x X < 120 + 80 ,即 X <1.67,你就一定不会亏钱。 同样地,英格兰队赢的赔率是 Y,只需要保证 80 x Y< 120 + 80 ,即 Y < 2.5 ,你就不会亏钱。当然咯,你还可以设定一点「安全边际」。把德国队赢的赔率设为1.50,英国队赢的赔率设为 2.25: 则有如下结果 德国队赢,你有 120 + 80 -120 x 1.50 = 20 万利润; 英国队赢,你有 120 + 80 - 80 x 2.25 = 20万利润; 决赛没有平局,无论哪边赢,你都能锁定 20万。
文章还提到了长期资本(
虽然在之前的《
后来在E大的《
人们通常关心哪些被认为与股市有关的宏观数据?我想无非是这几个:GDP、CPI和 PMI(欧美很重要的就业数据在中国完全无用)。我仔细比较了这几个数据与A股走势的关系,非常惊讶地发现:宏观数据与股票走势几乎没有任何关系——除了PMI ,这个数据与A股关联度不错
为什么宏观经济数据与股市走势如此让人摸不着头脑?看起来毫无关联性?在我看来,宏观经济是一个人,而股市是一条狗。他们就像主人牵着狗出去遛弯,有时候狗会跑得很快,有时候狗又会停下来对自己感兴趣的东西闻来闻去。而此时,主人的速度虽然有快有慢,但他跟狗不会是同样的快慢,所以他们之间会时远时近。
1996 年、2006 年、2007年,就是这条狗发现了自己感兴趣的异性,疯狂地试图挣脱主人手里的绳子往前跑;而到了2005 年、2008年,它又碰上了打狗队,害怕地躲在主人身后很远很远。这样,有趣的问题就出现了,如果你试图用主人的行走速度去判断狗应该在哪里,就是一件非常可笑的事。
其实,整件事中你最应该关注的不是主人的速度,而是一样真正有意义的东西,那就是——那根绳子。你知道主人在哪儿,你就知道狗即使落后或超出,它的极限会在哪儿。这根绳子才是真正有价值的东西。
这根绳子是什么?估值。
当然,还有很重要的东西决定狗的跑动,比如吸引狗的骨头(投资者的预期)、狗的精神状态(货币量)。
在《
当你用很短的时间,透支了很长时间成长的时候,你就需要用更长的时间来还债。2001年股市 PE 到了 68 倍,之后 5年虽然中国经济稳步增长,指数照样跌了一半就是这个道理
所以,前面提到的结论并没错,但宏观经济与股市的关系绝非简单的线性关系。用宏观经济指导股市投资恐怕越错越远。世界上绝大多数正常发展的国家,股市都会一路向上。而我们要做的不要再去盯着上证指数是2200 点还是 3200点了(宏观经济与实际投资回报关系不大是是一个原因,而上证指数本身的编制方式是另一个原因)。想办法找到那个万年长青的企业,或者找到一个组合完善的组合才是重要的。
那为什么这里还要提宏观经济呢?因为了解宏光经济一些相关的知识,能然我们对钱的流动有更好的认知,会让我们更好判断出当前的“人”在哪,速度是快是慢等。
这里主要介绍现代银行体系,了解这些会对新闻里常说的央行加息、货币紧缩等词汇背后的含义更加清楚
在《
银行分为两种,商业银行和中央银行,的区别如下
商业银行就是咱们普通老百姓平时存钱,办理贷款业务的银行。一般都是股份制,有机构,或者私人参与,不完全由国家控股,所以它的利益诉求,是为了盈利,也就是说赚钱和发展是它们的首要目的。主要业务就提供储蓄和贷款;主要的盈利方式,就是吸收居民的存款,然后给个人或者企业放贷,然后赚中间的息差
中央银行,是一个国家公共机构,目的是,调控好国家的宏观经济,监管金融市场,保证国家金融制度良好的运行。如中国的中央银行全称叫做【中国人民银行】,常听到的【央行】或者【央妈】就是指它;美国的中央银行,全称叫做【美国联邦储备系统】,也就是常听到的【美联储】
中国的商业银行,其中靠前的六家大型商业银行,工商、农业、中国、建设、交通、邮储,属于国家控股的国有商业银行,所以它们除了追求自身盈利之外,同时也承担了配合落实国家货币政策的职责。而往下一级的商业银行比如我们比较常见的中信、招商、华夏、平安等等并非完全国有,所以侧重点更偏向于自身盈利和发展。
美国的商业银行大部分都是机构持股,政府持股的比例相对较少所以美国的商业银行基本都是以自身盈利赚钱发展为主要目的,所以立场方面非常的清晰。
央行的主要职能包括
这里着重讲最后一点,即央行和其他商业银行的业务往来,主要有以下三种
(1)为商业银行做最后贷款人即商业银行的钱如果都贷款出去了,这个时候如果有很多储户来取钱,商业银行里的钱不够的话,银行的信任就会出现问题,这个时候央行就会贷款给商业银行,帮助兜底。
(2)处理全国商业银行的票据清算大致的意思是每一家商业银行在央行都有自己的独立账户,我们平时日常的个人或者企业跨行转账的时候,收付的票据以及资金清算这些数据最终都会传导到央行统一处理
(3)集中收取存放所有商业银行的存款准备金商业银行每收到一笔存款,都要把这笔存款拿出一小部分放在央行,而放在央行的这部分钱就叫做存款准备金,这个比例就是存款准备金率,控制这个准备金率能控制商业银行创造出来的货币量,或者说市场上流通的货币量,文章举了下面的一个例子
假如现在商业银行里一分钱就都没有,而这个时候你存了100元现金在银行里,你的银行的账户里就有了100元存款。假设存款准备金率是10%那么按照这个比例,你现在存的这 100 元,商业银行就要放 10块钱在央行,那么剩下的 90 元商业银行就可以拿去放贷。 假如这 90元贷给了你的朋友,你的朋友拿到钱以后,用这笔钱去服装店买了一件衣服,而服装店老板赚到这笔钱以后,又会把这 90元,存进商业银行。于是现在服装店老板的银行账户里,也有了 90 元那么现在商业银行里的存款总数,就变成了你的 100 元加上服装店老板的 90元,总共是 190 元 现在把这个例子继续下去,商业银行收到了服装店老板的 90元存款以后,又会拿出 90 元的 10%,也就是 9 块钱放在央行,那么它又有了 81块钱可以放贷,而这 81块钱贷出去之后,又会被人存回商业银行,然后商业银行又会继续放贷。就这样循环到最后你会发现最初你存进去的100元,经过商业的银行不断的放贷操作,最终扩张10倍,变成了1000元
这个倍数就叫做货币乘数;而这1000元里面,只有你最开始存进去的那100元才是真正的纸币,所以这100元,我们称之为“基础货币”,而剩下的那900元,就只是个数字而已,并没有对应的纸币,这种没有纸币对应的钱,我们称之为“派生货币”而这最多就只能扩张10倍,是由于存款准备金率是10%决定的,这个率越低,能扩张的倍数就越大(笔者附,这里的计算基于无穷级数\(\sum_{n=0}^{\infty} x^{n} =\frac{1}{1-x}\))
目前我国基础货币+派生货币总量一共是233万亿左右,而这其中基础货币的数量又占多少呢?答案是:只占了很小一部分,大概七分之一不到;就是说咱们社会上流通的钱大部分其实都是派生货币,只是个数字而已,并没有对应的纸币。这也是为什么银行最怕挤兑了
这里的
常说的
在这个视频里《
1.利率与通货膨胀:长期低利率容易导致通货膨胀,这时候中央银行往往会提高利率2.利率与债券:长期利率是拿债券价格反算出来的,两者成反比关系,所以利率涨了,债券价格会掉(具体公式可以参考视频),这是比较明确的关系3.利率与股票:加息初期对股市是利空的,但是长期没有非常明确正相关或负相关;这里举了一个地球与月球的例子很精彩4.利率与房地产/黄金,关系都是不确定的
而在《
利率会传到到各个大类资产上。 首先会影响债券。利率上升,债券价格会下跌。 利率下降,债券价格会上涨。然后是股票,然后是商品。
利率又与通货膨胀紧密联系。 通常情况下,恶性通胀会导致利率上涨。这样就尽量少一些持有债券和股票。多持有金银等贵金属。缓慢的通胀,利率水平较低,则可以多持有一些债券和股票。通货紧缩可以多持有债券、少持有商品和股票。
通货膨胀是一个耳熟能详的概念,大概意思就是钱不值钱了,但是当我们要更深入的去理解通胀,你会发现它比我们所看见的其实要更加复杂。因为在实际的过程中,钱这个东西是流动的,只有当钱流到流到某一个市场的时候,这个市场的东西才会涨价
比如流到了汽车市场,汽车就会涨价,流到的生活用品市场生活用品就会涨价。所以在真实的情况中,每一个市场的通胀都是不一样的
常见的衡量通胀的指标是
CPI的数据是准确的,我们平时买的猪肉,大米,以及生活用品,确实只涨了这么多。但是,它只能反映出一部分,因为各国的CPI往往没有把金融资产这一项计算在内,而现实中最大的通胀往往就发生在这个领域
文章举了如下例子
08年到现在十几年的时间里,标普500指数从一千多点,一直上涨到了现在的四千多点,翻了三倍多,而这背后很大的一部分原因就是"通胀" 去年到今年仅仅一年的时间,比特币的价格从不到一万美元,暴涨到现在的五万多美元,这其中有部分原因也是因为通胀。因为去年疫情到现在美国疯狂印钱超发了大量的货币,而这些钱又大量流入金融资产导致了金融资产价格上涨。所以无论是股市,比特币,这些金融资产的上涨其实都是一种通胀现象。
而这种金融资产的通胀,在我国的载体则是房子。从08年到现在我国的房地产价的大幅上涨,这背后很大一部分原因,其实也是因为通胀。超发的货币大量流入房地产行业循环,所以造成房地产价格大幅的上涨。
那为什么我国的通胀会发生在房地产呢?
上面的银行体系中提到了货币是如何增发的,在总体 M2中派生货币占了很大一部分,而能派生出来的原因银行的放贷,或者说信贷扩张是货币增发的源头
那我们最大的信贷源头,是哪里呢?那就是房地产了,过去这么多年贷款最多就是房企,和居民购房贷款,比如我们去看08年以前,你会发现贷款买房的人是很少的,但08年信贷政策大力开放之后,大家都开始贷款买房,这种大规模的信贷扩张,是支撑各个地方这些年的房价上涨的重要因素之一。
《我们真的了解钱么》是这么描述这个现象的
房价不断上涨,房地产行业发展旺盛,房企又会不断贷款加大投入盖房子而由于房地产关联的上下游行业非常之多,所以房地产行业发展旺盛的会间接带动很多上下游相关企业向银行贷款的需求居民、房企、上下游无数行业,这些需求加在一起,就产生了大规模的信贷扩张,也就超发了大量的货币。所以房地产其实本质上就是一台巨大的印钞机。在正常情况下,这台巨大的印钞机超发出来的货币是可以传导到其他消费市场的。打个比方:房企发展的好,不断建房子,房地产上下游关联的这些行业从业者,以及持有多套房产的群体收入也会增加,收入增加,家庭消费支出也会随之增加,钱就会传导到其他消费市场,结果应该是整个市场一起发生通胀。应该表现如下图
但真实的情况是,大部分人赚到钱之后,又继续拿这些钱去买房子了,这样就形成了一个循环,因为房价不断上涨,所以大部分人又都把钱拿去买房子,大量资金不断涌入楼市,显示中的货币变成了这个样子
那为什么美国的资产通胀主要发生在股市呢?文章也提到了一个区别是在于货币的传导机制不同
我国主要是通过信贷的扩张的方式增发货币,增发出来的钱大多数只是数字。而美国增发货币,那真的就是实打实的印钱美国的商业银行并非国有,所以它们的诉求是自身盈利为主。所以当市场出现风险时,商业银行为自己的安全不会大量发放贷款。所以美国在很多时候无法像我们一样通过信贷扩张去增发货币。但是钱总得往外放出去啊。那怎么办呢?既然商业银行不愿意帮忙,那就是央行亲自下场买东西把钱放出去。美国金融市场上有大量的美国国债,房产抵押债券,这样的债券资产,而美联储就会直接印钱,然后用这些印出来的钱,直接在金融市场上大量购买美国的国债,和其他债券资产。这样钱就进入了金融市场,造成了金融资产的不断上涨。08年美国金融危机股市暴跌,美国政府就是用这样的方式把美股拉了回来;去年疫情美股暴跌,熔断了4次,美国用的也是同样的套路直接印钱,向金融市场直接注入大量基础货币。才把美股暂时拉回来了。不过美国这样疯狂的印钱迟早是会出问题的,今年美国的消费市场通胀就非常厉害,物价大幅上涨,这都是疯狂印钱的后果与我国的房地产一样的逻辑,本来钱是可以通过金融市场传导到其他市场的。但是因为大量货币输入,股市不断上涨,又会导致资本不断回流到金融市场,大量的资金在金融市场内循环,膨胀,于是就有了我们看到美国股市超过10年的大牛市
看完中美不同的通货膨胀,我们能够得到这个结论:通胀一直存在,但是通胀的存在是不均衡的,并且这种不均衡在现代金融体系的催化下会愈演愈烈。在我国,这种现象表现为大家房价涨的太快,所以自己买不起,其实背后更底层的逻辑是:很多人在拿并没有怎么通胀的工资,去买已经大幅通胀的房子,当然会觉得很困难;在美国也是如此,持有金融资产的群体资产大幅的增长,而没有金融资产的人群收入则长期低迷;
所以需要充分认识到:钱就像水,当钱流到哪里最多,在哪个领域循环,相对应哪里就会出现更多的投资机会,但是当下房地产的大趋势已经过去,当房子开始逐渐失去投资价值,金融属性开始慢慢减弱,那么分化的拐点就已经不远了。到了那个时候,大量的资金自然会去寻求回报更高的资产领域,文章指出未来长期投资大方向会看好A股的发展
在《你是跑赢 CPI的穷人吗?如何正确理解通货膨胀》,则对持有何种金融资产来应对通胀提出如下观点:在短期内(持有 1年)股票、债券和短期国债都很难有效地对冲通货膨胀风险。但是从长期来看(持有 30年)),股票的实际收益率几乎不受通胀影响,而债券收益率被远远抛在后面
本文主要讲了投资中的一些概念与常识,包括周期的表现、成因和应对方法,常见投资标的分析,几道容易犯错的计算题以及一些宏观常识,内容不是非常成体系(因为都摘录了笔者不是非常熟悉的部分~),也无法立刻教会你如何去投资,甚至看完后可能隔几天就忘了;但是为笔者理解这个世界提供了更丰富的角度,套用那句“投资是认知的变现”,这部分就是在拓展认知,帮助我们从更多视角去了解整个社会的财富分配以及运作机制,即便无法立马变现,了解这些这些底层逻辑,也是挺有意思的,而随着个人财富的积累,相信这些知识也有能“变现”的那一天。
]]>这个系列的文章绝大部分内容来自于有知有行,也会有一些笔者深究后调研的内容,且按照笔者的理解划分为:认知与心态、概念与常识、买与卖三大模块。妄图将投资这个大话题以及有知有行的编辑们整理的上百篇文章浓缩到这篇小小的笔记中,自然无法面面俱到,所以这篇文章还是会挑选笔者关注的一些内容,更详细的内容可参考有知有行以及本文里的相关引用。
本文是认知与心态的部分,主要是投资前的心理建设部分,包括对待财富、投资的认知,投资时的心态管理(收益与风险的预期、投资的时间周期)等。
财富的意义不用赘述,绝大部分人的绝大部分时间都花在了这件事上,这里主要讲2部分内容,一是聊聊财富自由这个老生常谈的话题,二是为了达到自由往往需要经历的财富积累环节。
财富自由,是一个老生常谈的问题,每个人对这个问题都有自己的答案。对于当前笔者而言,财富自由不意味着能得到什么东西,而是意味着拒绝什么,比如说拒绝一份强度高但是成长性弱的工作、拒绝在生病时因囊中羞涩而得不到治疗的窘境等,不被某些东西约束,才是笔者认为的自由。
而看着各种把杠杆拉满去买房,因为失去现金流而断供的例子,比如知乎上的
另外,从个人角度来看,当前的财富是否能够让其自由,本质上跟这个人的欲望有关,E大的微博 《
然而,这个问题的吊诡之处在于,人是欲望驱动的动物,缺少了多巴胺带来的那种冲动,人很容易裹足不前,那该怎么破?这篇文章《
关于这部分,在《
很多人觉得财务自由遥不可及,得几千万,还有说几个亿的,其实根本不用那么多。不说什么大富大贵,单单是让自己的“睡后收入”超过目前的工作收入,让我们有能力选择更适合自己的事业、可以根据意愿选择和谁在一起度过时光,对于生活就已经是巨大的助力。
财务自由为的不是想要什么就有什么,而是当有东西不想要的时候,你能有底气拒绝。人的欲望永无止境,但是拒绝糟心事,真的没多难。
获取财富的途径从本质来说就是提供他人需要的服务,或者通俗点说就是卖东西,知乎上的
常说的打工人就是在卖自己的时间,除了这个途径外,对于绝大部分人,比较可行的方法,只能是稍微节约一点,然后拿着一点本金去投资,也就是上面说的卖钱。而卖钱其实也依赖着你的积累下来的本金,所以财富的积累是一个绕不过去的问题
如何做好财富的积累?《
虽然上面的两篇文章强调了财富积累的重要性,但是也强调了存钱、节流这个环节过犹不及
不要存太多。除非你收入特别高,真的花不完。一般的工薪阶层,不要存超过40%。我这人最相信「平衡」两个字。生活是用来享受的,金钱是我们的奴隶,不是我们的主人。在先把那部分投资的钱存好后,剩下的就用来好好生活,享受人生。为了投资,牺牲生活,得不偿失。终有一天,你会发现,你的工资与你的投资收益相比,已经微不足道了。
不要很痛苦地做一件事。比如说很痛苦地坚持攒钱,很痛苦地面对亏损,很痛苦地学习和投资,很痛苦地工作等等。因为持续痛苦地做一件事,大概率不会有太好的结果。也许在你的心中,坚持这件事的未来是非常光明的。但是,也许你的意志并没有你自己想的那么坚强。终有一天,稻草压倒了骆驼,爆发出来的负面情绪可能会让你觉得过去的坚持都是无用、可笑的
另外,关于财富的积累,知乎上的这个回答也很好,基本也包含了上面说的开源节流的思想,同时也外延了婚姻、生娃等抉择,强烈推荐阅读,
为什么要投资,为了赚钱啊;前面也提到了,搞钱的手段里,卖钱是普通人最可行的途径之一,而《
穷这个字,底下是个「力」字。富呢?底下是个「田」字。什么意思呢,意思就是,你朝九晚五,辛苦劳作,每天起得比鸡早,睡得比狗晚,最后大概率还是穷。因为你是在出卖体力,手停口停。然而有资产的人呢,有房的收房租;有股票的拿股息,碰上牛市翻几倍;有公司的雇一帮人为自己挣钱……当你的资产大到一定程度,你就变成了「富」人,因为你有了「田」,于是你可以恬不知耻不劳而获地成为社会的寄生虫了。
说到投资,往往少不了的一个概念就是复利,几乎所有的投资入门的文章都在强调着复利的重要性,但是复利真的有那么神奇吗?
在这之前,我们先看下由复利这个概念衍生出来的一个励志公式,即每天进步一点点,一年后的变化是巨大的,1.01^365 = 37.7834
,反之则是0.99^365 = 0.02551
这个公式初看时也许能给人打满鸡血,但是仔细思考便会发现其中的 2个逻辑漏洞
《
复利 = 本金 × (1 + 收益率)^时间
可以看到,关键因素在本金、收益率和时间,对这三个因素进一步分析,便能得到如下结论
足够多的本金很重要。本金的增加并不是理财能带来的,是要你不断努力去从外部获取。现在市面上各种沙雕的理财培训,坏就坏在他们只给你讲复利的重要性,却从来不告诉你,你那点本金,复利上天也没多少。
时间周期要拉得足够长。“一年里,每天都比前一天进步1%“”这件事情是极不合理的。你可能会说,我每天能比昨天多背 5个单词啊?不难啊?抱歉,这是线性叠加,不是复利。而且,不光不是复利,你还会背的越多,忘的越多。365次方的确是非常美好的想像,可惜现实生活中并不存在。比较合理的算法,应该是用「年」 为单位。这样你会发现,要达到 365次方,你大概需要十辈子
(3)收益率往往被高估。做任何复利增长的曲线的时候,都会假设一个10% 或者 15% 这样的增长率。但是,在真实世界中,你不但找不到 20%的利率,你也找不到 15% 的利率,你甚至找不到 10% 的利率。
这里并不是要否定复利这个概念,而是需要强调如果你真的相信复利增长曲线,那你就应该接受一个现实:变富是需要慢慢实现的(这部分后面会详细说)。这个慢慢,可能是三年五年、更可能是十年二十年的持之以恒丝毫不敢懈怠。
预期很重要,预期过高,带来的是失落,预期较低,带来的也许是意外的小惊喜,这是个公理,不止适用于投资
前面提到计算复利时收益率往往被高估,那在投资中的预期收益率是多少才合理呢呢?《
首先是“长期年化”这个词,这个把时间拉到以年为维度,身边经常能听到有人赚20%、50%,动辄翻倍的也不在少数,这里很有可能是 1 个月或 1笔买卖的收益,但均摊到一年,未必就是这么多,甚至可能是负的。
而从宏观经济角度来说,整个经济体的增长,是每个企业、每个劳动者共同努力不断创造财富的结果,量化的指标就是GDP(国内生产总值)。过去 20 年,中国 GDP 年均增速在 9% 左右。如果把 GDP增速理解成「所有大大小小的企业增长速度的均值」,那么投资到运营水平更高的企业也会获得一些超额收益。文章里给的经验,8%~10%的长期年化收益率是可以预期的。
8%~10% 的估算逻辑就是这样来的,而如果进一步深挖,文章里使用 ROE(
文章还提到了长期坚持“低买高卖”,并且系统性地选到表现比较好的公司,我们就有可能把预期收益率拉高到12%~15% 的水平。那15%的长期收益率高不高?其实非常高了。股神巴菲特这么多年的长期收益率,也差不多就是12%~15% 的水平
另外,E 大的文章《
别跟别人比赛。不要在熊市中安慰自己,大盘跌了60%,我只赔了55.5%。我跑赢了大盘。那没有任何意义。不要在牛市里懊恼,大盘涨了100%,我只赚了80%,我真是个loser。看看新闻,那么多人发了大财,为什么不是我?记住,你要的是绝对收益。要比,你只需要跟自己比——我的资产,有没有比上个月、上个季度、去年增加了?
这段话其实跟张潇雨的播客 《
看了上面的对复利的拆解和预期收益率,我们不得不接受一个事实:那就是变富的过程会很漫长。上面的《你看到的神奇复利都是骗人的》里也提到了:巴菲特的巨额资产,绝大部分都是在他50 岁以后赚到的
《
投资和做其他生意相比,优势绝不在于来钱快,投资的优势在于可以一直做下去,而且可以慢慢越做越大。而大部分做生意的人,来钱都比投资快,但很难长久,即使可以做的久,也基本保持在一个规模,没法越做越大。
所以我们做投资要发扬投资的优点,就是要有耐心慢慢来,把财富越积越多,而速度恰恰是投资的缺点。而很多人完全搞反了,只想快速赚一把就走人,这完全是避开了投资的优点,而发扬了投资的缺点,逆势而行。
想要接收慢慢变富,行动上有几点笔者觉得较为重要:闲钱投资、别加杠杆和停止内耗
想要有好的心态,一定要用闲钱投资,什么是闲钱?就是短期内亏了也不会影响生活的钱,这一点非常重要,否则心态上很容易崩,也很容易造成主动亏损。这一点在半佛2018 的 live 《
另一点就是不要加杠杆了,还是上面的那个live,印象深刻的一句话是“投资里,从 1 块到 100,1 万,1000万都是有可能的,但是从 0 到 1 是不可能的”,E 大的文章 《
在播客《
我们在生活中不要自己找新的事情折磨自己,给自己找麻烦。什么意思呢?就是我总觉得好多人学投资,是苦大仇深的,是来这翻身来了。周围的人都不理解自己,投资变成了一个出口。努力学习没有问题,但没必要卷,没必要非要在这件事情上证明什么。因为你证明不了什么。而是要在这个过程中去了解自己、舒展自己。在一个没有那么多内耗和磨损的情况下去做这些事情,这个事情才会越做越顺,越做越好。同时,在这个过程中学会不去苛责自己,不去过度地评价自己,想那么多有的没的。这个是非常非常重要的。
在投资里,经常能听到的一个词就是价值投资,同时也常伴随着的另一个词是长期投资;那价值投资里的价值指的是什么?多长时间的投资才算长期投资?价值投资是否意味着长期投资?
如果用 Wikipedia 上对
在 E 大比较早之前写的《
价值投资,不必然是长期投资,不能用时间长短来衡量;价值投资,不必然是低市盈率投资,不能用市盈率来衡量;价值投资,必然是以远低于股票内在价值的价格买入,要学会如何衡量企业真正的内在价值;价值投资,必然是以保住本金为前提,以足够的安全边际为度量衡,取得合理的投资回报。
更通俗来说就是低买高卖,但是这个事情很难,难在哪里?文章里给出的答案如下(但是笔者觉得更难的是比较难判断是当前是贵了还是便宜了,这部分在买与卖会介绍一些参考指标)
就难在一个字:忍。
贵的时候,忍着不买。不管别人如何冷嘲热讽,坚持内心的标准。只要不够便宜,我就是不买。
不贵的时候,忍着不卖。抗拒自己所有的人性,拿着自己看好的标的。死死拿着,哪管你大浪滔天?
值得注意的是,价值投资并不是唯一的投资方式,也不是最好的投资方式,或者说没有最好的投资方式。常常被自诩为价值投资者们嗤之以鼻的趋势投资,在E 大上面的文章和 《
趋势投资不去管价值,主要任务是判断趋势,趋势延续就继续持有/空仓,趋势改变就卖出/买入。在趋势投资者的眼中,价格有时候倒是高了更值得买入。比如雪球的28策略,你会发现历史收益也会很不错。
价值和趋势我不能说谁一定好,适合你自己就好。但是,有一点请注意。千万不要某个品种一路上涨你总是狠不下心去追,结果它涨了很多后跌了一点趋势已变的时候你就抱着价值投资的信心接了进去。然后它一路暴跌已经很有价值的时候你又变成了趋势投资者,觉得趋势很差不如卖掉以后走势好了再买
价值投资者的势,应该是对于一个国家,一个地区,一个公司真正大势的把握。
而说到长期投资,各种投资课程、投资大师,都会强调长期投资、长期持有、长期规划的重要性,多久才算长呢?《
如果说长期投资能拿到收益,那为什么长期投资还那么难坚持呢?文章给出了2 个原因
(1)投资回报在时间上的分布不均匀,即主要收益是由 1%的交易日贡献的(所以需要保证“当闪电劈下来的时候,你最好保证自己在场”)。这导致了不管对于市场,还是对于个股,很可能我们大部分时间都在进行无聊的等待,而真正的上涨(或者下跌),只是在很短的时间内发生的。换句话说,等待相当煎熬,所以很多人就会选择卖出,然后去追新的热点(2)市场总是轮动的,这里的轮动,指的可能是资产表现的轮动,可能是投资风格的轮动,也可能是行业板块的轮动等等,其实也就是周期的一种体现(关于周期在后面的概念与常识中会讲到),这导致了当前市场最受到追捧的那个主题,和你喜欢或者擅长的主题不一致,那么再坚定的人,也会对自己的持仓产生怀疑。
了解了这些后,文章给了如下建议
长期投资需要的时间。这些因素都是客观的,并不会因为我们希望快速变富而产生变化。唯一能控制的,是投资的本金。因此,对我们来说,可能更重要的事情是,放下焦虑、专注在工作和生活上,在我们自己不断变得更好的同时,去收获更多的工资、股权等其它收入。与此同时,做好资产配置,根据自己的兴趣慢慢地拓展能力圈,在合理的范围内提高我们能获得的收益率
而如果针对基金这个投资标的,《
回到「基金应该持有多长时间」这个问题,答案如下:
(1)我们需要刷新一下「长期持有」的概念,8年以上才是真正意义上有稳定绩效表现的「长期投资」,即至少持有 2个以上完整的周期。 (2)如果你还接受不了 8年以上的周期,那么你可以考虑持有 4~5年(回报效率最高),而且,务必做个「战略性择时」,千万别在估值高点买入基金!(3)在合适的点位买入,并持有足够多的周期,这是基金投资成功的关键。
了解上面的价值投资和长期投资后,我们知道两者没有必然的联系,很多价值投资者在下跌时自称的长期投资,很多时候都是在自欺欺人而已
很多时候,我们都认为自己对自己都是非常了解的,但事实上并非如此; 2022年上半年,股市有了几次大跌,孟岩在 03/17 的写的《
在牛市的时候填写调查问卷,大家都觉得下跌 30%完全能够承受,但真的到了熊市,即使只跌了 15%,可能你已经非常恐慌了。
另外,在风险测评问卷上填写下跌 30% 很简单,但你很容易低估真的下跌 30%会对你的心理造成什么样的影响。我们可以在脑海中做压力测试,但无法测试当我们投资失败回到家,看到家人失望表情时的心情。
出现这个问题可能原因是多重的,比如说可能仓位控制不合理,杠杆太高等;而其中的一个不可忽略的原因就是我们其实并没有真正认识自己,或者说不清楚极端环境下自己会作出何种表现
文章的结尾写到:“恐惧是真实的,也是宝贵的。它是一种微妙的身体信号,也是检验我们是否真的相信的试金石。记住那些恐惧的时刻,让恐惧穿过自己”。其实就是建议我们在极端情绪下进行自我察觉,学会体会自己的情绪,与自己的情绪和平共处。E大的《
从小仓位开始,训练自己能享受盈利。不要怕回吐利润。坚定一点:只要你买的不贵,最终一定会一路向上。
面对资本市场的危机,我的建议: 首先,不要慌。第二,冷静地看自己手里的东西。有没有可能死的,有没有特别贵的。如果有,找机会处理掉。第三,保命。 第四,找机会进场捡漏。如果没有能力识别,就不捡,保命。第五,坚持不慌。一开始不慌,最惨的时候更不慌。再次审视手里的东西。跌得很惨,但是会不会死。不会就不用慌。尝试捡漏。
另外,关于察觉并自己的情绪,推荐读一下这个回答,
回到投资上,《
无论是什么样的投资,要赚钱的路径只有一个:在价格低的时候买入,价格高的时候卖出。有趣的是,大多数散户回过头观看自己的行为,结果常常是反过来:他们在价格高涨时杀入市场,迅速下跌时期匆匆离场。也就是说,他们在高买低卖。
是恐惧驱动了我们的大部分行为。经历过才知道,真正能做到低买高卖绝非容易。它需要在还没有媒体宣传和大众舆论的时候就有独立思考的精神,需要耐得住寂寞,忍受住波动,需要不执着,拿得起放得下,需要随时准备承认自己错了,需要远见、信心、谦逊、坚持……
另外,文章还提到了一个观点:无论是有限游戏还是无限游戏,属于你的机会,一辈子就那么几次。我所说的机会,是长时间,相对意义上改变结局的大机会。大的机会是时代造就的,不是你自己。那这些机会长啥样呢?文章给了几个例子:
至此,文章提出说真正的圣杯是对于自我的了解
向内看。在大部分人向外求索的时候,你能明白那不可能成为真正的钥匙,最多只能让大家站在同一起跑线上,而真正的「圣杯」是对自我的了解,那本身就是一种优势
此外,文章里提到的创业的例子,笔者比较有共鸣,因为笔者前一段时间也常常在问自己,为什么懂得很多道理,但是仍过不好这一生?原因就是知易行难,懂得的成本太低了,但是真正执行的成本太高了,这个成本意味着长期坚持,意味着要反馈频次低的情况下重复做着同一件事,这需要一种愚。
在创业的那几年,我读过很多书,见过很多人,也曾试图找规律,到底什么样的创业者才能成功?聪明的?学历高的?创业经验丰富的?有人格魅力的?能忽悠的?……
终于有天我体会到:太聪明的人,并不适合创业。因为他们能在很短的时间内分析出利弊,甚至计算出成与不成的概率。他们能设计出漂亮的商业模式,能说服一流的投资人,能招到很好的团队。可是,他们不够愚痴,不够执拗。
世界上的聪明人那么多,如果机会是能分析出来的,为什么轮到你?最顶尖的创业者,一定在某种程度,某些方面有一种傻劲儿。他们并非料事如神,占尽先机。他们一定在一段或长或短的时间里,做了所有聪明人都不愿意做的事。他们是所有理性人中的非理性者,把脑子无法算计的东西,甩手交给了心。
这种傻来源于什么呢?
某种热爱。某种感性。某种直觉。
回到主题,投资这个过程,也是一个不断自我觉察的过程;金融市场,也是一个认识自我的绝佳修炼场,场上只有你自己,在那些大跌和大涨的日子里,体会自己的恐惧和狂喜,重新认识你自己。
本文主要讲了投资前的一些心理建设部分,主要包括对财富、投资的理解,对投资时长、收益率的预期,如何通过投资去重新认识自己等。
如果说投资是一场游戏,收益是我们的得分,那么在游戏前,做好心理建设和必要的认知,放下焦虑,才能享受这场游戏的美妙,也能从这场游戏中重新认识自我。
]]>比如说推荐系统中,很多视频/文章并没有展示机会,在训练集中压根没出现过,高热的视频/文章在不同的用户中排序都比较靠前,进而得到多次被推荐的机会;在广告系统中,部分计划的消耗会特别高,而一些计划压根投不出去;这导致了用户或者广告主体验不佳,而这种现象往往也会被归为生态问题。
既然没有干预时,系统天然的特性导致了头部效应(或者说二八效应)比较严重,那强行干预系统的分布能不能改变这个问题?答案是可以的,而且目前绝大部分的方法都是在做这一类事情,常用手段往往有2 种
(1)策略层面,根据系统和业务特性设计规则,比如说对长尾的 item有特定的扶持,强行让这些 item 能触达到更多的用户(2)模型层面,核心思想就是让模型能更好地学习到 long tail item的 representation,因为这个问题的根本原因就是 long tail item的样本过少,进而导致模型学习的不好;而具体的手段比较多,这部分会在后面详细介绍。
这篇文章主要介绍的几篇paper都是模型层面的,因为策略层面的往往需要根据实际业务需求来拍一些规则,模型层面的一些方法更为通用。
这个方法来自 google 的一篇 paper,
paper 名字中提到的 dual transfer learning,分别是 model-level 和item-level 的 transfer learning,简单来说,前者让样本少的模型(few-shotmodel)的参数尽可能往样本多的模型(many-shotmodel)的参数靠拢(这里根据样本量分为 2 个模型来建模),后者则是让 longtail item 的 representation 与 head item 的尽可能接近,这里的representation 其实就是上面提到的 few-shot model 和 many-shot model吐出来的 embedding,因此 paper 提出的总体框架如下如所示
上图中的一些符号含义如下
从上图中可以看到,根据样本量分为了 many-shot model 和 few-shot model两个模型来分别建模,核心是 meta-level knowledge transfer 和 curriculumtransfer,分别对应前面的 model-level 和 item-level, 下面分别介绍
其思想比较简单,就是要学习一个 meta learner
base learner 的 loss 是常规的 softmax loss,
meta learner \(\mathcal{F}\)则是采用了 mse 的 loss,并且作为一个 regularization 项加到 few-shotmodel 原始的 loss 上,则最终 few-shot model 的 loss 如下公式(5)所示
meta learner \(\mathcal{F}\)具体的结构有很多种,这里采用的是简单的 fully connected layer
这部分主要通过 curriculumlearning 来训练模型,curriculum learning的基本思想是在训练时组织好样本进模型的顺序,前面的综述的链接里的话是这么说的
Curriculum learning (CL) is a training strategy that trains a machinelearning model from easier data to harder data, which imitates themeaningful learning order in human curricula. As an easy-to-use plug-in,the CL strategy has demonstrated its power in improving thegeneralization capacity and convergence rate of various models in a widerange of scenarios such as computer vision and natural languageprocessing etc.
回到 paper 里,这部分主要做的则是构造好上面提到的两个 trainingdataset:\(\Omega^{*}\) 和
\(\Omega(k)\)的构造方法如下,这部分样本包含 2 部分 item,一部分是
paper 里称这么做主要有以下 2 个原因,但是笔者觉得核心还是把 long tailitem 的样本单独出来,不至于被 head item dominate
- tail items are fully trained in both the many-shot model andfew-shot model to ensure the high quality of the learned itemrepresentations in both many-shot and few-shot models (2)In thefew-shot model training, the distribution of tail items relatively keepsthe same as the original distribution. It can alleviate the bias amongtail items that brings by the new distribution
因此,总体的 training 流程如下图所示,可以分为两个阶段,阶段一是通过常规的方法训练 many-shotmodel,阶段二则是通过 many-shot model 的 parameter 和 meta learner来训练 few-shot model
而最终模型 serving 时,则是会对两个 model 输出的 score做一个常规的加权
paper 里的实验用了 2 个公开的数据集,MovieLens1M 和Bookcrossing,采用的评估指标是Hit Ratio at top K (HR@K) 和 NDCG at top K(NDCG@K) ,这里的 HR@K 其实就是召回率
实验预期的目标是在总体效果不变差的前提下,提升 long tail item的表现;因此上面的两个评估指标 HR@K 和 NDCG@K 分别在all item、head item和 tail item 上进行了评估
paper 里的实验着重回答了以下四个问题
RQ1: How well does the dual transfer learning framework MIRec performcompared to the state-of-the-art methods? RQ2: How do differentcomponents (meta-learning and curriculum learning) of MIRec performindividually? Could they complement each other? RQ3: How does ourproposed curriculum learning strategy compare with the alternatives?RQ4: Besides downstream task performance, are we actually learningbetter representations for tail items? Could we see the differencesvisually?
第一个问题是跟其他的 sota 方法比较,结论是 paper提出的最好,具体数据这里就不贴了
第二个问题是做了一个消融实验,结论是单独的 meta-learning 或curriculum learning 都是正向的,且加起来效果最好
第三个问题是对比不同的 curriculum learning strategy 对 training 和validation 时的 loss 的值的影响;主要对比了 head2tail 和 tail2head两个策略,前者先用 head item 训练,再用 tail item训练,后者则刚好相反,这部分效果如下图所示,也可以归纳出以下 3点结论
- Compared to the tail item loss in different curriculums (column 3),our proposed curriculum can bring a two-stage decent for both thetraining and validation loss
- When the model is trained based on only head/tail items, thevalidation performance for the other part of items decreases.The different changes of head and tail loss indicate the largevariations between head and tail items
- It is easily to get validation loss increases if the model istrained purely based on head/tail items, as shown in first column of thefirst two rows
第四个问题是对学习出来的 embedding 进行可视化,主要想说明通过 paper的方法学到的方法在可视化上后区分性也比较强,不过只做了两个 case分析,数据有限,这里就不贴出来了
这个方法来自 google 的另一篇 paper
The framework is designed to tackle the label sparsity problem bylearning better latent relationship of item features. Specifically, SSLimproves item representation learning as well as serving as additionalregularization to improve generalization. Furthermore, we propose anovel data augmentation method that utilizes feature correlations withinthe proposed framework.
paper 提出的总体的 framework如下图所示,基本符号的含义都在图片下方的注释里,
而上图中的 \(x_i\)、
因此,通过 \(h, g, \mathcal{H},\mathcal{G}\) 得到的 representation 中,
\[\mathcal{L}_{self}(x_i) = -\log\frac{\exp(s(z_i, z_i^{'})/\tau)}{\sum_{j=1}^{N}\exp(s(z_i,z_j^{'})/\tau)}\]
上面公式中的 \(\tau\)为一个超参(softmax temperature),\(s(z_i,z_j^{'})\) 为两个 embedding 的 cosin 相似性,即
总体的 batch 内的 self supervised loss 为
\[\mathcal{L}_{self}(\lbrace x_i \rbrace;\mathcal{H}, \mathcal{G}) = - \frac{1}{N} \sum_{i=1}^{N} \log\frac{\exp(s(z_i, z_i^{'})/\tau)}{\sum_{j=1}^{N}\exp(s(z_i,z_j^{'})/\tau)}\]
得到 embedding 的两个 emcoder:
而如果两种 data augmentation 方法
\[-\frac{1}{N} \sum_{i=1}^{N} \log\frac{\exp(1/\tau)}{ \exp(1/\tau) + \sum_{j \ne i}\exp(s(z_i,z_j^{'})/\tau)}\]
这里主要讲上面框架提到的两种 data augmentation 方法:
paper 里采用的方法则是 mask, 这里借鉴了 bert 的思想,但是这里没有sequence 的概念,因此这里 mask 掉的是 item feature,实际使用的是一个two-stage 的方法,即 masking + dropout, 两个方法主要操作如下
Masking. Apply a masking pattern on the set of itemfeatures. We use a default embedding in the input layerto represent the features that are masked. Dropout.Forcategorical features with multiple values,we drop out each valuewith a certain probability. It further reduces inputinformation and increase the hardness of SSL task.
至于具体的 mask 方法,paper 里没有采用随机mask,而是基于特征之间的互信息(the SSL contrastive learning task may exploit the shortcut of highly correlated features between the two augmented examples, making the SSL task too easy
具体的方法的方法是每次每次随机选择一个 feature
前面的 self supervised loss(
而主任务的 loss 是计算 query-item 的 loss,paper 这里采用的是 batchsoftmax loss,形式跟self supervised loss其实是一样的,只是计算相似性从item-item 变为了 query-item,具体形式如下
\[\mathcal{L}_{main} = -\frac{1}{N}\sum_{i=1}^{N} \log \frac{\exp(s(q_i,x_i)/\tau)}{\sum_{j=1}^{N}\exp(s(q_i, x_j)/\tau)}\]
则总体的 loss 为
\[\mathcal{L} = \mathcal{L}_{main} +\alpha \mathcal{L}_{self}\]
则最终的模型如下所示,注意这里的 3 个 item twoer 的参数是共享的
至于 serving,由于只是加了一个 auxiliary loss,所以按正常预估即可
实验主要回答了如下 4 个问题
RQ1: Does the proposed SSL Framework improve deep models forrecommendations?
RQ2:SSL is designed to improve primary supervised task throughintroduced SSL task on unlabeled examples. What is the impact of theamount of training data on the improvement from SSL?
RQ3: How do the SSL parameters, i.e., loss multiplier
\(\alpha\) and dropout rate in dataaugmentation, affect model quality? RQ4: How does RFM perform compared to CFM? What is the benefit ofleveraging feature correlations in data augmentation?
RQ1,通过与其他 3 个 baseline 进行了比较,采用了 2个公开数据,评估指标是 MAP@10/50 和 Recall@10/50, 跟前一篇 paper一样,做了总体 item、head item 和 tail item 各自的评估
RQ2 主要回答数据量对 SSL的影响,结论是数据量越多,效果越好,感觉这个结论比较符合直觉,不知道paper 为什么要单独拎出来说
RQ3 主要回答 \(\alpha\)大小对效果的影响,paper 里对比 spread-out regularization loss 和 paper提出的 self supervised loss,结论是取相同的值时均是 self supervised loss效果更好,关于 spread-outregularization loss 可参考这篇 paper,也是一种 constrasiveloss,但是没有 data augmentation
RQ4 主要回答随机 mask 的方法(RFM) 和基于相关性 mask的方法(CFM)哪种效果更好,结论是CFM在四项指标上效果均优于 RFM
此外,paper 还补充了在线 ab 实验,结论也是比较显著的
本文主要介绍了从模型层面缓解长尾问题的两篇 paper,两篇 paper的核心思想都是要更好地学习到长尾 item 的 representation
第一篇提出了一个 dual transfer framework(model-level + item-level),通过 2 个模型分别建模 head item 和 tail item,在 model-level 令 tailitem 的模型参数往 head item 的模型学习,而在 item-level 通过 curriculumlearning 组织样本进模型的顺序,serving阶段需要用两个模型的预估分融合
第二篇 paper 则提出了 self-supervised learning framework, 通过in-batch 的 data augmentation 方法(mask + dropout),增加一个 auxiliaryloss,其目标是同一个 item 经过变换后的 embedding 应该是相似的,不同 item的则相反;离线和在线的实验都验证了有效性。
笔者感觉实际业界中,第一种方法的成本要高于第二种,而第一种方法没有做在线的ab 实验不知道具体在线效果,且第二种方法这种通过 in-batch样本来构造新的样本对的 self-supervised learning,普适性会更好
除了推荐领域的,CV 领域也有一篇关于长尾问题的综述,
本文的主要内容是选自阿里发表的一篇 paper:
paper 里提出的方法主要分为两大模块:VAM(visual-aware ranking model)和 HBM(hybrid bandit model), 总体的模块图如下所示,VAM 即上面提到的基于list-wise 优选做 exploitation 模块,HBM 则是基于 badnit model 做exploration 模块,下面也主要从这两个模块进行介绍。
list-wise 是 learning to rank 里一种建模方式,另外两种分别是point-wise 和 pair-wise,常见的 ctr/cvr 预估都是采用 point-wise的方式;
关于这几种建模方式可参考下面两篇 paper,两篇都是 Microsoft 发表的paper,第一篇讲了 point-wise -> pair-wise 的过程, 第二篇讲了pair-wise 到 list-wise 的过程
VAM 采用的 list-wise loss 即是第二篇 paper 中的提出的loss,其流程如下图所示,更详细的推导可参考上面第二篇 paper
回到 VAM,上图的 query 相当于商品(product),而 list 则是每个 product对应的所有创意(一个 product 往往会有多个候选的创意)
因此,list 中的每个 item 的 prediction
\[p_{m}^{n} =\frac{\exp(s_m^n)}{\sum_{i=1}^{M}\exp(s_i^n)}\]
\[y_{rank}(C_m^n) = \frac{\exp(CTR(C_m^n),T) }{\sum_{i=1}^{M}\exp(\exp(CTR(C_i^n), T)}\]
\(y_{rannk}(C_m^n)\) 中的 adjust the scale of the value so that make the probability of top1 sample close to 1
,则对于第\(n\) 个 product, 其 list-wise loss如下所示
除了常规的 list-wise loss, paper 里还添加了一项 point-wise 的auxiliary regression loss,其含义也比较直观,就是让 VAM 的 prediction尽可能接近其真实的 CTR 值,其表示如下
\[L_{reg}^{n}=\sum_{m} ||CTR(C_m^n) -s_m^n||_{2}\]
根据原文的描述making the outputs close to the real CTRs will significantly stabilize the bandit learning procedure
,其作用是让后续的HBM 训练更加稳定,则第 \(n\) 个 list的总体 loss 如下所示(实验中 \(\gamma\)= 0.5)
\[L^{n} = L_{rank}^{n} + \gammaL_{reg}^{n}\]
这里的 noise mitigation 指的是部分创意的 impression会比较少,统计的后验 CTR 波动性较大(极端的比如只曝光一次),
一个粗暴的方法是对 impression 卡个阈值,小于阈值的 item就不作为训练数据,但这样可能会导致训练的数据量过少,paper 里采用了如下 2种方法
第一种方法是label smoothing, 也是这篇 paper 提出的方法
第二种方法是 weighted sampling,就是给点击数少的样本更小的权重,paper的做法是对点击数取了个 log 变换作为这个样本的 weight。
HBM 本质上是一个
假设线上的数据按照如下方式产生,
\[y = f^T\widetilde{w} +\epsilon\]
paper 里将 \(\epsilon\)先验分布假设为一个正态分布即 \(\epsilon\thicksim N(0, \sigma^2)\), 同样将
\[\sigma^2 \thicksim IG(a, b)\]
\[\widetilde{w}|\sigma^2 \thicksim N(\mu,\epsilon^2 \Sigma^{-1}) \]
参考上面 wiki 的推导过程,总体模型的 training 和 serving过程如下所示
公式 18 可以认为是 training 过程(对于贝叶斯方法,有个特定的名字
而 serving 则是从 training 得到的分布中抽样得到
上面的计算 score 的方法是第 \(n\) 个product 下所有 creative 共用一套参数
\[y_m^n = {f_m^n}^{T}w^n +{f_m^n}^{T}w_m^n\]
paper 这样做的原因是
This simple linear assumption works well for small datasets, butbecomes inferior when dealing with industrial data. For example, brightand vivid colors will be more attractive for women’s top while concisecolors are more proper for 3C digital accessories. In addition to thisproduct-wise characteristic, a cre- ative may contain a unique designedattribute that is not expressed by the shared weights. Hence, it ishelpful to have weights that have both shared and non-sharedcomponents.
所以 paper 根据曝光量算对 score 算了一个权重
\[\lambda =(1+e^{\frac{-impression(I^n)+\theta_2}{\theta_1}})^{-1}\]
则最终的 socre 如下
\[y_m^n = (1-\lambda){f_m^n}^{T}w^n +\lambda{f_m^n}^{T}w_m^n\]
这里的思想是在某个 product 的曝光量充足时,更加相信其 product-wise 的score,反之则更相信 creative-wise 的 socre
但是笔者对这里的做法存疑,笔者认为这个
因为如果每个 creative 都有足够的后验数据来进行训练,那做到creative 粒度的个性化参数效果上应该会是最好的,但是问题是现实是很多creative 的后验数据非常系数甚至是没有后验数据的,这个时候采用product-wise 的 score 相当于是做了一个 clustering,笔者认为这样更加 makesense
因此,HBM 的算法流程如下图所示
paper 里采用了 2 个评估指标:Simulated CTR(sCTR) 和 Cumulativeregret, 前者模拟 online learning 过程,后者则是评估 bandit model,两者计算方法如下,但是好像这两个指标不是非常通用?
采用的评估数据集有 2个,一个是自建的,另一个是公开数据集,效果上自然也是 paper提出的效果最好,但是 paper 没有做在线的 ab实验,逼近离线指标跟线上的效果还是有 diff 的
总的来说,这篇 paper 提出一种 creative selection 的方法,由 VAM + HBM组成,笔者认为有以下几点值得学习
但是也有以下几点笔者是存疑的
严格来说,这三部分其实也并非泾渭分明,比如前两部分可以统一理解为创意生成(从最原始的素材生成最终要投放的创意),后两部分可以统一理解为创意投放过程(从候选中选出来并投放至线上)。
本文主要侧重讲述与创意投放相关的一篇 paper,而且偏向于上面提到第三块内容(没有基于 E&E 的优选过程),paper的标题是
online advertising 的绝大多数方法,如targeting、ranking、bidding等,本质上都是在解决在线分配问题,即让合适的广告分发给合适用户,从而使得收入最大化(同时需要考虑生态、用户体验等),因此也可以从分配的角度去构造出一个如下简单二部图的形式,左边是user,右边则是具体的广告(在这里为创意),连接的边表示这个用户访问了这个广告/创意,边的权重可根据具体的业务目标决定
基于上图的二部图,paper 里将问题建模成如下的最优化问题
符号含义如下
上面的最优化问题中,(1b)到(1d) 中的三个约束,对应的是如下三个约束
(1b) ad fatigue constraint, which aims to help inavoiding customers becoming fatigued by seeing a product too many times.This constraint says that a particular item
\(i\) can be shown at most \(\overline{k_{iu}}\) times to user \(u\). To calibrate ad fatigue, thisparameter can be set using historical data showing when customers stopengaging with ads. (1c) ad retargetingconstraint, which focuses on showing products to customers thathave seen or searched for them before. In this constraint, we say that aparticular item \(i\) has to be shownat least \(\underline{k_{iu}}\) timesto user \(u\). To retarget an ad,this parameter can be set postive for items that the user sawjust before the ad campaign is planned. (1d) userdiversity constraint, which addresses the requirement thatadvertisers want to increase reach and purchasing by showing theirproducts to many different customers. This constraints says that atleast \(l_i\) users have to see aparticular item \(i\). These parametersare specifically set by the advertiser.
这里问题的求解分为了离线和在线两部分,区别是离线时是以上帝视角看这个问题,即能够获取用户的访问次数
假如能够获取
而上面建模出来的问题,可以被转变成网络流中的最小费用最大流问题(
因此,基于最小费用最大流的概念,可以构造出如下的网络流
上面的网络流中有 2 个 user 和 2 个item,理解以下几点就能够理解上图的含义了
users->item-copies
的边上item-copies->items
的连边是为了满足上面的user diversityconstraint,即保证访问第 \(i\)个 item 的不同用户的数量不小于 item->sink
中,流量上限为 此外,在构图中还需要考虑如下几个问题,paper里没有给明确的答案,也算比较 open的问题,需要针对不同的业务场景设计对应的技术方案了
(1)边的权值(即上面说的费用的负值)的物理含义是什么?缺失的边的权值怎么计算?(2)采用 id粒度过小可能导致整个图可能过大,进而导致图的求解比较困难,如果做clustering 要怎么做? (3)新 uid/item-id如何处理?
上面的解法是离线解法,即能够拿到了用户当天的访问次数
paper 指出了
paper 在这个过程中使用了
The competitive ratio of an online algorithm for an optimizationproblem is simply the approximation ratio achieved by the algorithm,that is, the worst-case ratio between the cost of the solution found bythe algorithm and the cost of an optimal solution.
有了 competitive ratio 的概念,paper 针对 deterministic algorithm给出了如下结论(证明的详细过程可以参考 paper 中的 4.1 小节),即deterministic algorithm 的效果很差,哪怕给 reward 加了 bound
Proposition 1. The competitive ratio of any deterministic algorithmfor the online DCO problem is arbitrarily small
Proposition 2. Suppose that the revenue associated to all item anduser pairs are bounded, that is, there exists an
\(r\) such that \(\underline{r} ≤ r_{iu} ≤ 1\) for all items\(i\) and users \(u\). In this case, the competitive ratio ofany deterministic algorithm for the online DCO problem is \(\underline{r}\)
上面给出的结果中,没有任何的假设,因此在这个方法中加入了一个assumption:即用户 \(u\) 每天至少有\(c_u\) 次访问,paper 中引用了 IAB(
Using historical data, advertisers can make accurate estimates aboutthe minimum number of times they expect a user to visit the platformduring the advertising period (Interactive Advertising Bureau 2020).
但是 paper 中给出了这一结论的
在 \(c_u\) 比较容易获得的 assumption下,paper 里给出了第一种在线算方法,总体算法流程如下
其实跟 offline 的区别不大,就是用了
paper 里绕了一大圈才给出了上面的算法流程,给出了各种符号、lemma、proposition,但是跟最终的结论的关系又不是非常大,有点凑字数的感觉;而且比较核心的部分即\(c_u\)是如何获取的则是基本没怎么提。。。
paper 里还给出了这个算法的 competitive ratio 的 lower bound是(证明过程可参考 paper,这里略过)
\[1-\frac{(\overline{r} -\underline{r})n_1}{\underline{r}(n_1+n_2)}\]
各个符号含义如下
paper 里还提到到了另一种贪心的算法,其 assumption 是每个 item/user都有一个reserved revenue, 第 \(i\) 个item 的 reserved revenue 记为 $ _i$, 第
\[r_{iu} = \alpha_i + \beta_u\]
基于这个假设,paper 里给了如下的 online algorithm,并且证明了这里的competitive ratio 能跟最优的一致
但是笔者觉得这里的 assumption 有很大的问题,即假设了每个 item 对所有user 的 revenue 是一样的,这样显然不合理,因为正是每个 user的兴趣不同,才需要进行个性化的推荐,也是当前推荐/广告里各种算法和策略有效的原因,所以这里的算法笔者觉得可以看一下数学的原理,但是在实际应用并不现实
总的来说,这篇 paper将在线广告的分配建模成一个经典的二部图问题,提供了离线和在线的解法,并给出了一些理论证明,笔者觉得可以学习一下其中的思想,但是如果照搬paper 的方法在实际应用的话比较难
第一个 online algorithm 的问题在于
笔者认为利用用户 \(u\)过去一段时间的访问次数来近似(或者通过预估的方式)作为其未来的访问次数\(T_u\)是一种可行的方法,但是这个方法还需要解决如下的问题
(1)如果求解出来某个 item 需要分配给某个 user,paper里说了是直接展示,但是在实际的系统中往往是“召回+精排”的结构,需要如何保证这个item 一定能被 user看到?或者说,实际中的系统往往已经有一套召回和精排的策略,怎么让这套新策略融入现有的系统中
(2)user-item边的权值的物理含义是什么?缺失的边的权值怎么计算?
(3)采用 id粒度过小可能导致整个图可能过大,进而导致图的求解比较困难,可以怎么做,如果做clustering 怎么保证两次聚类的结果差异性不大?
(4)新 uid/item-id 如何处理?
]]>