吴良超的学习笔记

本文为操作系统的课程小结，主要讲述 Linux 内核的一些知识，参考的主要教材为《Linux 内核设计与实现 (第 3 版)》，除此之外还参考了网络上的若干资料，因为 Linux 本来就是可以写若干本书的内容，所以这里只会涉及到博主上课时接触到的一些知识点，由于博主知识有限，个中定存在错漏地方，望不吝指出。

Reducing the Dimensionality of Data with Neural Networks是对深度学习有重要影响的一篇论文，可以说是拉开了深度学习的帷幕，该论文出自 Hinton 大神之手。本文是读了论文后结合其他一些参考资料整理成的读书笔记。

前面几部分主要总结了概率论中的一些知识，后面主要讲述与数理统计相关的知识。

概率论与数理统计的主要区别为，在概率论中所研究的随机变量，其分布都是假设已知的，在这一前提下去研究它的性质（数字特征，分布函数等）；而在数理统计中研究的随机变量其分布是未知的，通过对所研究的随机变量进行重复独立的试验和观察，得到许多观察值，再对观察值进行分析，从而对所研究的随机变量的分布做出各种推断。

正则表达式和通配符均是用来匹配字符串的，但是两者使用的范围不一样，通配符一般用在 Linux 命令行 shell 中，而正则表达式使用则更加广泛，在各种编程语言和工具中均有支持。下面主要讲述如何实现正则表达式和通配符的简单匹配。

大数定律和中心极限定理都是与极限有关的定理，其中大数定律主要描述了当样本的数量足够多时，其均值 (频率) 可以用来逼近总体的期望（概率）；而中心极限定理则描述了在某些条件下，大量独立同分布的随机变量的和的分布逼近于正态分布。

随机变量的统计特征主要包括期望，方差，协方差以及相关系数。

要通过计算机进行自然语言处理，首先就需要将这些文本数字化。目前用得最广泛的方法是词向量，根据训练使用算法的不同，目前主要有 Word2Vec 和 GloVe 两大方法，本文主要讲述通过这两个方法分别训练中文维基百科语料库的词向量。

前面讲到的随机变量都是一维的，但是某些试验中随机变量可能有多个，这里主要讨论二维的随机变量。

本文主要讲述三种离散型随机变量的分布 (伯努利分布，二项分布，泊松分布) 和三种连续型随机变量的分布 (均匀分布，指数分布，正态分布)。

本文主要讲述如何解决这一类问题：给定一个含有数字或英文字母的字符串，从中删除 k 个字符，使得剩下的字符取得最小值或最大值。数字的大小的比较容易理解，而字母的大小则是按照其 ASCII 码来排列，如 'abc'>'abd'。