在上一篇文章强化学习笔记 (1)- 概述中，介绍了通过 MDP 对强化学习的问题进行建模，但是由于强化学习往往不能获取 MDP 中的转移概率，解决 MDP 的 value iteration 和 policy iteration 不能直接应用到解决强化学习的问题上，因此出现了一些近似的算法来解决这个问题，本文要介绍的就是基于 value iteration 而发展出来的 Q-Learning 系列方法，包括 Q-Learning、Sarsa 和 DQN。
本文主要介绍强化学习的一些基本概念：包括 MDP、Bellman 方程等, 并且讲述了如何从 MDP 过渡到 Reinforcement Learning。
This article mainly introduces some basic concepts of reinforcement learning: including MDP, Bellman equations, etc., and describes how to transition from MDP to Reinforcement Learning.
本文简单介绍梯度裁剪 (gradient clipping) 的方法及其作用，最近在训练 RNN 过程中发现这个机制对结果影响非常大。
This article briefly introduces the gradient clipping method and its role. I recently found this mechanism has a huge impact on results when training RNNs.
This article mainly introduces how to implement the LRCN model through Keras. The model comes from the paper Long-term Recurrent Convolutional Networks for Visual Recognition and Description. I recently needed to use this model for an experiment and didn’t find much implementation code online, so I’m recording it here for reference.
本文主要介绍了如何通过 Keras 实现 LRCN 模型，模型出自论文 Long-term Recurrent Convolutional Networks for Visual Recognition and Description，最近需要用这个模型做个实验，在网上搜到的实现代码不多，因此这里记录一下，以供参考。
最近需要频繁切换使用台式机和笔记本，但是我的小桌子上实在没法同时放得下一个键盘和笔记本 （≧0≦）。哪怕凑合挤下，还得不停在两台电脑之间切换键鼠，因此就想着有没有共享键鼠的方案，结果在网上找到了 Synergy，试了几天后发现这真的是一个共享键鼠的神器。
This article mainly introduces the principles and implementation of the WAND (Weak AND) algorithm. WAND is a search algorithm applied in scenarios where a query has multiple keywords or tags, and each document also has multiple keywords or tags (such as search engines). Especially when the query contains many keywords or tags, WAND can quickly select the Top n relevant documents. The original paper of the algorithm can be found at Efficient Query Evaluation using a Two-Level Retrieval Process. This article mainly explains the principles of this algorithm and implements it in Python.
本文主要介绍 Wand (Weak And) 算法的原理和实现, Wand 算法是一个搜索算法，应用在 query 有多个关键词或标签，同时每个 document 也有多个关键词或标签的情形（如搜索引擎）；尤其是在 query 中的关键词或标签较多的时候，通过 Wand 能够快速的选择出 Top n 个相关的 document，算法的原始论文见 Efficient Query Evaluation using a Two-Level Retrieval Process，本文主要讲述这个算法的原理以及通过 python 实现这个算法。