长短期记忆网络（Long Short-Term Memory，也称 LSTM）是一种时间递归神经网络。LSTM 适合基于时间序列数据进行分类，处理和预测。因为在时间序列中的重要事件之间，可能存在未知持续时间的滞后。LSTM 的提出是为了缓解 RNN 的梯度爆炸和梯度消失的问题。
RNN 的原理与推导
循环神经网络（RNN，下文简称 RNN）是一种专门处理序列的神经网络。RNN 的特点是利用时序的信息，它被称为循环的（recurrent）原因就是它会对一个序列的每一个元素执行同样的操作，并且之后的输出依赖于之前的计算。我们可以认为 RNN 有一些“记忆”能力，它能捕获之前计算过的一些信息。理论上RNN能够利用任意长序列的信息，但是实际中它能记忆的长度是有限的。
Word2Vec 的原理与实现
由于 Word2Vec 易于理解和使用，而被认为是自然语言处理发展中最大的突破之一。Word2Vec 是是一种词嵌入技术，用于单词转化为词向量。它的核心思想是预测中心词与上下文的关系，其中有两种实现方式，分别是 Skip-gram 和 CBOW。前者通过中心词预测上下文，后者通过上下文预测中心词。无论使用哪种方法实现，Word2Vec 都是属于无监督学习。
SVM 原理与推导
有人说学习某个知识不能只看一本书，要多看同一知识的不同书籍，这样可以在学习中作对比。最近我在学习支持向量机（support vector machines, SVM），不仅看了李航的《统计学习方法》和周志华的《机器学习》的书，而且在网上看了不少关于 SVM 原理与公式推导的博客。所以趁现在还记得，赶紧把它写下来。本文主要记录 SVM 的原理、公式推导和 Python 使用 SVM 的例子。
逻辑回归原理与推导
1. 逻辑回归定义
逻辑回归虽然是分类模型，但是如同它名字一样与回归有点关联的。众所周知，线性回归的方程式为 \(y = \theta^T x\)，我们给它添加一个归一化函数 \(sigmoid\)，进而得到的 \(y\) 在 \((0,1)\) 范围内，并且设定阈值 \(q\)， 令大于 \(q\) 的分类为 1 类，小于 \(q\) 的分类为 0 类。这就是逻辑回归模型，表达式为：