By

本文主要是记录《深度学习》介绍的相关知识点，以便后续复习使用。

0. 引言

Deep Learning -> Representation Learning -> Machine Learning -> AI

1. 应用数学与机器学习基础

1.1 线性代数

(1) 标量、向量、矩阵、张量（tensor）

(2) 矩阵和向量相乘

  • 矩阵相乘

  • 元素对应乘积

  • 点积

(3) 单位矩阵和逆矩阵

单位矩阵： 任意向量和单位矩阵相乘，都不会改变。单位矩阵的结构很简单，所有沿主对角线的元素都是1，而其他所有
          位置的元素都是0。

矩阵逆：一个矩阵的逆矩阵与该矩阵相乘，都会得到单位矩阵。即 (A)逆 x A = I

(4) 线性相关和生成子空间

一组向量的生成子空间(span)是原始向量线性组合后所能抵达的点的集合。

确定Ax=b是否有解相当于确定b是否在A列向量的生成子空间中。这个特殊的生成子空间被称为A的列空间(column space)或者A的值域(range)。

(5) 范数

(6) 特殊类型的矩阵和向量

  • 对角矩阵

  • 单位向量

  • 正交矩阵

(7) 特征分解

(8) 主成分分析

2. 深度网络：现代实现

3. 深度学习研究



[参考书目]:

1.《深度学习：一起玩转TensorLayer》

  1. 基于tensorflow的人脸识别技术(facenet)的测试