Batch Normalization
概率图模型(PGM)
概率图模型(Probabilistic Graphical Model)
概率图模型是一种利用 图论 知识来表示某一概率分布的模型。例如这里有一个概率分布
如果事先不知道分布中的各个变量之间的相互依赖关系,那么想要求出这个分布的表达式就很困难了。不过还好,之前了解过关于朴素贝叶斯的相关知识,朴素贝叶斯模型假设各个变量独立,这可以将这个分布解掉:
我们只要根据样本来求出各个 $\hat P(x_i)$ 再连乘就好了。
但各个变量之间相互独立这个假设实在是太强了,这可能让我们求得的分布和真实的分布差很多。如果我们想求一幅图片的分布什么的,朴素贝叶斯肯定是行不通的。而概率图模型是利用图论知识来建立概率分布各个变量间的联系,以此来逼近一个复杂的概率分布。关于图嘛,有有向图有无向图。而有向图和无向图的概率图模型分别对应着 贝叶斯网络(Bayesian Network) 与 马尔可夫网络(Markov Network)。
当然了,概率图网络只是用来描述一个概率分布变量之间的联系,如果将一个概率分布用概率图模型来表示,那么这个模型就有着 条件独立性 的新性质。条件独立性在不同的网络中有着不同的形态,具体就要等接下来的几篇文章来介绍啦。
在介绍概率图模型之前,先来复习几个关于高维概率分布的知识。
当我们已知一个分布 $P(x_1, x_2,\cdots, x_p)$ 时,我们可以求得它的边缘概率 $P(x_i)$ 与条件概率 $P(x_j|x_i)$:
而关于概率分布,我们可以利用链式法则来对其进行分解:
接下来关于贝叶斯网络和马尔可夫网络的知识在接下来几篇奥!
在win10下安装Pytorch-GPU
安装 Anaconda
去 Anaconda 官网 下载最新版本的 Anaconda。
安装的时候记得:Install for 项选 All Users。
把这个添加环境变量的勾也打上。
安装 CUDA
首先要确定自己的设备上有一张 Nvidia 的显卡,并且去 这个网站 的 CUDA-Enabled GeForce and TITAN Products 选项卡下面看看自己的显卡是否支持 CUDA。
接下来去 Pytorch 官网 看一下现在支持到什么版本的 CUDA:
比如现在 Pytorch 最高支持到 CUDA 11.0,那么就可以去 这里 下载相应的包。
下载完了之后安装,一路下一步,直到安装完成。
打开控制面板搜索 环境变量,点击 编辑系统环境变量。
然后点击环境变量,在 系统变量(S) 标签下,左侧 变量 栏找到 Path 字段并双击,添加环境变量:
如果没有带有 CUDA 字样的,就依次添加一下(我安装的是 10.2 版本的):
1 | C:\Program Files\NVIDIA GPU Computing Toolkit\CUDA\v10.2 |
当然你要确定自己的 CUDA 安装位置,顺便可以看一下 Anaconda 的环境变量配置的咋样。
配置完成后可以用控制台测试一下:
1 | nvcc -V |
安装 cuDNN
在 这里 下载。在下载之前需要有一个Nvidia 的账号。登录之后根据 CUDA 的版本下载相应的 cuDNN:
下载之后解压到 CUDA 的目录之下,覆盖即可:
安装 Pytorch
安装 Pytorch 的过程非常痛苦。
首先专门为 Pytorch 创建一个环境。
打开 Anaconda 控制台,输入
1 | conda env list |
查看当前都有哪些环境。
1 | # conda environments: |
我的显示是这样的。星号表示你当前所在的环境。
使用下面的代码创建环境
1 | conda create -n [环境名] python=[3.x] |
比如,我想创建一个名字叫 pytorch 的环境,python版本就用 3.8 的:
1 | conda create -n pytorch python=3.8 |
创建好了之后就可以激活环境啦!
1 | activate [环境名] |
激活之后 conda 控制台前面括号里就会变成当前环境的名字。
现在开始在 pytorch 环境下安装 Pytorch 啦!
还是在 conda 控制台,先添加一下清华源:
1 | conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ |
然后去 Pytorch 官网 看一下安装代码,直接安装。
但是 pytorch 和 torchvision 这两个文件下载还是很慢,可以在下载这两个文件时按下 Control + C
停止这两个文件的安装,我们用手动安装的方法。
先去 Anaconda3\pkgs
目录下删除 带有 pytorch… 的文件夹和文件,然后看看你之前停止的 pytorch 和 torchvision 的版本号,在 清华镜像 下载相应的两个文件。
然后用 conda 在相应的环境下,用下面的指令安装:
1 | conda install --use-local [文件路径.tar.bz2] |
比如
1 | conda install --use-local C:\Users\Frozen\Desktop\torchvision-0.7.0-py38_cu102.tar.bz2 |
然后就大功告成!
测试一下!
1 | import torch |
关于 Jupyter Lab
插件失效
有可能插件不好使还没反应。可能是因为删除插件又重新安装出现的问题。输入
1 | jupyter labextension list |
会发现插件不仅在安装栏里,还在卸载栏里。
解决方法就是删掉下面这个文件再重启:
1 | [conda_root]/envs/[env_name]/share/jupyter/lab/settings/build_config.json |
让 Jupyter 运行于指定虚拟环境
安装这个:
1 | conda install nb_conda_kernels |
然后就可以选了。
更改默认路径
在控制台输入:
1 | jupyter-lab --genereate-config |
生成 Jupyter 配置文件。可以看到文件的位置,比如像我这样:
1 | Writing default config to: C:\Users\Frozen\.jupyter\jupyter_notebook_config.py |
找到它,并且查找:
1 | # c.NotebookApp.notebook_dir = '' |
删除前面的 # + 空格
,在引号内输入路径,比如:
1 | c.NotebookApp.notebook_dir = 'D:\Project' |