机器学习与网络安全(二)开发环境创建
星期一, 八月 26, 2019
本次分享内容:开发环境的搭建、谷歌Tensorflow的部署、IDE的使用方法。
由于我们的课程是使用了深度学习技术,主要的开发过程会集中在数据处理这个环节上。这种开发任务需要我们多次频繁地执行某些小的语句块,例如训练过程需要不断地调参,对数据初始化并且进行重复地训练。
Tensorflow的安装
为了避免安装部署过程中可能产生的问题,我们选择安装anaconda作为我们的开发库,使用anaconda中已经为我们安装好的anaconda作为开发环境,稍后会单独讲解anaconda。首先我们来下载一下anaconda,进入anaconda主页后,有三种系统的安装方式,包括Linux系统、macbook系统,我们本节课是使用windows作为主要的开发环境,所以我们就选择windows的形式。 它提供python3.6以及python2.7的两个版本的安装,这里版本倒不是很重要,大家可以任意选择,建议选择3.6版本。如果你是使用3.6版本,就可以在你的物理机上直接运行tensorflow,否则的话你是需要搭建建立一个虚拟的开发环境。
anaconda是一个开源的python发行版本,它包含了大量的科学包,例如数学处理包numpy,可以处理一些矩阵的计算向量的计算以及数据的一些运算、方程式微分等。
然后还有这一个,scipy是科学计算包,它里面包含了一些复杂的科学组建。这个包我们不会直接使用,但是它往往会作为其他底层的包会被调用,windows的用户在装scipy包的时候,通常使用我们python的命令来安装不成功。那是因为我们的windows7以及以后的版本没有提供相应的编译环境。下面这个站点,有一些基本的包会给我们下载。
如果自己装要跟你的python的版本相一致。
安装建议:路径选择——C盘ALL User
现在很多科学家比较喜欢用一个软件叫matplotlib,我们在这里几乎只用到它的一个小的子库叫plot。这个库主要是用来画图,很多时候我们是需要把我们的训练的结果其中包括你的误差还有准确率以及召回率这些指标来画一个图。
首先建立一个虚拟环境conda create,
推荐这些站点:
conda env create -n
conda env remove -n
conda env list
pip install numpy -i http://pypi.douban.com/somple
也可以到清华大学开源软件镜像站下载:https://mirrors.tuna.tsinghua.edu.cn,
比如说你想找Tensorflow,它是谷歌的深度学习的一个框架。我们现在市面上还有哪一些跟特色flow相似的一些深度学习的开源框架有很多,而且会有各自会有不同的优劣势,目前来说,tensorflow是在上手来说是最容易上手的一个。
我们把刚才的命令来执行一下,
先不要进入我们的虚拟开发环境中,
大家看到了这里拒绝访问,就是说权限不够,所以这也是要推荐大家做的一个事情,就是说当你执行cmd命令,在shell的时候,一定要用管理员。我们现在试一下,如果没有报错,就是安装成功,我们在调用的时候经常会打tensorflow或者跟个点来调用它的函数调用它的功能,那说明它已经安装成功了,tensorflow的安装就讲解到这里了。
ID环境
给大家展示一下jupyter notebook环境的安装,首先我们建一个开发目录,在C盘的class文件夹下面,建立开发文档jupyter notebook,它其实是一个可交互的一个开发环境,它的本质是一个外部应用程序。(大家可能也看到了,我刚刚的报错里面它用到了html5,说明它是用H5来写东西,它便于创建和共享一些程序文档,可以支持实施代码数学方程以及可视化和它最主要的是支持一个markdown的一个比较流行的一个形式,一个文字的表达形式,markdown可以直接另存为html形式,比如说你如果有那些博客,或者你自己有站点之类的,写好的程序以及做好的东西就比较容易展现出来。
通常我们的现在的台式的计算机以及笔记本的电脑都是会有两块显卡的(也就是我们所说的双显卡),你计算一定是使用独立卡,还空余了一块板载显卡,就是主板带的显卡。你接显示器的时候最好把它接在板载显卡上。有的BIOS检查到你的独立显卡,一旦装在你的机箱里面加了电,它就会把板载显卡屏蔽掉,大家在网上搜一下BIOS相应的设置,然后把它屏蔽掉,把连接显示器的线接在板载显卡上,这是为了给独立显卡提供更多的空间。
如果你是在Linux下安装Tensorflow,你需要在训练的时候退出图形化用命令执行,这样就把你的计算性能完全空缺出来了。
好,我们来看一下它这里有一个报错。
就进入了一个编辑的环境,首先改一下我的文件的名字,这是我的第一个net博客文件是本本课程,第一个它不可文件,我就把它改名为test。
这里要说一下基本的一些操作过程,本课程会随课程有一个练习让大家使用,所以说大家如果能够打开这个练习,打开练习的时候,那个练习应该会出现在出现的这个地方。
首先我给大家我跟大家讲解一下jupyter notebook的运行方式,首先在这里导入Tensorflow的库,那么我可以写一下文字,我选用mark down的编辑方式,
写一些标题,比方说打个井号,井号就是用来区分你的主标题副标题,然后是副副标题之类的。首先主标题可以这里是写一下hello DeepLearning以及副标题:
在方框里面看一下shift加回车,可以看到它的展示的效果:
如果你单击它,你会发现这一个蓝色的框,蓝色的这个边,就表示你现在是在他的是一个选中的模式,这个模式你是没有办法编辑他的。想编辑它双击就可以。双击进去以后,这里就变成了绿色,这个绿色的框表示你在编辑模式。
蓝色的框可以执行一些命令,
小练习:
1、jupyter notebook的基本的操作
2、关于热键的练习
练习提示:
1、操作代码单元格就是执行一下shift加回车,代码补全
2、快捷键
这种绿色格子的你点进去以后,绿色格子这种叫边际模式,按root(我是按esc),可以恢回到命令模式,在命令模式中你就可以使用一些热键。 比方说这里新建单元格,刚才可以用AB来新建单元格,比方说这里你按一个A就是在它上面加一个单元格,你如果在B就是在下面会加一个单元格,
如果我真的想熟悉一下热键怎么样办呢?就按H会弹出这样一个框这样一个提示。大家可以看一下,它基本上所有你常用的热键都会记录在这里:
答案下一节会分享给大家。
以上内容来自:安全牛课堂《机器学习与网络安全》
课程地址:https://www.aqniukt.com/course/4868