taoCMS是基于php+sqlite/mysql的国内最小(100Kb左右)的功能完善的CMS管理系统

阿里云GPU服务器上Torch安装与测试

2018-01-13

一、介绍

  • 阿里云的GPU也有了竞价服务,每小时大概1块多,还是可以接受的
  • 主要想跑github上的一个论文代码,使用的GPU,(奈何实验室没有GPU), 本来我已经改成CPU版本的了,但是他训练好的模型是基于GPU的,所以还需要重新训练,结果非常的慢…
  • 包含以下内容: 
    • 购买竞价GPU
    • 通过SSH连接云服务器
    • 安装Torch、hdf5、cjson、loadcaffe
    • 安装cuda、cudnn、cunn

二、购买GPU服务器

  • 进入阿里云GPU介绍页,点击访问,界面如下,我选择的是GN5(P100)

GPU介绍页
- 选择竞价实例

选择竞价实例
- 选择GPU

选择GPU
- 选择Ubuntu版本和带宽 
- 这里按使用流量,所以带宽设置大点没有影响

选择系统和带宽

  • 在控制台可以看到服务器信息,下面需要使用公网IP连接

控制台

三、连接GPU服务器以及软件的安装

1、使用SecureCRT连接服务器

连接服务器

2、安装前准备工作

  • apt clean
  • apt update
  • 安装git命令行:apt install git
  • 生成ssh-key : ssh-keygen -t rsa -C "youremail@example.com" 
    • /root/.ssh/id_rsa.pub中内容加入到github

3、安装Torch

torch

4、 安装hdf5

  • 地址: https://github.com/deepmind/torch-hdf5/blob/master/doc/usage.md
  • apt-get install libhdf5-serial-dev hdf5-tools
  • git clone https://github.com/deepmind/torch-hdf5
  • cd torch-hdf5
  • luarocks make hdf5-0-0.rockspec LIBHDF5_LIBDIR="/usr/lib/x86_64-linux-gnu/" 
    • 注意这里 luarocks 是 Torch 里的,在 /root/torch/install/bin 目录下

5、 安装 cjson 和 loadcaffe

  • luarocks install lua-cjson
  • apt-get install libprotobuf-dev protobuf-compiler
  • luarocks install loadcaffe

6、安装Cuda

cuda
sudo dpkg -i cuda-repo-ubuntu1604-9-1-local_9.1.85-1_amd64.deb 
sudo apt-key add /var/cuda-repo-<version>/7fa2af80.pub 
sudo apt-get update 
sudo apt-get install cuda 
- 安装完成后会在/usr/local/目录下出现cuda-9.1的目录 
- 加入到环境变量 
echo "export PATH=/usr/local/cuda-9.1/bin/:$PATH; export LD_LIBRARY_PATH=/usr/local/cuda-9.1/lib64/:$LD_LIBRARY_PATH; " >>~/.bashrc && source ~/.bashrc
- 此时cuda已经安装成功,可以通过nvcc -V测试是否安装成功 
nvidia-smi命令查看GPU使用情况

cuda安装测试 
- 有时可能需要重启一下

7、安装cudnn

  • 网址1:点击查看
  • 网址2:下载cudnn 
    • 需要先注册登录才能下载
  • 注意这里下载的版本,我这里使用的是5.1版本(尝试了最新的7.x版本,有问题)

cudnn版本
- 直接luarocks install cudnn是可以成功安装的,但是有问题 
- 下载的是压缩包,里面有两个文件夹

cudnn压缩包 
- 将include下的cudnn.h文件拷贝到/usr/local/cuda-9.1/include/文件夹下 
- 将lib64下的libcudnn.so.5.1.10文件拷贝到/usr/local/cuda-9.1/lib64/文件夹下 
- 并且创建软连接: ln -s libcudnn.so.5.1.10 libcudnn.so.5 
- 添加环境变量:export CUDNN_PATH="/usr/local/cuda-9.1/lib64/libcudnn.so.5"

cudnn5.x

四、测试

  • 下面是我跑的一个程序

GPU使用情况

五、其他一些说明

1、rz/sz文件传输

  • wget https://raw.githubusercontent.com/lawlite19/LinuxSoftware/master/rz-sz/lrzsz-0.12.20.tar.gz
  • tar zxvf lrzsz-0.12.20.tar.gz
  • cd lrzsz-0.12.20
  • ./configure && make && make install
  • cd /usr/local/bin
  • ln -s lrz rz
  • ln -s lsz sz

2、使用xftp等工具传输文件

  • 服务器上需要安装ftp服务

3、wget 下载百度云盘文件

  • wget -c ----referer=百度云盘分享地址 -O 要保存的文件名 "百度云文件真实地址"
  • 文件的真实地址获取 
    • 浏览器按F12, 点击下载找到download?的信息
    • dlink为真实地址,注意去除转义字符

获取百度云真实地址
- 比如: wget -c --referer=https://pan.baidu.com/s/1kV7Xo7H -O lstm1_rnn512_bestACC.zip "https://d.pcs.baidu.com/file/4e4cd12ad77d7ac60d2cfcb8e009bf1c?fid=3174489928-250528-212189063946307&time=1514127189&rt=pr&sign=FDTAERVCY-DCb740ccc5511e5e8fedcff06b081203-LWe3VIBsW3foAEVnTUqSROJQ46s%3D&expires=8h&chkv=1&chkbd=1&chkpc=et&dp-logid=8301954057401711855&dp-callid=0&r=884079691"

Reference

类别:未分组 | 阅读:34439 | 评论:0 | 标签:

想收藏或者和大家分享这篇好文章→

公告

taoCMS发布taoCMS2.5Beta5(最后更新14年05月25日),请大家速速升级,欢迎大家试用和提出您宝贵的意见建议。

捐助与联系

☟请使用新浪微博联系我☟

☟在github上follow我☟

标签云

友情链接