Creación del entorno virtual
La creación de entornos virtuales de Python se puede realizar con diferentes softwares. Para el trabajo con Deep Learning en el HPC UO se recomienda a los usuarios crear los entornos con Anaconda, el cual es un administrador de bibliotecas y dependencias de Python. Los pasos a seguir son los siguientes:
1. Descargar el instalador desde https://repo.anaconda.com/archive
mkdir ~/temp cd ~/temp wget -c https://repo.anaconda.com/archive/Anaconda3-2020.2-Linux-x86_64.sh
Verificar que el fichero descargado no tiene errores con el comando md5sum:
md5sum Anaconda3-2020.2-Linux-x86_64.sh
2. Instalar Anaconda
bash Anaconda3-2020.2-Linux-x86_64.sh
Aceptar la licencia y el camino del home que se indica.
A la pregunta: Do you wish the installer to initialize Anaconda? Responder: No
3. Configurar el shell para usar el comando conda activate desde cualquier directorio.
~/anaconda3/bin/conda init
4. Verificar la instalación
source ~/.bashrc conda info
Al terminar la instalación, los ficheros de Anaconda están en el directorio ~/anaconda3.
Durante la instalación de Anaconda, en el fichero ~/.bashrc se escriben los comandos que permiten usar el comando conda, los caminos de los ejecutables, etc.
5. Crear el entorno virtual
Una vez instalado Anaconda se crea el entorno virtual tf_gpu (se puede nombrar como se desee) con python 3.7 de la forma siguiente:
source ~/.bashrc conda create -n tf_gpu python=3.7 anaconda
Trabajo con el entorno virtual creado
Para trabajar con el entorno hay que activarlo con:
conda activate tf_gpu
Al activarse, se muestra (tf_gpu) en el margen izquierdo del shell, indicando que está dentro del entorno.
Para desactivarlo, dentro del entorno virtual se utiliza el comando:
conda deactivate
Para borrar un entorno virtual creado, por ejemplo el entorno <nombre_entorno_virtual>:
conda remove -n <nombre_entorno_virtual>: --all
Instalación de módulos de Python para trabajar Deep Learning con CUDA 10.2 y Keras/Tensorflow
conda activate tf_gpu conda install tensorflow-gpu=2.2.0 conda install keras=2.4.3
Instalación de módulos de Python para trabajar Deep Learning CUDA 10.2 y PyTorch
Siga los pasos del párrafo anterior pero sustituya:
conda install tensorflow-gpu=2.2.0
Por:
conda install pytorch=<versión>
donde <versión> puede ser 1.5.0, 1.5.1, 1.6.0 o 1.7.0.
Script de envío para el trabajo con entornos virtuales
La creación de entornos virtuales de Python se realiza por parte de los usuarios usando una terminal en el nodo de conexión del HPC UO. Pero al enviar un trabajo con el comando sbatch de Slurm, el trabajo se ejecuta en el nodo014. Para indicar que se va a trabajar con el entorno virtual, los usuarios tienen que incluir dentro del script de Slurm lo siguiente:
source ~/.basrc conda activate <nombre_entorno_virtual>
y luego escribir el comando a ejecutar.