Información y ayuda

Esta página es de solo lectura. Puedes ver la fuente pero no puedes cambiarla. Pregunta a tu administrador si crees que esto es incorrecto.
====== TRABAJO CON PYTHON USANDO ENTORNOS VIRTUALES ======

**Creación del entorno virtual**

La creación de entornos virtuales de Python se puede realizar con diferentes softwares. Para el trabajo con //Deep Learning// en el HPC UO se recomienda a los usuarios crear los entornos con Anaconda, el cual es un administrador de bibliotecas y dependencias de Python. Los pasos a seguir son los siguientes:

1. Descargar el instalador desde https://repo.anaconda.com/archive

<code>
mkdir ~/temp
cd ~/temp
wget -c https://repo.anaconda.com/archive/Anaconda3-2020.2-Linux-x86_64.sh
</code>

Verificar que el fichero descargado no tiene errores con el comando //md5sum//:

<code>
md5sum Anaconda3-2020.2-Linux-x86_64.sh
</code>

2. Instalar Anaconda

<code>
bash Anaconda3-2020.2-Linux-x86_64.sh
</code>

Aceptar la licencia y el camino del //home// que se indica.

A la pregunta: //Do you wish the installer to initialize Anaconda?// Responder: No

3. Configurar el shell para usar el comando //conda activate// desde cualquier directorio.
<code>
~/anaconda3/bin/conda init
</code>

4. Verificar la instalación

<code>
source ~/.bashrc
conda info
</code>

Al terminar la instalación, los ficheros de Anaconda están en el directorio ~/anaconda3. 

Durante la instalación de Anaconda, en el fichero ~/.bashrc se escriben los comandos que permiten usar el comando //conda//, los caminos de los ejecutables, etc.

5. Crear el entorno virtual

Una vez instalado Anaconda se crea el entorno virtual //tf_gpu// (se puede nombrar como se desee) con python 3.7 de la forma siguiente:

<code>
source ~/.bashrc
conda create -n tf_gpu python=3.7 anaconda
</code>

**Trabajo con el entorno virtual creado**

Para trabajar con el entorno hay que activarlo con:

<code>
conda activate tf_gpu
</code>

Al activarse, se muestra (tf_gpu) en el margen izquierdo del shell, indicando que está dentro del entorno.

Para desactivarlo, dentro del entorno virtual se utiliza el comando:

<code>
conda deactivate
</code>

Para borrar un entorno virtual creado, por ejemplo el entorno <nombre_entorno_virtual>:

<code>
conda remove -n <nombre_entorno_virtual>: --all
</code>

**Instalación de módulos de Python para trabajar Deep Learning con CUDA 10.2 y Keras/Tensorflow**

<code>
conda activate tf_gpu
conda install tensorflow-gpu=2.2.0
conda install keras=2.4.3
</code>

**Instalación de módulos de Python para trabajar Deep Learning CUDA 10.2 y PyTorch**

Siga los pasos del párrafo anterior pero sustituya:

<code>
conda install tensorflow-gpu=2.2.0
</code>

Por:

<code>
conda install pytorch=<versión>
</code>

donde <versión> puede ser 1.5.0, 1.5.1, 1.6.0 o 1.7.0.

**Script de envío para el trabajo con entornos virtuales**

La creación de entornos virtuales de Python se realiza por parte de los usuarios usando una terminal en el nodo de conexión del HPC UO. Pero al enviar un trabajo con el comando //sbatch// de Slurm, el trabajo se ejecuta en el //nodo014//. Para indicar que se va a trabajar con el entorno virtual, los usuarios tienen que incluir dentro del script de Slurm lo siguiente:

<code>
source ~/.basrc
conda activate <nombre_entorno_virtual>
</code>

y luego escribir el comando a ejecutar.