TensorFlow
一、Tensorflow简介
TensorFlow是一个由谷歌开发的开源机器学习和深度学习框架,广泛用于构建和训练神经网络。它基于数据流图(DataFlow Graph)进行计算,支持CPU和GPU加速计算,并且提供了灵活的API以适应研究和生产环境。
二、软件安装
平台已预安装有anaconda和TensorFlow供有需要的用户使用,如用户对版本有特殊要求,可自行安装在个人家目录下。平台的 tensorflow2.9.3 环境中已配置了 keras2.9.0,调用方法与 tensorflow 相同。
### 加载软件环境
module load anaconda/3-2023.03
source activate tensorflow2.9.3
### 验证安装
#运行python
(tensorflow2.9.3) [username@loginnode jobs]$ python
Python 3.10.6 (main, Oct 24 2022, 16:07:47) [GCC 11.2.0] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import tensorflow as tf
>>> print(tf.__version__)
2.9.3
>>>
三、提交作业
pytorch gpu版本使用方法
step1、创建slurm脚本tensorflow_gpu.sh
#!/bin/bash
#SBATCH --partition=GPU80G
#SBATCH --qos=gpu_qos
#SBATCH -J job-tensorflow_test
#SBATCH --nodes=1
#SBATCH -c 14
#SBATCH --output=job.%j.out
#SBATCH --error=job.%j.err
#SBATCH --gres=gpu:1
module load anaconda/3-2023.03
module load cuda/11.8
source activate tensorflow2.9.3
python /share/envtest/tensorflow_test.py
step2、提交作业
sbatch tensorflow_gpu.sh
Step3、查看作业结果
查看输出文件job.%j.out,内容为:
===== TensorFlow GPU 测试 =====
TensorFlow 检测到的 GPU 数量: 1
GPU 设备: /physical_device:GPU:0
GPU 计算能力: GPU
矩阵乘法结果:
[[1. 3.]
[3. 7.]]
显存使用量: 0.00 MB
===== Keras GPU 测试 =====
Keras 版本 (通过 TensorFlow 导入): 2.9.0
Keras 检测到的 GPU 数量: 1
Keras 模型训练完成(使用 GPU)!
TensorFlow cpu版本使用方法
step1、创建slurm脚本tensorflow_cpu.sh
#!/bin/bash
#SBATCH --partition=C056M0256G
#SBATCH --qos=cpu_qos
#SBATCH -J job-tensorflow_test
#SBATCH --nodes=1
#SBATCH -c 56
#SBATCH --output=job.%j.out
#SBATCH --error=job.%j.err
module load anaconda/3-2023.03
source activate tensorflow2.9.3
python -c "import tensorflow as tf; print(tf.__version__)"
step2、提交作业
sbatch tensorflow_cpu.sh
Step3、查看作业结果
查看输出文件job.%j.out,内容为版本信息2.9.3