强化学习平台安装 Mujoco、mujoco-py、gym、baseline
日萌社
人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新）
Mujoco 安装
1.MuJoCo是一个物理模拟器，可以用于机器人控制优化等研究。
官网下载MuJoCo 2.0 对应平台的安装包：https://www.roboti.us/index.html 中的 mujoco200 linux安装包
mkdir ~/.mujoco
cp mujoco200_linux.zip ~/.mujoco
cd ~/.mujoco
unzip mujoco200_linux.zip
注意：
必须把 ~/.mujoco/mujoco200_linux 修改为 ~/.mujoco/mujoco200，
不论解压出来的文件名是什么都必须改为mujoco200，因为import mujoco_py的时候，
会报错 You appear to be missing MuJoCo.
We expected to find the file here: /home/用户名/.mujoco/mujoco200
正是因为默认只从~/.mujoco/mujoco200这个路径找。
2.注册通过邮件获取注册码License文件：https://www.roboti.us/license.html
注意：MuJoCo 为收费的，30 days免费，下载免费30天的license，可以申请获取学生免费license，
可以试用1年仅限教育邮箱，所以如果你有教育邮箱的话，就可以申请1年的试用期。
1.Computer id填写框旁边点击下载对应平台的获取Computer id的程序
此处下载的是linux平台的getid_linux可执行文件
chmod 777 getid_linux
./getid_linux
2.提交注册信息后，收到邮件，下载附件：LICENSE.txt、mjkey.txt
3.拷贝许可证：
cp mjkey.txt ~/.mujoco
cp mjkey.txt ~/.mujoco/mujoco200/bin
4.添加环境变量
vim ~/.bashrc
export LD_LIBRARY_PATH=~/.mujoco/mujoco200/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
使配置马上生效 source ~/.bashrc
5.测试是否安装成功：进入bin目录下 即可运行simulate 打开软件界面
cd ~/.mujoco/mujoco200/bin
./simulate ../model/humanoid.xml
mujoco200_linux 安装后运行 simulate 的图像
mujoco-py 安装
1.更新、安装依赖项（可选择是否更新、安装）
sudo apt-get update
sudo apt-get upgrade
sudo DEBIAN_FRONTEND=noninteractive apt-get install -y curl git libgl1-mesa-dev libgl1-mesa-glx libglew-dev libosmesa6-dev python3-pip python3-numpy python3-scipy net-tools unzip vim wget xpra xserver-xorg-dev
sudo apt-get install -y python-numpy python-dev cmake zlib1g-dev libjpeg-dev xvfb libav-tools xorg-dev python-opengl libboost-all-dev libsdl2-dev swig
2.安装 mujoco-py
1.下载mujoco-py源码包然后解压
直接mujoco-py源码包：https://github.com/openai/mujoco-py
或者 用git下载mujoco-py源码包：git clone https://github.com/openai/mujoco-py.git
sudo apt install git #安装 git
2.安装依赖
cd ~/mujoco-py 或者为 cd ~/mujoco-py-master
pip3 install -r requirements.txt
pip3 install -r requirements.dev.txt
3.安装方式一：
pip3 install -U 'mujoco-py=2.0'
报错：Could not build wheels for mujoco-py which use PEP 517 and cannot be installed directly
解决：pip install --no-use-pep517 'mujoco-py=2.0'
报错：No such file or directory: 'patchelf': 'patchelf'
解决：sudo apt-get update -y
sudo apt-get install -y patchelf
4.安装方式二：
cd ~/mujoco-py/vendor 或者为 cd ~/mujoco-py-master/vendor
./Xdummy-entrypoint
cd ..
注意：
使用python、pip命令安装时，应注意你的python、pip命令对应的是python的什么版本，
否则可能会默认使用python2，同时也要注意mujoco-py安装到是哪个版本的python环境，
后面运行mujoco-py的库代码就必须该python版本的环境。
sudo python3 setup.py install
报错：ImportError: No module named setuptools
解决：sudo apt-get install python-setuptools
5.测试是否安装成功例子1：
import mujoco_py
import os
mj_path, _ = mujoco_py.utils.discover_mujoco()
xml_path = os.path.join(mj_path, 'model', 'humanoid.xml')
model = mujoco_py.load_model_from_path(xml_path)
sim = mujoco_py.MjSim(model)
print(sim.data.qpos)
#[0. 0. 1.4 1. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. 0.
# 0. 0. 0. 0. 0. 0. 0. 0. 0. 0. ]
sim.step()
print(sim.data.qpos)
#[-1.12164337e-05 7.29847036e-22 1.39975300e+00 9.99999999e-01
# 1.80085466e-21 4.45933954e-05 -2.70143345e-20 1.30126513e-19
# -4.63561234e-05 -1.88020744e-20 -2.24492958e-06 4.79357124e-05
# -6.38208396e-04 -1.61130312e-03 -1.37554006e-03 5.54173825e-05
# -2.24492958e-06 4.79357124e-05 -6.38208396e-04 -1.61130312e-03
# -1.37554006e-03 -5.54173825e-05 -5.73572648e-05 7.63833991e-05
# -2.12765194e-05 5.73572648e-05 -7.63833991e-05 -2.12765194e-05]
5.测试是否安装成功例子2：
cd ~/mujoco-py/examples/
python3 setting_state.py
测试是否安装mujoco-py的成功例子
mjpro150_linux 安装后运行 simulate 的图像
gym 安装
1.sudo apt install git #安装 git
2.git clone https://github.com/openai/gym.git #拉取源代码
cd ~/gym
pip install -e '.[all]' # 安装 Gym
1.报错：注意该gym版本要求安装的是mjpro150
You appear to be missing MuJoCo.
We expected to find the file here: /home/nagisa/.mujoco/mjpro150
2.解决：类似安装mujoco200 linux一样的步骤
1.官网 https://www.roboti.us/index.html 下载 mjpro150 linux安装包
mkdir ~/.mujoco
cp mjpro150_linux.zip ~/.mujoco
cd ~/.mujoco
unzip mjpro150_linux.zip
2.拷贝许可证：
cp mjkey.txt ~/.mujoco
cp mjkey.txt ~/.mujoco/mjpro150/bin
3.添加环境变量：
vim ~/.bashrc
export LD_LIBRARY_PATH=~/.mujoco/mjpro150/bin${LD_LIBRARY_PATH:+:${LD_LIBRARY_PATH}}
export MUJOCO_KEY_PATH=~/.mujoco${MUJOCO_KEY_PATH}
使配置马上生效 source ~/.bashrc
4.测试是否安装成功：
cd ~/.mujoco/mjpro150/bin
./simulate ../model/humanoid.xml
3.测试是否安装成功例子1：
import gym
env = gym.make("CartPole-v1") # 创建游戏环境
observation = env.reset() # 游戏回到初始状态
for _ in range(1000):
env.render() # 显示当前时间戳的游戏画面
action = env.action_space.sample() # 随机生成一个动作
# 与环境交互，返回新的状态，奖励，是否结束标志，其他信息
observation, reward, done, info = env.step(action)
if done:#游戏回合结束，复位状态
observation = env.reset()
env.close()
4.测试是否安装成功例子2：
import gym
env = gym.make('Hero-ram-v0')
for i_episode in range(20):
observation = env.reset()
for t in range(100):
env.render()
print(observation)
action = env.action_space.sample()
observation, reward, done, info = env.step(action)
if done:
print("Episode finished after {} timesteps".format(t+1))
break
测试是否安装成功gym的例子1
测试是否安装成功gym的例子2
baseline 安装
OpenAI Baseline是一系列高质量的强化学习控制算法，需要python>=3.5，
且需要OpenMPI和zlib，有些Baseline example是基于Mujoco 物理仿真环境的。
1.baseline 安装
git clone https://github.com/openai/baselines.git
cd ~/baselines
pip install -e .
2.在baseline 中对算法进行测试，需要安装pytest
pip install pytest
3.测试是否安装成功
cd ~/baselines/baselines/her/experiment
#play.py为调用训练好的参数进行执行
python play.py policy_best.pkl (后面需要跟着训练好的参数文件)
注意：还必须安装 Nvidia驱动、tensorflow-gpu、CUDA、cuDNN
pip install tensorflow-gpu
import tensorflow as tf
print(tf.__version__)
作者：zimiao552147572
相关文章
Iris
2021-08-03
Irisa
2020-12-24
Laraine
2020-04-28
Adelaide
2020-03-28
Vivienne
2020-09-10
Dianthe
2023-07-20
Tina
2023-07-20
Janna
2023-07-20
Ophelia
2023-07-20
Natalia
2023-07-20
Jacinda
2023-07-20
Thalia
2023-07-20
Winona
2023-07-20
Irma
2023-07-20
Kamiisa
2023-07-20
Kirima
2023-07-20
Fawn
2023-07-21
Erin
2023-07-21
Dabria
2023-07-21