半獵豹

此環境是 Mujoco 環境的一部分，其中包含有關該環境的通用資訊。

動作空間	Box(-1.0, 1.0, (6,), float32)
觀測空間	Box(-inf, inf, (17,), float64)
匯入	gymnasium.make("HalfCheetah-v5")

描述

此環境基於 P. Wawrzyński 在“類貓機器人即時學習奔跑”中的工作。半獵豹是一個二維機器人，由9個身體部件和連線它們的8個關節（包括兩隻爪子）組成。目標是對關節施加扭矩，使獵豹儘可能快地向前（向右）奔跑，根據向前移動的距離獲得正獎勵，向後移動則獲得負獎勵。獵豹的軀幹和頭部是固定的，扭矩只能施加到其他6個關節上，包括前後大腿（連線到軀幹）、小腿（連線到大腿）和腳（連線到小腿）。

動作空間

動作空間是一個 Box(-1, 1, (6,), float32)。一個動作代表施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在對應 XML 檔案中）	關節	型別（單位）
0	施加在後大腿轉子上的扭矩	-1	1	bthigh	鉸鏈	扭矩 (N m)
1	施加在後小腿轉子上的扭矩	-1	1	bshin	鉸鏈	扭矩 (N m)
2	施加在後腳轉子上的扭矩	-1	1	bfoot	鉸鏈	扭矩 (N m)
3	施加在前大腿轉子上的扭矩	-1	1	fthigh	鉸鏈	扭矩 (N m)
4	施加在前小腿轉子上的扭矩	-1	1	fshin	鉸鏈	扭矩 (N m)
5	施加在前腳轉子上的扭矩	-1	1	ffoot	鉸鏈	扭矩 (N m)

觀測空間

觀測空間按順序包含以下部分：

• qpos (預設為 8 個元素)： 機器人身體部位的位置值。

• qvel (9 個元素)： 這些單個身體部位的速度（它們的導數）。

預設情況下，觀測不包含機器人的 x 座標 (rootx)。在構建時可以透過傳遞 exclude_current_positions_from_observation=False 來包含它。在這種情況下，觀測空間將是 Box(-Inf, Inf, (18,), float64)，其中第一個觀測元素是機器人的 x 座標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 和 y 座標都會在 info 中以鍵 "x_position" 和 "y_position" 返回。

然而，預設情況下，觀測空間是一個 Box(-Inf, Inf, (17,), float64)，其元素如下：

編號	觀測	最小值	最大值	名稱（在對應 XML 檔案中）	關節	型別（單位）
0	前端尖端的 z 座標	-Inf	Inf	rootz	滑動	位置 (m)
1	前端尖端的角度	-Inf	Inf	rooty	鉸鏈	角度 (rad)
2	後大腿的角度	-Inf	Inf	bthigh	鉸鏈	角度 (rad)
3	後小腿的角度	-Inf	Inf	bshin	鉸鏈	角度 (rad)
4	後腳的角度	-Inf	Inf	bfoot	鉸鏈	角度 (rad)
5	前大腿的角度	-Inf	Inf	fthigh	鉸鏈	角度 (rad)
6	前小腿的角度	-Inf	Inf	fshin	鉸鏈	角度 (rad)
7	前腳的角度	-Inf	Inf	ffoot	鉸鏈	角度 (rad)
8	前端尖端的 x 座標速度	-Inf	Inf	rootx	滑動	速度 (m/s)
9	前端尖端的 z 座標速度	-Inf	Inf	rootz	滑動	速度 (m/s)
10	前端尖端的角速度	-Inf	Inf	rooty	鉸鏈	角速度 (rad/s)
11	後大腿的角速度	-Inf	Inf	bthigh	鉸鏈	角速度 (rad/s)
12	後小腿的角速度	-Inf	Inf	bshin	鉸鏈	角速度 (rad/s)
13	後腳的角速度	-Inf	Inf	bfoot	鉸鏈	角速度 (rad/s)
14	前大腿的角速度	-Inf	Inf	fthigh	鉸鏈	角速度 (rad/s)
15	前小腿的角速度	-Inf	Inf	fshin	鉸鏈	角速度 (rad/s)
16	前腳的角速度	-Inf	Inf	ffoot	鉸鏈	角速度 (rad/s)
已排除	前端尖端的 x 座標	-Inf	Inf	rootx	滑動	位置 (m)

獎勵

總獎勵為：reward = forward_reward - ctrl_cost。

• forward_reward：向前移動的獎勵，如果半獵豹向前（沿正 \(x\) 方向/向右）移動，則此獎勵為正。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是“尖端”的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是動作之間的時間，這取決於 frame_skip 引數（預設為 \(5\)），以及 frametime（為 \(0.01\)）——因此預設情況下 \(dt = 5 \times 0.01 = 0.05\)，\(w_{forward}\) 是 forward_reward_weight（預設為 \(1\)）。

• ctrl_cost：一種負獎勵，用於懲罰半獵豹採取過大的動作。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（預設為 \(0.1\)）。

info 包含各個獎勵項。

起始狀態

初始位置狀態是 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。初始速度狀態是 \(\mathcal{N}(0_{9}, reset\_noise\_scale^2 \times I_{9})\)。

其中 \(\mathcal{N}\) 是多元正態分佈，\(\mathcal{U}\) 是多元均勻連續分佈。

回合結束

終止

半獵豹從不終止。

截斷

一個回合的預設持續時間是 1000 個時間步。

引數

HalfCheetah 提供了一系列引數，用於修改觀測空間、獎勵函式、初始狀態和終止條件。這些引數可以在 gymnasium.make 期間按以下方式應用：

import gymnasium as gym
env = gym.make('HalfCheetah-v5', ctrl_cost_weight=0.1, ....)

引數	型別	預設值	描述
xml_file	str	"half_cheetah.xml"	MuJoCo 模型的路徑
forward_reward_weight	float	1	forward_reward 項的權重（參見獎勵部分）
ctrl_cost_weight	float	0.1	ctrl_cost 權重的權重（參見獎勵部分）
reset_noise_scale	float	0.1	初始位置和速度隨機擾動的尺度（參見起始狀態部分）
exclude_current_positions_from_observation	bool	True	是否從觀測中省略 x 座標。排除位置可以作為一種歸納偏置，以在策略中引入位置無關的行為（參見觀測狀態部分）

版本歷史

• v5

  • 最低 mujoco 版本現在是 2.3.3。

  • 添加了對使用 xml_file 引數的完全自定義/第三方 mujoco 模型的支援（以前只能對現有模型進行少量更改）。

  • 添加了 default_camera_config 引數，這是一個用於設定 mj_camera 屬性的字典，主要用於自定義環境。

  • 添加了 env.observation_structure，這是一個用於指定觀測空間組成（例如 qpos, qvel）的字典，對構建 MuJoCo 環境的工具和封裝器很有用。

  • 使用 reset() 返回非空的 info，以前返回的是空字典，新鍵與 step() 的狀態資訊相同。

  • 添加了 frame_skip 引數，用於配置 dt（step() 的持續時間），預設值因環境而異，請查閱環境文件頁面。

  • 恢復了 xml_file 引數（在 v4 中已移除）。

  • 將 info["reward_run"] 重新命名為 info["reward_forward"] 以與其他環境保持一致。

• v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 繫結。

• v3：支援 gymnasium.make 的 kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染來自跟蹤攝像機（因此智慧體不會跑出螢幕）。已移至 gymnasium-robotics 倉庫。

• v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 倉庫。

• v1：基於機器人的任務的最大時間步數提高到 1000。向環境中添加了 reward_threshold。

• v0：初始版本釋出。