Walker2D¶

此環境屬於 MuJoCo 環境，其中包含有關該環境的一般資訊。


動作空間	`Box(-1.0, 1.0, (6,), float32)`
觀測空間	`Box(-inf, inf, (17,), float64)`
匯入	`gymnasium.make("Walker2d-v5")`

描述¶

此環境在 Hopper 環境的基礎上增加了另一組腿，使機器人能夠向前行走而不是跳躍。與其他 MuJoCo 環境一樣，此環境旨在與經典控制環境相比，增加獨立狀態和控制變數的數量。Walker2D 是一個二維雙足機器人，由七個主要身體部位組成：頂部的單個軀幹（軀幹下方分出兩條腿），軀幹中間的兩條大腿，大腿下方的兩條小腿，以及連線到小腿上的兩隻腳，整個身體都靠在這些腳上。目標是透過對連線七個身體部位的六個鉸鏈施加扭矩，使其向前（右側）行走。

動作空間¶

動作空間為 Box(-1, 1, (6,), float32)。一個動作表示施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在對應 XML 檔案中）	關節	型別（單位）
0	施加在大腿轉子上的扭矩	-1	1	thigh_joint	鉸鏈	扭矩 (N m)
1	施加在小腿轉子上的扭矩	-1	1	leg_joint	鉸鏈	扭矩 (N m)
2	施加在腳轉子上的扭矩	-1	1	foot_joint	鉸鏈	扭矩 (N m)
3	施加在左大腿轉子上的扭矩	-1	1	thigh_left_joint	鉸鏈	扭矩 (N m)
4	施加在左小腿轉子上的扭矩	-1	1	leg_left_joint	鉸鏈	扭矩 (N m)
5	施加在左腳轉子上的扭矩	-1	1	foot_left_joint	鉸鏈	扭矩 (N m)

觀測空間¶

觀測空間由以下部分組成（按順序）

qpos（預設 8 個元素）：機器人身體部位的位置值。
qvel（9 個元素）：這些單個身體部位的速度（它們的導數）。

預設情況下，觀測不包括機器人的 x 座標 (rootx)。在構建時透過傳遞 exclude_current_positions_from_observation=False 可以包含此項。在這種情況下，觀測空間將是 Box(-Inf, Inf, (18,), float64)，其中第一個觀測元素是機器人的 x 座標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 座標都會在 info 中以 "x_position" 和 "y_position" 為鍵返回。

然而，預設情況下，觀測空間為 Box(-Inf, Inf, (17,), float64)，其中元素如下

編號	觀測	最小值	最大值	名稱（在對應 XML 檔案中）	關節	型別（單位）
0	軀幹的 z 座標（Walker2D 的高度）	-Inf	Inf	rootz	滑動	位置 (m)
1	軀幹的角度	-Inf	Inf	rooty	鉸鏈	角度 (rad)
2	大腿關節的角度	-Inf	Inf	thigh_joint	鉸鏈	角度 (rad)
3	小腿關節的角度	-Inf	Inf	leg_joint	鉸鏈	角度 (rad)
4	腳關節的角度	-Inf	Inf	foot_joint	鉸鏈	角度 (rad)
5	左大腿關節的角度	-Inf	Inf	thigh_left_joint	鉸鏈	角度 (rad)
6	左小腿關節的角度	-Inf	Inf	leg_left_joint	鉸鏈	角度 (rad)
7	左腳關節的角度	-Inf	Inf	foot_left_joint	鉸鏈	角度 (rad)
8	軀幹 x 座標的速度	-Inf	Inf	rootx	滑動	速度 (m/s)
9	軀幹 z 座標（高度）的速度	-Inf	Inf	rootz	滑動	速度 (m/s)
10	軀幹角度的角速度	-Inf	Inf	rooty	鉸鏈	角速度 (rad/s)
11	大腿鉸鏈的角速度	-Inf	Inf	thigh_joint	鉸鏈	角速度 (rad/s)
12	小腿鉸鏈的角速度	-Inf	Inf	leg_joint	鉸鏈	角速度 (rad/s)
13	腳鉸鏈的角速度	-Inf	Inf	foot_joint	鉸鏈	角速度 (rad/s)
14	大腿鉸鏈的角速度	-Inf	Inf	thigh_left_joint	鉸鏈	角速度 (rad/s)
15	小腿鉸鏈的角速度	-Inf	Inf	leg_left_joint	鉸鏈	角速度 (rad/s)
16	腳鉸鏈的角速度	-Inf	Inf	foot_left_joint	鉸鏈	角速度 (rad/s)
已排除	軀幹的 x 座標	-Inf	Inf	rootx	滑動	位置 (m)

獎勵¶

總獎勵為：獎勵 = 健康獎勵 (healthy_reward) + 向前獎勵 (forward_reward) - 控制成本 (ctrl_cost)。

健康獎勵 (healthy_reward)：在 Walker2D 存活的每個時間步，它都會獲得一個固定值 healthy_reward（預設為 \(1\)）的獎勵，
向前獎勵 (forward_reward)：向前移動的獎勵，如果 Walker2D 向前（在正 \(x\) 方向 / 向右）移動，則此獎勵為正。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是（前方）“尖端”的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是動作之間的時間，這取決於 frame_skip 引數（預設為 \(4\)），以及 frametime（為 \(0.002\)）——因此預設值為 \(dt = 4 \times 0.002 = 0.008\)，\(w_{forward}\) 是 forward_reward_weight（預設為 \(1\)）。
控制成本 (ctrl_cost)：懲罰 Walker2D 執行過大動作的負獎勵。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（預設為 \(10^{-3}\)）。

info 包含各個獎勵項。

起始狀態¶

初始位置狀態為 \([0, 1.25, 0, 0, 0, 0, 0, 0, 0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。初始速度狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{9}, reset\_noise\_scale \times I_{9}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，z 座標非零，以便 Walker2D 能夠立即站立。

劇集結束¶

終止¶

如果 terminate_when_unhealthy 為 True（這是預設設定），則當 Walker2D 不健康時，環境終止。Walker2D 不健康的條件如下：

任何狀態空間值不再有限
軀幹的 z 座標（高度）不在 healthy_z_range 引數給定的閉區間內（預設為 \([0.8, 1.0]\)）。
角度的絕對值（如果 exclude_current_positions_from_observation=False 則為 observation[1]，否則為 observation[2]）不在 healthy_angle_range 引數指定的閉區間內（預設為 \([-1, 1]\)）。

截斷¶

劇集的預設持續時間為 1000 個時間步。

引數¶

Walker2D 提供了一系列引數來修改觀測空間、獎勵函式、初始狀態和終止條件。這些引數可以在 gymnasium.make 期間按以下方式應用

import gymnasium as gym
env = gym.make('Walker2d-v5', ctrl_cost_weight=1e-3, ...)

引數	型別	預設值	描述
`xml_file`	str	`"walker2d_v5.xml"`	MuJoCo 模型路徑
`forward_reward_weight`	float	`1`	向前獎勵 (forward_reward) 項的權重（參見`獎勵`部分）
`ctrl_cost_weight`	float	`1e-3`	控制成本 (ctrl_cost) 項的權重（參見`獎勵`部分）
`healthy_reward`	float	`1`	健康獎勵 (healthy_reward) 項的權重（參見`獎勵`部分）
`terminate_when_unhealthy`	bool	`True`	如果為 True，則在不健康時發出 `terminated` 訊號（參見`劇集結束`部分）
`healthy_z_range`	tuple	`(0.8, 2)`	Walker2D 軀幹的 z 座標必須在此範圍內才能被視為健康（參見`劇集結束`部分）
`healthy_angle_range`	tuple	`(-1, 1)`	角度必須在此範圍內才能被視為健康（參見`劇集結束`部分）
`reset_noise_scale`	float	`5e-3`	初始位置和速度隨機擾動的範圍（參見`起始狀態`部分）
`exclude_current_positions_from_observation`	bool	`True`	是否從觀測中省略 x 座標。排除位置可以作為一種歸納偏置，以在策略中引入位置無關的行為（參見`觀測空間`部分）

版本歷史¶

v5
- 最低 mujoco 版本現在是 2.3.3。
- 增加了使用 xml_file 引數完全自定義/第三方 mujoco 模型的支援（以前只能對現有模型進行少量更改）。
- 增加了 default_camera_config 引數，這是一個用於設定 mj_camera 屬性的字典，主要用於自定義環境。
- 增加了 env.observation_structure，這是一個用於指定觀測空間組成（例如 qpos、qvel）的字典，有助於為 MuJoCo 環境構建工具和封裝器。
- 使用 reset() 返回一個非空的 info，以前返回的是一個空字典，新鍵與 step() 的狀態資訊相同。
- 增加了 frame_skip 引數，用於配置 dt（step() 的持續時間），預設值因環境而異，請查閱環境文件頁面。
- 在 v2、v3 和 v4 中，模型的兩隻腳具有不同的摩擦值（左腳摩擦力為 1.9，右腳摩擦力為 0.9）。Walker-v5 模型已更新為兩隻腳具有相同的摩擦力（設定為 1.9）。這導致 Walker2D 的右腳在表面上的滑動更少，因此需要更大的力才能移動（相關 GitHub 問題）。
- 修復了錯誤：healthy_reward 以前在每個步驟都給予（即使 Walker2D 不健康），現在僅在 Walker2D 健康時給予。info 中的“reward_survive”已隨此更改而更新（相關 GitHub 問題）。
- 恢復了 xml_file 引數（在 v4 中已刪除）。
- 在 info 中添加了各個獎勵項（info["reward_forward"]、info["reward_ctrl"]、info["reward_survive"]）。
- 增加了 info["z_distance_from_origin"]，其等於“軀幹”身體與其初始位置的垂直距離。
v4：所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 繫結
v3：支援 gymnasium.make 的 kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染來自跟蹤攝像頭（因此智慧體不會跑出螢幕）。已移至 gymnasium-robotics 倉庫。
v2：所有連續控制環境現在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 倉庫。
v1：基於機器人的任務的最大時間步數提高到 1000。為環境添加了 reward_threshold。
v0：初始版本釋出