Hopper¶

該環境屬於 Mujoco 環境，其中包含有關該環境的一般資訊。


動作空間	`Box(-1.0, 1.0, (3,), float32)`
觀測空間	`Box(-inf, inf, (11,), float64)`
匯入	`gymnasium.make("Hopper-v5")`

描述¶

該環境基於 Erez、Tassa 和 Todorov 在 “Infinite Horizon Model Predictive Control for Nonlinear Periodic Tasks” 中提出的工作。該環境旨在與經典控制環境相比，增加獨立狀態和控制變數的數量。Hopper 是一個二維的單腿人形，由四個主要身體部分組成——頂部的軀幹、中間的大腿、底部的腿，以及一個承載整個身體的單腳。目標是透過對連線四個身體部分的三個鉸鏈施加扭矩，使其向前（向右）跳動。

動作空間¶

動作空間是一個 Box(-1, 1, (3,), float32)。一個動作代表施加在鉸鏈關節上的扭矩。

編號	動作	最小控制量	最大控制量	名稱 (在對應的 XML 檔案中)	關節	型別 (單位)
0	施加在大腿轉子上的扭矩	-1	1	thigh_joint	鉸鏈	扭矩 (N m)
1	施加在腿部轉子上的扭矩	-1	1	leg_joint	鉸鏈	扭矩 (N m)
2	施加在腳部轉子上的扭矩	-1	1	foot_joint	鉸鏈	扭矩 (N m)

觀測空間¶

觀測空間由以下部分（按順序）組成：

qpos（預設 5 個元素）： 機器人身體部位的位置值。
qvel（6 個元素）： 這些單獨身體部位的速度（它們的導數）。

預設情況下，觀測不包括機器人的 x 座標 (rootx)。在構建時透過傳入 exclude_current_positions_from_observation=False 可以將其包含在內。在這種情況下，觀測空間將是 Box(-Inf, Inf, (12,), float64)，其中第一個觀測元素是機器人的 x 座標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x 和 y 座標都會透過 info 返回，鍵分別為 "x_position" 和 "y_position"。

然而，預設情況下，觀測空間是 Box(-Inf, Inf, (11,), float64)，其中元素如下：

編號	觀測	最小值	最大值	名稱 (在對應的 XML 檔案中)	關節	型別 (單位)
0	軀幹的 z 座標（Hopper 的高度）	-Inf	Inf	rootz	滑動	位置 (m)
1	軀幹角度	-Inf	Inf	rooty	鉸鏈	角度 (rad)
2	大腿關節角度	-Inf	Inf	thigh_joint	鉸鏈	角度 (rad)
3	腿部關節角度	-Inf	Inf	leg_joint	鉸鏈	角度 (rad)
4	腳部關節角度	-Inf	Inf	foot_joint	鉸鏈	角度 (rad)
5	軀幹 x 座標的速度	-Inf	Inf	rootx	滑動	速度 (m/s)
6	軀幹 z 座標（高度）的速度	-Inf	Inf	rootz	滑動	速度 (m/s)
7	軀幹角度的角速度	-Inf	Inf	rooty	鉸鏈	角速度 (rad/s)
8	大腿鉸鏈的角速度	-Inf	Inf	thigh_joint	鉸鏈	角速度 (rad/s)
9	腿部鉸鏈的角速度	-Inf	Inf	leg_joint	鉸鏈	角速度 (rad/s)
10	腳部鉸鏈的角速度	-Inf	Inf	foot_joint	鉸鏈	角速度 (rad/s)
已排除	軀幹的 x 座標	-Inf	Inf	rootx	滑動	位置 (m)

獎勵¶

總獎勵為：reward = healthy_reward + forward_reward - ctrl_cost。

healthy_reward：每當 Hopper 健康時（參見“回合結束”部分中的定義），它會獲得一個固定值 healthy_reward（預設為 \(1\)）的獎勵。
forward_reward：一個向前移動的獎勵，如果 Hopper 向前移動（在正 \(x\) 方向 / 向右方向），這個獎勵將是正的。\(w_{forward} \times \frac{dx}{dt}\)，其中 \(dx\) 是“軀幹”的位移（\(x_{after-action} - x_{before-action}\)），\(dt\) 是動作之間的時間，這取決於 frame_skip 引數（預設為 \(4\)），以及 frametime 為 \(0.002\)——所以預設為 \(dt = 4 \times 0.002 = 0.008\)，\(w_{forward}\) 是 forward_reward_weight（預設為 \(1\)）。
ctrl_cost：一個負獎勵，用於懲罰 Hopper 採取過大的動作。\(w_{control} \times \|action\|_2^2\)，其中 \(w_{control}\) 是 ctrl_cost_weight（預設為 \(10^{-3}\)）。

info 包含各個獎勵項。

起始狀態¶

初始位置狀態是 \([0, 1.25, 0, 0, 0, 0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{6}, reset\_noise\_scale \times I_{6}]}\)。初始速度狀態是 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{6}, reset\_noise\_scale \times I_{6}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，z 座標非零，以便 Hopper 可以立即站立。

回合結束¶

終止¶

如果 terminate_when_unhealthy is True（預設值），當 Hopper 不健康時環境終止。如果發生以下任何情況，Hopper 都不健康：

observation[1:]（如果 exclude_current_positions_from_observation=True，否則為 observation[2:]）的一個元素不再包含在 healthy_state_range 引數（預設為 \([-100, 100]\)）指定的閉區間內。
hopper 的高度（如果 exclude_current_positions_from_observation=True，則為 observation[0]；否則為 observation[1]）不再包含在 healthy_z_range 引數（預設為 \([0.7, +\infty]\)）指定的閉區間內（通常意味著它已經摔倒）。
軀幹的角度（如果 exclude_current_positions_from_observation=True，則為 observation[1]；否則為 observation[2]）不再包含在 healthy_angle_range 引數（預設為 \([-0.2, 0.2]\)）指定的閉區間內。

截斷¶

一個回合的預設持續時間是 1000 個時間步。

引數¶

Hopper 提供了一系列引數來修改觀測空間、獎勵函式、初始狀態和終止條件。這些引數可以在 gymnasium.make 期間以以下方式應用：

import gymnasium as gym
env = gym.make('Hopper-v5', ctrl_cost_weight=1e-3, ....)

引數	型別	預設值	描述
`xml_file`	str	`"hopper.xml"`	MuJoCo 模型的路徑
`forward_reward_weight`	float	`1`	forward_reward 項的權重（參見 `獎勵` 部分）
`ctrl_cost_weight`	float	`1e-3`	ctrl_cost 獎勵的權重（參見 `獎勵` 部分）
`healthy_reward`	float	`1`	healthy_reward 獎勵的權重（參見 `獎勵` 部分）
`terminate_when_unhealthy`	bool	`True`	如果為 `True`，則在不健康時發出 `terminated` 訊號（參見 `回合結束` 部分）
`healthy_state_range`	tuple	`(-100, 100)`	Hopper 被認為健康時，`observation[1:]`（如果 `exclude_current_positions_from_observation=True`，否則為 `observation[2:]`）的元素必須在此範圍內（參見 `回合結束` 部分）
`healthy_z_range`	tuple	`(0.7, float("inf"))`	Hopper 被認為健康時，z 座標必須在此範圍內（參見 `回合結束` 部分）
`healthy_angle_range`	tuple	`(-0.2, 0.2)`	Hopper 被認為健康時，由 `observation[1]`（如果 `exclude_current_positions_from_observation=True`，否則為 `observation[2]`）給出的角度必須在此範圍內（參見 `回合結束` 部分）
`reset_noise_scale`	float	`5e-3`	初始位置和速度隨機擾動的規模（參見 `起始狀態` 部分）
`exclude_current_positions_from_observation`	bool	`True`	是否在觀測中省略 x 座標。排除位置可以作為一種歸納偏置，以誘導策略中與位置無關的行為（參見 `觀測空間` 部分）

版本歷史¶

v5
- 最低 mujoco 版本現在是 2.3.3。
- 增加了對使用 xml_file 引數的完全自定義/第三方 mujoco 模型的支援（以前只能對現有模型進行少量更改）。
- 添加了 default_camera_config 引數，一個用於設定 mj_camera 屬性的字典，主要用於自定義環境。
- 添加了 env.observation_structure，一個用於指定觀測空間組成（例如 qpos, qvel）的字典，對於構建 MuJoCo 環境的工具和包裝器很有用。
- reset() 返回非空的 info，以前返回的是空字典，新鍵與 step() 的狀態資訊相同。
- 添加了 frame_skip 引數，用於配置 dt（step() 的持續時間），預設值因環境而異，請查閱環境文件頁面。
- 修復了錯誤：healthy_reward 在每個步驟都給出（即使 Hopper 不健康），現在只在 Hopper 健康時給出。info["reward_survive"] 已根據此更改進行更新（相關 GitHub issue）。
- 恢復了 xml_file 引數（在 v4 中已移除）。
- 在 info 中添加了單獨的獎勵項（info["reward_forward"]、info["reward_ctrl"]、info["reward_survive"]）。
- 添加了 info["z_distance_from_origin"]，它等於“軀幹”身體與其初始位置的垂直距離。
v4: 所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 繫結。
v3: 支援 gymnasium.make 的 kwargs，例如 xml_file、ctrl_cost_weight、reset_noise_scale 等。RGB 渲染來自跟蹤攝像機（因此智慧體不會跑出螢幕）。移至 gymnasium-robotics repo。
v2: 所有連續控制環境現在都使用 mujoco-py >= 1.50。移至 gymnasium-robotics repo。
v1: 基於機器人的任務的最大時間步提高到 1000。向環境添加了 reward_threshold。
v0: 初始版本釋出。