仿人立起

此環境是 MuJoCo 環境的一部分，其中包含有關該環境的一般資訊。

動作空間	Box(-0.4, 0.4, (17,), float32)
觀測空間	Box(-inf, inf, (348,), float64)
匯入	gymnasium.make("HumanoidStandup-v5")

描述

此環境基於 Tassa、Erez 和 Todorov 在 “透過線上軌跡優化合成和穩定複雜行為” 中介紹的環境。這個3D雙足機器人旨在模擬人類。它有一個軀幹（腹部），一對腿和手臂，以及一對連線髖部到膝蓋的肌腱。每條腿由三個身體部分（大腿、小腿、腳）組成，手臂由兩個身體部分（上臂、前臂）組成。環境開始時，仿人機器人躺在地上，然後環境的目標是透過對各個鉸鏈施加扭矩，使仿人機器人站立起來並保持站立。

動作空間

動作空間是一個 Box(-0.4, 0.4, (17,), float32)。一個動作代表施加在鉸鏈關節上的扭矩。

編號	動作	控制最小值	控制最大值	名稱（在相應的 XML 檔案中）	關節	型別（單位）
0	施加在腹部y座標鉸鏈上的扭矩	-0.4	0.4	abdomen_y	鉸鏈	扭矩 (N m)
1	施加在腹部z座標鉸鏈上的扭矩	-0.4	0.4	abdomen_z	鉸鏈	扭矩 (N m)
2	施加在腹部x座標鉸鏈上的扭矩	-0.4	0.4	abdomen_x	鉸鏈	扭矩 (N m)
3	施加在軀幹/腹部與右髖部之間的轉子上（x座標）的扭矩	-0.4	0.4	right_hip_x (right_thigh)	鉸鏈	扭矩 (N m)
4	施加在軀幹/腹部與右髖部之間的轉子上（z座標）的扭矩	-0.4	0.4	right_hip_z (right_thigh)	鉸鏈	扭矩 (N m)
5	施加在軀幹/腹部與右髖部之間的轉子上（y座標）的扭矩	-0.4	0.4	right_hip_y (right_thigh)	鉸鏈	扭矩 (N m)
6	施加在右髖部/大腿與右小腿之間的轉子上的扭矩	-0.4	0.4	right_knee	鉸鏈	扭矩 (N m)
7	施加在軀幹/腹部與左髖部之間的轉子上（x座標）的扭矩	-0.4	0.4	left_hip_x (left_thigh)	鉸鏈	扭矩 (N m)
8	施加在軀幹/腹部與左髖部之間的轉子上（z座標）的扭矩	-0.4	0.4	left_hip_z (left_thigh)	鉸鏈	扭矩 (N m)
9	施加在軀幹/腹部與左髖部之間的轉子上（y座標）的扭矩	-0.4	0.4	left_hip_y (left_thigh)	鉸鏈	扭矩 (N m)
10	施加在左髖部/大腿與左小腿之間的轉子上的扭矩	-0.4	0.4	left_knee	鉸鏈	扭矩 (N m)
11	施加在軀幹與右上臂之間的轉子上（座標-1）的扭矩	-0.4	0.4	right_shoulder1	鉸鏈	扭矩 (N m)
12	施加在軀幹與右上臂之間的轉子上（座標-2）的扭矩	-0.4	0.4	right_shoulder2	鉸鏈	扭矩 (N m)
13	施加在右上臂與右下臂之間的轉子上的扭矩	-0.4	0.4	right_elbow	鉸鏈	扭矩 (N m)
14	施加在軀幹與左上臂之間的轉子上（座標-1）的扭矩	-0.4	0.4	left_shoulder1	鉸鏈	扭矩 (N m)
15	施加在軀幹與左上臂之間的轉子上（座標-2）的扭矩	-0.4	0.4	left_shoulder2	鉸鏈	扭矩 (N m)
16	施加在左上臂與左下臂之間的轉子上的扭矩	-0.4	0.4	left_elbow	鉸鏈	扭矩 (N m)

觀測空間

觀測空間按順序包含以下部分：

• qpos (預設為22個元素): 機器人身體部位的位置值。

• qvel (23個元素): 這些獨立身體部位的速度（它們的導數）。

• cinert (130個元素): 剛體部件相對於質心的質量和慣性（這是轉換的中間結果）。它的形狀是13*10（nbody * 10）。（cinert - 慣性矩陣和身體質量偏移以及身體質量）

• cvel (78個元素): 基於質心的速度。它的形狀是13 * 6（nbody * 6）。（質心速度 - 速度x, y, z 和 角速度x, y, z）

• qfrc_actuator (17個元素): 作為每個關節處的執行器力產生的約束力。它的形狀是 (17,) (nv * 1)。

• cfrc_ext (78個元素): 這是施加在身體部位上的基於質心的外部力。它的形狀是13 * 6（nbody * 6），因此為觀測空間增加了另外78個元素。（外部力 - 力x, y, z 和 扭矩x, y, z）

其中 nbody 是機器人中的身體數量，nv 是自由度數量（= dim(qvel)）。

預設情況下，觀測不包括軀幹的x和y座標。在構造時透過傳遞 exclude_current_positions_from_observation=False 可以將其包含在內。在這種情況下，觀測空間將是 Box(-Inf, Inf, (350,), float64)，其中前兩個觀測是軀幹的x和y座標。無論 exclude_current_positions_from_observation 設定為 True 還是 False，x和y座標都將透過鍵 "x_position" 和 "y_position" 在 info 中返回。

然而，預設情況下，觀測空間是一個 Box(-Inf, Inf, (348,), float64)，其中位置和速度元素如下：

編號	觀測	最小值	最大值	名稱（在相應的 XML 檔案中）	關節	型別（單位）
0	軀幹（中心）的z座標	-Inf	Inf	根	自由	位置 (m)
1	軀幹（中心）的w方向	-Inf	Inf	根	自由	角度 (rad)
2	軀幹（中心）的x方向	-Inf	Inf	根	自由	角度 (rad)
3	軀幹（中心）的y方向	-Inf	Inf	根	自由	角度 (rad)
4	軀幹（中心）的z方向	-Inf	Inf	根	自由	角度 (rad)
5	腹部的z角度（在lower_waist中）	-Inf	Inf	abdomen_z	鉸鏈	角度 (rad)
6	腹部的y角度（在lower_waist中）	-Inf	Inf	abdomen_y	鉸鏈	角度 (rad)
7	腹部的x角度（在pelvis中）	-Inf	Inf	abdomen_x	鉸鏈	角度 (rad)
8	骨盆和右髖部之間角度的x座標（在right_thigh中）	-Inf	Inf	right_hip_x	鉸鏈	角度 (rad)
9	骨盆和右髖部之間角度的z座標（在right_thigh中）	-Inf	Inf	right_hip_z	鉸鏈	角度 (rad)
10	骨盆和右髖部之間角度的y座標（在right_thigh中）	-Inf	Inf	right_hip_y	鉸鏈	角度 (rad)
11	右髖部與右小腿之間的角度（在right_knee中）	-Inf	Inf	right_knee	鉸鏈	角度 (rad)
12	骨盆和左髖部之間角度的x座標（在left_thigh中）	-Inf	Inf	left_hip_x	鉸鏈	角度 (rad)
13	骨盆和左髖部之間角度的z座標（在left_thigh中）	-Inf	Inf	left_hip_z	鉸鏈	角度 (rad)
14	骨盆和左髖部之間角度的y座標（在left_thigh中）	-Inf	Inf	left_hip_y	鉸鏈	角度 (rad)
15	左髖部與左小腿之間的角度（在left_knee中）	-Inf	Inf	left_knee	鉸鏈	角度 (rad)
16	軀幹與右臂之間的座標-1（多軸）角度（在right_upper_arm中）	-Inf	Inf	right_shoulder1	鉸鏈	角度 (rad)
17	軀幹與右臂之間的座標-2（多軸）角度（在right_upper_arm中）	-Inf	Inf	right_shoulder2	鉸鏈	角度 (rad)
18	右上臂與右下臂之間的角度	-Inf	Inf	right_elbow	鉸鏈	角度 (rad)
19	軀幹與左臂之間的座標-1（多軸）角度（在left_upper_arm中）	-Inf	Inf	left_shoulder1	鉸鏈	角度 (rad)
20	軀幹與左臂之間的座標-2（多軸）角度（在left_upper_arm中）	-Inf	Inf	left_shoulder2	鉸鏈	角度 (rad)
21	左上臂與左下臂之間的角度	-Inf	Inf	left_elbow	鉸鏈	角度 (rad)
22	軀幹（中心）的x座標速度	-Inf	Inf	根	自由	速度 (m/s)
23	軀幹（中心）的y座標速度	-Inf	Inf	根	自由	速度 (m/s)
24	軀幹（中心）的z座標速度	-Inf	Inf	根	自由	速度 (m/s)
25	軀幹（中心）的x座標角速度	-Inf	Inf	根	自由	角速度 (rad/s)
26	軀幹（中心）的y座標角速度	-Inf	Inf	根	自由	角速度 (rad/s)
27	軀幹（中心）的z座標角速度	-Inf	Inf	根	自由	角速度 (rad/s)
28	腹部的z座標角速度（在lower_waist中）	-Inf	Inf	abdomen_z	鉸鏈	角速度 (rad/s)
29	腹部的y座標角速度（在lower_waist中）	-Inf	Inf	abdomen_y	鉸鏈	角速度 (rad/s)
30	腹部的x座標角速度（在pelvis中）	-Inf	Inf	abdomen_x	鉸鏈	角速度 (rad/s)
31	骨盆和右髖部之間角度的x座標角速度（在right_thigh中）	-Inf	Inf	right_hip_x	鉸鏈	角速度 (rad/s)
32	骨盆和右髖部之間角度的z座標角速度（在right_thigh中）	-Inf	Inf	right_hip_z	鉸鏈	角速度 (rad/s)
33	骨盆和右髖部之間角度的y座標角速度（在right_thigh中）	-Inf	Inf	right_hip_y	鉸鏈	角速度 (rad/s)
34	右髖部與右小腿之間角度的角速度（在right_knee中）	-Inf	Inf	right_knee	鉸鏈	角速度 (rad/s)
35	骨盆和左髖部之間角度的x座標角速度（在left_thigh中）	-Inf	Inf	left_hip_x	鉸鏈	角速度 (rad/s)
36	骨盆和左髖部之間角度的z座標角速度（在left_thigh中）	-Inf	Inf	left_hip_z	鉸鏈	角速度 (rad/s)
37	骨盆和左髖部之間角度的y座標角速度（在left_thigh中）	-Inf	Inf	left_hip_y	鉸鏈	角速度 (rad/s)
38	左髖部與左小腿之間角度的角速度（在left_knee中）	-Inf	Inf	left_knee	鉸鏈	角速度 (rad/s)
39	軀幹與右臂之間角度的座標-1（多軸）角速度（在right_upper_arm中）	-Inf	Inf	right_shoulder1	鉸鏈	角速度 (rad/s)
40	軀幹與右臂之間角度的座標-2（多軸）角速度（在right_upper_arm中）	-Inf	Inf	right_shoulder2	鉸鏈	角速度 (rad/s)
41	右上臂與右下臂之間角度的角速度	-Inf	Inf	right_elbow	鉸鏈	角速度 (rad/s)
42	軀幹與左臂之間角度的座標-1（多軸）角速度（在left_upper_arm中）	-Inf	Inf	left_shoulder1	鉸鏈	角速度 (rad/s)
43	軀幹與左臂之間角度的座標-2（多軸）角速度（在left_upper_arm中）	-Inf	Inf	left_shoulder2	鉸鏈	角速度 (rad/s)
44	左上臂與左下臂之間角度的角速度	-Inf	Inf	left_elbow	鉸鏈	角速度 (rad/s)
排除	軀幹（中心）的x座標	-Inf	Inf	根	自由	位置 (m)
排除	軀幹（中心）的y座標	-Inf	Inf	根	自由	位置 (m)

身體部位是

身體部位	ID（適用於 v2、v3、v4）	ID（適用於 v5）
世界體（注意：所有值均為常數0）	0	排除
軀幹	1	0
lwaist	2	1
骨盆	3	2
右大腿	4	3
右小腿	5	4
右腳	6	5
左大腿	7	6
左小腿	8	7
左腳	9	8
右上臂	10	9
右下臂	11	10
左上臂	12	11
左下臂	13	12

關節是

關節	ID（適用於 v2、v3、v4）	ID（適用於 v5）
根（注意：所有值均為常數0）	0	排除
根（注意：所有值均為常數0）	1	排除
根（注意：所有值均為常數0）	2	排除
根（注意：所有值均為常數0）	3	排除
根（注意：所有值均為常數0）	4	排除
根（注意：所有值均為常數0）	5	排除
abdomen_z	6	0
abdomen_y	7	1
abdomen_x	8	2
right_hip_x	9	3
right_hip_z	10	4
right_hip_y	11	5
right_knee	12	6
left_hip_x	13	7
left_hiz_z	14	8
left_hip_y	15	9
left_knee	16	10
right_shoulder1	17	11
right_shoulder2	18	12
right_elbow	19	13
left_shoulder1	20	14
left_shoulder2	21	15
left_elfbow	22	16

(x,y,z) 座標是平移自由度，而方向是表示為四元數的旋轉自由度。可以在 MuJoCo 文件 中閱讀更多關於自由關節的資訊。

注意： 當使用 HumanoidStandup-v3 或更早版本時，據報道使用 mujoco-py 版本 > 2.0 會出現問題，導致接觸力始終為0。因此，如果您希望報告包含接觸力的結果，建議在使用 HumanoidStandup 環境時使用 mujoco-py 版本 < 2.0（如果您的實驗中不使用接觸力，則可以使用版本 > 2.0）。

獎勵

總獎勵為：reward = uph_cost + 1 - quad_ctrl_cost - quad_impact_cost。

• uph_cost: 向上移動（嘗試站立）的獎勵。這不是一個相對獎勵，不是衡量機器人自上一步時間以來向上移動了多遠，而是一個絕對獎勵，衡量仿人機器人總共向上移動了多遠。它透過 \(w_{uph} \times \frac{z_{after\_action} - 0}{dt}\) 衡量，其中 \(z_{after\_action}\) 是採取動作後軀幹的z座標，\(dt\) 是動作之間的時間，這取決於 frame_skip 引數（預設值為 \(5\)）和 frametime（為 \(0.01\)）——因此預設情況下 \(dt = 5 \times 0.01 = 0.05\)，\(w_{uph}\) 是 uph_cost_weight（預設值為 \(1\)）。

• quad_ctrl_cost: 一種負獎勵，用於懲罰仿人機器人採取過大的動作。\(w_{quad\_control} \times \|action\|_2^2\)，其中 \(w_{quad\_control}\) 是 ctrl_cost_weight（預設值為 \(0.1\)）。

• impact_cost: 一種負獎勵，用於懲罰仿人機器人，如果外部接觸力過大。\(w_{impact} \times clamp(impact\_cost\_range, \|F_{contact}\|_2^2)\)，其中 \(w_{impact}\) 是 impact_cost_weight（預設值為 \(5\times10^{-7}\)），\(F_{contact}\) 是外部接觸力（參見觀測空間中的 cfrc_ext 部分）。

info 包含各個獎勵項。

起始狀態

初始位置狀態為 \([0.0, 0.0, 1.4, 1.0, 0.0, ... 0.0] + \mathcal{U}_{[-reset\_noise\_scale \times I_{24}, reset\_noise\_scale \times I_{24}]}\)。初始速度狀態為 \(\mathcal{U}_{[-reset\_noise\_scale \times I_{23}, reset\_noise\_scale \times I_{23}]}\)。

其中 \(\mathcal{U}\) 是多元均勻連續分佈。

請注意，z和x座標是非零的，這樣仿人機器人會立即躺下並向前（x軸）面對。

回合結束

終止

仿人機器人永不終止。

截斷

一個回合的預設持續時間是1000個時間步。

引數

HumanoidStandup 提供了一系列引數來修改觀測空間、獎勵函式、初始狀態和終止條件。這些引數可以在 gymnasium.make 期間按以下方式應用：

import gymnasium as gym
env = gym.make('HumanoidStandup-v5', impact_cost_weight=0.5e-6, ....)

引數	型別	預設值	描述
xml_file	str	"humanoidstandup.xml"	MuJoCo 模型路徑
uph_cost_weight	float	1	uph_cost 項的權重（參見 獎勵 部分）
ctrl_cost_weight	float	0.1	quad_ctrl_cost 項的權重（參見 獎勵 部分）
impact_cost_weight	float	0.5e-6	impact_cost 項的權重（參見 獎勵 部分）
impact_cost_range	float	(-np.inf, 10.0)	鉗制 impact_cost（參見 獎勵 部分）
reset_noise_scale	float	1e-2	初始位置和速度隨機擾動的尺度（參見 起始狀態 部分）
exclude_current_positions_from_observation	bool	True	是否從觀測中省略x和y座標。排除位置可以作為一種歸納偏置，以在策略中引發與位置無關的行為（參見 觀測空間 部分）
include_cinert_in_observation	bool	True	是否在觀測中包含 cinert 元素（參見 觀測空間 部分）
include_cvel_in_observation	bool	True	是否在觀測中包含 cvel 元素（參見 觀測空間 部分）
include_qfrc_actuator_in_observation	bool	True	是否在觀測中包含 qfrc_actuator 元素（參見 觀測空間 部分）
include_cfrc_ext_in_observation	bool	True	是否在觀測中包含 cfrc_ext 元素（參見 觀測空間 部分）

版本歷史

• v5

  • 最低 mujoco 版本現在是 2.3.3。

  • 增加了使用 xml_file 引數對完全自定義/第三方 mujoco 模型支援（以前只能對現有模型進行少量更改）。

  • 添加了 default_camera_config 引數，這是一個用於設定 mj_camera 屬性的字典，主要用於自定義環境。

  • 添加了 env.observation_structure，這是一個用於指定觀測空間組成（例如 qpos, qvel）的字典，對於為 MuJoCo 環境構建工具和包裝器很有用。

  • 使用 reset() 返回非空 info，以前返回的是空字典，新鍵與 step() 的狀態資訊相同。

  • 添加了 frame_skip 引數，用於配置 dt（step() 的持續時間），預設值因環境而異，請檢視環境文件頁面。

  • 將 worldbody 的 cinert、cvel 和 cfrc_ext 以及 root/freejoint 的 qfrc_actuator 從觀測空間中排除，因為它們始終為0，因此未向智慧體提供任何有用資訊，從而略微加快了訓練速度（相關 GitHub 問題）。

  • 恢復了 xml_file 引數（在 v4 中已刪除）。

  • 添加了 xml_file 引數。

  • 添加了 uph_cost_weight、ctrl_cost_weight、impact_cost_weight、impact_cost_range 引數以配置獎勵函式（預設值與 v4 中的基本相同）。

  • 添加了 reset_noise_scale 引數以設定初始狀態的範圍。

  • 添加了 include_cinert_in_observation、include_cvel_in_observation、include_qfrc_actuator_in_observation、include_cfrc_ext_in_observation 引數，允許從觀測空間中排除觀測元素。

  • 添加了 info["tendon_length"] 和 info["tendon_velocity"]，包含仿人機器人連線髖部到膝蓋的2根肌腱的觀測資料。

  • 添加了 info["x_position"] 和 info["y_position"]，其中包含當 exclude_current_positions_from_observation == True 時排除的觀測資料。

  • 添加了 info["z_distance_from_origin"]，這是“軀幹”身體與其初始位置的垂直距離。

• v4: 所有 MuJoCo 環境現在都使用 mujoco >= 2.1.3 中的 MuJoCo 繫結。

• v3: 此環境沒有 v3 版本。已移至 gymnasium-robotics 倉庫。

• v2: 所有連續控制環境現在都使用 mujoco-py >= 1.50。已移至 gymnasium-robotics 倉庫。

• v1: 基於機器人的任務的最大時間步數提高到1000。向環境添加了 reward_threshold。

• v0: 初始版本釋出。