MLAgents - RollerBall

1. 유니티 프로젝트 생성

2. ML-Agent 환경설정

메뉴 > Windows > Package Manager > "ML" 검색 > ML Agents 인스톨

​

3. Plane만들기 ("Floor") (0, 0, 0)

4. Cube만들기 ("Target") (0, 0.5, 3)

5. Sphere만들기 ("RollerAgent) (0, 0.5, 0)

6. RollerAgent에 RigidBody컴포넌트 추가

7. 빈게임 오브젝트 생성후 이름을 TrainingArea라고 하고 Floor, Target, RollerAgent자식으로 추가

8. RollerAgent.cs 파일 생성

9. 네임스페이스 추가

 1) using Unity.MLAgents;

 2) using Unity.MLAgents.Sensors;

10. Agent상속

11. override Initialize OnEpisodeBegin, CollectObservations, OnActionReceived

12. 스크립트 작성 (RollerAgent)

 

 

<Script : RollerAgent.cs>

using System.Collections;
using System.Collections.Generic;
using UnityEngine;
using Unity.MLAgents;
using Unity.MLAgents.Sensors;
 
public class RollerAgent : Agent
{
    public Transform target;
    private Rigidbody rBody;
    public float speed = 10;
    private void Start()
    {
        this.rBody = this.GetComponent<Rigidbody>();
    }
    /// <summary>
    /// 각 에피소드가 시작될 때 새 에피소드의 환경을 설정하기 위해 호출되는 메소드
    /// </summary>
    public override void OnEpisodeBegin()
    {
        // 플랫폼에서 떨어졌다면
        if (this.transform.localPosition.y < 0)
        {
            // 속도를 0으로
            this.rBody.angularVelocity = Vector3.zero;
            this.rBody.velocity = Vector3.zero;
            //위치를 초기 위치로
            this.transform.localPosition = new Vector3(0.0f, 0.5f, 0.0f);
        }
        
        //타겟을 임의의 위치로 이동
        this.target.localPosition = new Vector3(
            Random.value * 8 - 4, 0.5f, Random.value * 8 - 4);
    }
    /// <summary>
    /// 각 에피소드에서 나온 정보를 수집하여 Python API에 전송하기 위한 메소드
    /// </summary>
    /// <param name="sensor"></param>
    public override void CollectObservations(VectorSensor sensor)
    {
        sensor.AddObservation(this.target.localPosition);       // 타겟의 위치
        sensor.AddObservation(this.transform.localPosition);    // Sphere의 위치
        sensor.AddObservation(this.rBody.velocity.x);           // Sphere의 x속도
        sensor.AddObservation(this.rBody.velocity.z);           // Sphere의 z속도
    }
 
    /// <summary>
    /// 미션에 달성했다면 주어지는 보상 메소드
    /// </summary>
    /// <param name="vectorAction"></param>
    public override void OnActionReceived(float[] vectorAction)
    {
        Vector3 controlSignal = Vector3.zero;
        controlSignal.x = vectorAction[0];
        controlSignal.z = vectorAction[1];
        rBody.AddForce(controlSignal * speed);
 
        float distanceToTarget = Vector3.Distance(
            this.transform.localPosition, target.localPosition);
 
        // 닿았을 경우
        if (distanceToTarget < 1.42f)
        {
            AddReward(1.0f);
            EndEpisode();
        }
 
        // 못 닿았을 경우
        if (this.transform.localPosition.y < 0)
        {
            EndEpisode();
        }
    }
}