Unity Machine Learning Agents Toolkit（簡稱ML-Agents）工具套能幫助用戶在Unity中輕松入門強化學習（RL）。ML-Agents本身帶有多種樣例環境和模型架構，可讓用戶利用現成的環境和架構上手RL，再通過調整超參數來測試和改進結果模型。所有這些都不需新建Unity場景或導入資源，且初期不涉及任何編程。本文介紹的項目由日本公司Ghelia Inc.創立，他們使用了ML-Agents的soccer訓練環境來訓練人工智能足球賽。由Ghelia訓練出的RL模型被部署到索尼的toio機器人上，在真實世界中踢起了足球。這是一個用ML-Agent訓練機器人、從“虛擬到現實”的絕佳實例。

Ghelia的CEO兼總裁清水亮以及公司創新和品牌戰略辦公室的首席程序員布留川英一及創新部經理Masatoshi Uchida在下文中向我們解釋了Ghelia是如何使用ML-Agents Toolkit來訓練一個真實機器人完成踢足球的。

通過ML-Agents和索尼toio制作的足球機器人

Ghelia是一家專注于強化學習應用的公司。Ghelia的創始人北野弘明在索尼任職期間創辦了RobocupSoccer足球賽，并開發出了AIBO機器人。我們的團隊曾制作過一個空氣曲棍球演示，但過于繁雜的部件使其變得不夠輕便。接著為了向客戶們解釋強化學習的概念，我們開始討論制作另一個便于展示的演示場景。鑒于ML-Agents已經有了一個足球訓練環境，我們完全可以用輕便小巧的索尼toio機器人來開發一個足球游戲，這種游戲甚至有可能會大火。

為了將強化學習應用到真正的機器人上，我們需要將機器人本身導入到模擬環境中。幸好，toio已經有一個稱為toio SDK for Unity的模擬程序。我們能直接將程序與ML-Agents軟件包結合使用，即刻開始培訓。toio SDK僅包含了機器人模型，而足球需要另外制作。我們使用了Unity的物理引擎在模擬程序中重現了逼真的足球，還在現實中搜尋能準確還原模擬情景的小球。結果，高爾夫球的運動可準確匹配訓練的成果。球的位置在Unity中以transform值表示，在現實里則使用相機進行拍攝、用OpenCV進行識別。

實際運行硬件配置

我們使用一個高爾夫球來代表足球，并將其涂成紅色以提高辨識度。不可思議的是，我們僅用一部iPhone就能完成足球的探測，控制所有八個機器人（這是一場四對四的足球比賽），再使用ML-Agents模型進行推導。

關于如何設置獎勵

一開始，代理機器人們各自為政，于是我們試著給個人進球設置了負面獎勵，但這又導致了守門員不會去主動防守球門。而如果為運球設置積極獎勵，兩隊又只會來回運球，不會積極射門，基本上就是在拖時間。最后，我們決定把獎勵設置為進球得一分，被進球則扣一分。

項目中最具挑戰的地方

有時實機機器人并不會像模擬的那樣行動，其背后原因有時讓人捉摸不透。比方說，如果機器人在一個稍微傾斜的地板上運動時，有時會導致推導失敗；另外，如果球的反彈與模擬不同，機器人也無法做出訓練好的反應。并且，機器人對攝像機位置的要求十分嚴苛，需要達到毫米級的精度，這使得每次線下活動的鏡頭調整異常困難。在每一次大型修改后，模型還需要三天左右的訓練時間來適應，我們總共進行了約六次的訓練環節來實現如今的成果。

對于那些想在項目中用上機器學習的Unity創作者們的建議

AI，特別是深度學習雖然讓人癡迷，但人們尚未充分理解它。除非親手嘗試過，否則你將無法欣賞該技術的難度與美，所以我們建議來自全球的Unity開發者親自上手體驗一下AI技術。我想特別指出機器學習非常有趣，而Unity ML-Agents工具能幫你輕松地上手機器學習這一技術并將其應用到項目中。