1. <button id="hkkxv"><object id="hkkxv"></object></button>
    <ol id="hkkxv"></ol>

    <object id="hkkxv"></object>
    <rp id="hkkxv"></rp><button id="hkkxv"><acronym id="hkkxv"></acronym></button>

  2. <th id="hkkxv"></th>

    乒乓球運動可大大助推機器人學習研究?

    在最近的一篇博文中表示,機器人學習現已應用到許多真實世界任務,但將其應用于需要緊密循環的動態、高速人機交互任務還并不常見。這方面的任務可體現在乒乓球訓練上。

    乒乓球任務有兩個互補的屬性,其不僅需要速度和精度(對算法要求高),還是高度結構化的(環境固定、可預測)。

    另外,執行乒乓球任務的機器人可與人和其他機器人分別對戰,非常利于有關人機交互和強化學習方面的研究。因此,一些團隊已經開發了乒乓球研究平臺。

    機器人團隊同樣搭建了一個類似平臺,使其能夠在多玩家、動態的環境中,研究機器人學習中出現的問題。

    視頻 | (來源:)

    對于該方面的研究,通過兩篇論文做了相關闡述,分別題為《i-Sim2Real:緊密人機交互循環中機器人策略的強化學習》()、《GoalsEye: 在一個物理機器人上學習高速精密乒乓球》(),且都已提交到 arXiv 上。

    下面對的 i-Sim2Real 和 GoalsEye 兩個項目分別做一簡單介紹。

    在 i-Sim2Real(i-S2R)項目中,機器人的目標本質上是有關合作的。即最大程度與人類玩家連續游戲。

    由于在現實中通過人類訓練機器人既費時又費力,采用了一種基于仿真(模擬現實)的方法。但該方法較難準確模擬人類行為,尤其是在需要與人類進行緊密、閉環交互的任務上。

    因此,開發出一種學習人類行為模型,專門用于人-機器人交互。最終,在與人對戰中,機器人能夠連續擊中乒乓球三百多次。

    關于學習人類行為模型,其在官網 表示,該問題似乎是一個悖論。若起 初缺乏優良的機器人策略,便很難獲得人機交互方面的優質數據。但人類行為模型的缺失,又會得不到機器人策略。

    為解決這個問題,i-S2R 以一般的人類行為模型為起點,并在模擬和真實訓練中不斷迭代,人類行為模型和策略都逐漸得到了優化。

    還通過不同的人類對手重復訓練,來評估 i-S2R。并將它與通常的模擬到現實(S2R,sim-to-real)+微調(FT,fine-tuning)進行比較,發現 i-S2R 反彈長度比 S2R + FT 高約 9%。

    i-S2R 和 S2R + FT 的反彈長度直方圖顯示,S2R + FT 的反彈大部分較短(即小于 5),而 i-S2R 實現更長的反彈更頻繁。

    圖 | i-S2R 結果摘要(來源:)

    還在博文中表示,i-S2R 專注于模擬到真實學習,但有時需要僅使用真實世界的數據進行學習。在這種情況下,縮小模擬到真實的差距是不必要的。

    研究人員還簡單分析了模仿學習(Imitation learning,IL)和強化學習(Reinforcement Learning,RL)存在的問題。

    其認為,IL 提供了一種簡易、穩定的學習方法,但它需要獲得演示,并且幾乎不會超過被模仿者的表現。而在高速環境下,收集專業人員訓練時的精確目標定位非常困難。

    RL 雖然十分適合這種高速、高精度任務,但它面臨著一個艱難的探索問題(特別是在一開始),并且采樣效率很低下。

    所以,在另外一個 GoalsEye 項目上,結合行為克隆技術,來塑造精確定位策略。該方法起始于一個結構薄弱的、非目標的小型數據集。其主要考慮乒乓球任務的精度。

    推薦內容

    污视频免费网站
    1. <button id="hkkxv"><object id="hkkxv"></object></button>
      <ol id="hkkxv"></ol>

      <object id="hkkxv"></object>
      <rp id="hkkxv"></rp><button id="hkkxv"><acronym id="hkkxv"></acronym></button>

    2. <th id="hkkxv"></th>