<div dir="ltr"><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">A major step forward for A.I. development?</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">"<a href="https://singularityhub.com/2020/07/26/deepminds-newest-ai-programs-itself-to-make-all-the-right-decisions/" style="box-sizing:border-box;background-color:transparent;color:rgb(237,102,41);text-decoration-line:none">Last year</a>, DeepMind researchers wrote that future AI developers may spend less time programming algorithms and more time generating rich virtual worlds in which to train them.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">In a <a href="https://arxiv.org/pdf/2107.12808.pdf" style="box-sizing:border-box;background-color:transparent;color:rgb(237,102,41);text-decoration-line:none">new paper released this week</a> on the preprint server arXiv, it would seem they’re taking the latter part of that prediction very seriously.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">The paper’s authors said they’ve created an endlessly challenging virtual playground for AI. The world, called XLand, is a vibrant video game managed by an AI overlord and populated by algorithms that must learn the skills to navigate it.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">The game-managing AI keeps an eye on what the game-playing algorithms are learning and automatically generates new worlds, games, and tasks to continuously confront them with new experiences.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">The team said some veteran algorithms faced 3.4 million unique tasks while playing around 700,000 games in 4,000 XLand worlds. But most notably, they developed a general skillset not related to any one game, but useful in all of them.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">These skills included experimentation, simple tool use, and cooperation with other players. General skills in hand, the algorithms performed well when confronted with new games, including more complex ones, such as capture the flag, hide and seek, and tag.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">This, the authors say, is a step towards solving a major challenge in deep learning. Most algorithms trained to accomplish a specific task—like, in DeepMind’s case, to win at games such as Go or Starcraft—are savants. They’re superhuman at the one task they know and useless at the rest. They can defeat world champions at Go or chess, but have to be retrained from scratch to do anything else.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">By presenting deep reinforcement learning algorithms with an open-ended, always-shifting world to learn from, DeepMind says their algorithms are beginning to demonstrate “zero-shot” learning at new never-before-seen tasks. That is, they don’t need retraining to perform novel tasks at a decent level—sight-unseen.</font></p><p style="box-sizing:border-box;font-family:proxima-nova,sans-serif;line-height:26px;margin-top:0px;margin-bottom:26px"><font size="4">This is a step towards more generally capable algorithms that can interact, navigate, and solve problems in the also-endlessly-novel real world."<br></font></p><div><font size="4"><a href="https://singularityhub.com/2021/08/01/deepminds-vibrant-new-virtual-world-trains-flexible-ai-with-endless-play">https://singularityhub.com/2021/08/01/deepminds-vibrant-new-virtual-world-trains-flexible-ai-with-endless-play</a></font><br></div></div>