<div dir="auto"><div><br><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Tue, Dec 26, 2023, 11:42 PM Keith Henson via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org">extropy-chat@lists.extropy.org</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">I wonder if AI might be less dangerous and less useful than it seems.<br>
Intelligence is the application of knowledge to making decisions. The<br>
LLM to date have depended on human knowledge for training. The point<br>
here is that there may be a limit to knowledge. For example, all the<br>
knowledge in the universe is not going to find a new element between<br>
carbon and nitrogen.<br></blockquote></div></div><div dir="auto"><br></div><div dir="auto">While existing AI is trained on human generated data, there's no limit to the amount of data an AI might choose to generate itself based on self-play, simulation, or exploration of the unlimited mathematical/platonic reality, or what you might call the realm of imagination.</div><div dir="auto"><br></div><div dir="auto">Left to its own devices, and provided unlimited computational resources, I think an AI could overcome an initial dearth of knowledge. The AIXI algorithm for instance, starts with zero knowledge but achieves perfect universal intelligence. Similarly, Google's AlphaZero was provided only the rules of chess, but through self-play quickly discovered and mastered all the common openings that took humans centuries to discover. And Koza's "invention machine" applies principles of evolution to come up with novel ideas.</div><div dir="auto"><br></div><div dir="auto">Jason </div></div>