<div dir="ltr"><font size="4" face="tahoma, sans-serif"><b>Gödel Escher Bach by Douglas Hofstadter is one of my all-time favorite books, it and Drexler's Engines Of Creation have done the most in shaping my current worldview, but the huge advance in AI made during the last 3 to 4 years <span class="gmail_default" style="">have</span> made it clear that many of the ideas expressed in Hofstetter's book are just wrong, and I think even Hofstetter would now admit that. Quantum computing expert Scott Aaronson talks about this in a recent post<span class="gmail_default" style="">:</span></b></font><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><span style="color:rgb(16,21,23);font-family:-apple-system,system-ui,blinkmacsystemfont,"Segoe UI",Roboto,Oxygen-Sans,Ubuntu,Cantarell,"Helvetica Neue",sans-serif;font-size:16px"><br></span></div><font size="4"><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><b><i>"</i></b></span><b><i>A central thesis that many readers, including me, took from Douglas Hofstadter’s Gödel Escher Bach when young was that the secret of intelligence (and therefore, of AI) was going to have a lot to do with self-referentiality and “strange loops.”</i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><i> </i>[...]<i> </i></span><i>LLMs’ ability to talk about themselves popped out as a byproduct of their ability to talk about anything in the discourse universe they were trained on.<u> The big, old ideas about intelligence that ended up basically vindicated were the ideas about how intelligence is about prediction, and prediction is about compression, and compression is about finding better and better upper bounds on Kolmogorov complexity. Not the self-reference stuff</u>.</i><span class="gmail_default" style="font-style:italic;font-family:arial,helvetica,sans-serif"> </span><span class="gmail_default" style="font-family:arial,helvetica,sans-serif">[...]</span><span class="gmail_default" style="font-style:italic;font-family:arial,helvetica,sans-serif"> </span><i>The idea that you’d need explicit self-referentiality before you could get convincing and world-changing conversational intelligence? Let it be buried in a Westminster Abbey or Arlington National Cemetery for the most important wrong ideas in human history — geocentrism, Aristotle’s teleological physics, aether, phlogiston, Freud’s psychology, Marx’s prediction of a workers’ uprising followed by a classless utopia, etc. But buried it needs to be</i><span class="gmail_default" style="font-style:italic;font-family:arial,helvetica,sans-serif">."</span></b></font><div><div><br></div><div><br></div><div><font size="4" face="tahoma, sans-serif"><b><a href="https://scottaaronson.blog/">LLMs and self-referentiality</a><br></b></font></div><div><font size="4" face="tahoma, sans-serif"><br></font></div><div><div style="color:rgb(80,0,80)"><b><font face="tahoma, sans-serif"><font size="4">John K Clark    See what's on my list at  </font><font size="6"><a href="https://groups.google.com/g/extropolis" rel="nofollow" target="_blank">Extropolis</a></font></font></b></div><div style=""><b style=""><font face="tahoma, sans-serif" style=""><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><font size="1" style="" color="#f3f3f3">7ui</font></span><br></font></b></div><br class="gmail-Apple-interchange-newline"></div><div><font size="4"><b><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></i></b></font></div><div><font size="4"><b><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></i></b></font></div><div><font size="4"><b><i><span class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></span></i></b></font></div></div></div>