<div dir="ltr">There's a running thread in LLM discourse about how LLMs don't have a world model and therefore are a non-starter on the path to AGI.<div><br></div><div>And indeed, on a surface level, this is true. LLMs are a function - they map token vectors to other token vectors. No cognition involved.</div><div><br></div><div>And yet, I wonder if this perspective is missing something important. The token vectors LLMs are working with aren't just structureless streams of tokens. they're human language - generated by human-level general processing.</div><div><br></div><div>That seems like it's the secret sauce - the ginormous hint that got ignored by data/statisticis-centric ML researchers. When you learn how to map token streams with significant internal structure, the function your neural net is being trained to approximate will inevitably come to implement at least some of the processing that generated your token streams. </div><div><br></div><div>It won't do it perfectly, and it'll be broken in weird ways. But not completely nonfunctional. Actually pretty darned useful, A direct analogy that comes to mind would be training a deep NN on mapping assembler program listings to output. What you will end up with is a learned model that, to paraphrase Greenspun's Tenth Rule, "contains an ad hoc, informally-specified, bug-ridden, slow implementation of half of" a Turing-complete computer.</div><div><br></div><div>The token streams GPT is trained on represent an infinitesimal fraction of a tiny corner of the space of all token streams, but they're token streams generated by human-level general intelligences. This seems to me to suggest that an LLM could very well be implementing significant pieces of General Intelligence, and that this is why they're so surprisingly capable.</div><div><br></div><div>Thoughts?</div><div><br></div><div><br></div></div>