<div dir="ltr">I commented on the Lex Friedman interview with Oriol Vinyals on YouTube:<div><br><div>The tokens seem to be analogous to the patterns of neural activation in the brain that are sent over long-range intracortical pathways. Long-range connections underlie conscious processing and allow cross-modality inference. Packets of information sent over the long-range connections represent usually the highest-level features recognized by local cortical networks and recurrent processing of such features in multiple cortical areas allows the extraction of ever more complex and abstract representations of multi-modality patterns of information. This is fascinatingly similar to GATO which extracts features of inputs in different special purpose modules in the form of tokens and proceeds to extract higher level features by juxtaposing tokens sent from different modules. Very clever and very brain-like.<br></div><div><div><br></div>-- <br><div dir="ltr" class="gmail_signature" data-smartmail="gmail_signature"><div dir="ltr"><div>Rafal Smigrodzki, MD-PhD<br>Schuyler Biotech PLLC</div></div></div></div></div></div>