<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Thu, Dec 25, 2014 at 12:55 PM, Robin D Hanson <span dir="ltr"><<a href="mailto:rhanson@gmu.edu" target="_blank">rhanson@gmu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Dec 25, 2014, at 12:47 PM, BillK <<a href="mailto:pharos@gmail.com">pharos@gmail.com</a>> wrote:<br>
><br>
> To quote Seth Shostak of SETI "You don't spend a whole lot of time<br>
> hanging out reading books with your<br>
> goldfish. On the other hand, you don't really want to kill the<br>
> goldfish, either."<br>
<br>
</span>Goldfish don't understand much of anything, so it is hard to talk sensibly<br>
about why they don't understand things. We humans, in contrast, are general<br>
minds, probably capable of understanding many bits of what advanced aliens<br>
might explain to us, if we took the time. So why shouldn't we be able to figure<br>
out some of those things ourselves, without them explaining them to us?</blockquote><div><br></div><div>### This brought me to think about the potential incommensurability of cognitive processes running on distinctly different computational architectures. The architecture of our brainstem is very different from our cortex - the brainstem has hundreds of hardwired nuclei doing complex calculations calibrated genetically, while the cortex has millions of modules dynamically rewiring themselves in response to inputs. We, the cognitive processes that produce language and exchange descriptions of experience (i.e. consciousness) don't really understand our brainstems, which are not that much different from a goldfish, BTW. It's a black box, only 2 inches away from where we are, but inscrutable, except through the roundabout way of neuroscience, and even then vaguely pictured. Understanding in the opposite direction is in principle even more limited. You can't explain what an Anglican is to your brainstem, no matter how you try.</div><div><br></div><div>There are other cognitive processes in existence - for example a von Neumann computer performing translation in strikingly human voice in real time, and yet not conscious (most likely). We don't really understand it in the same way we understand the ideas analyzed by our cortical sheet, even though the program itself is still written by humans and largely tractable.</div><div><br></div><div>Advanced AIs may have radically different cognitive architectures, like crosses between a brainstem, a cortex, a von Neumann machine and other things, not yet invented. They may be also much bigger than us, with not just different but larger thoughts, weaving many more parallel and interdependent strands of inference than what could fit in out minds, like some hellish sorites.</div><div><br></div><div>Sure, an idealized Turing machine is a general computer that can emulate anything, a Watson could run on an 8080 with a lot of memory but the speed penalty involved means that realistically, you can't really use a single 8080 to power thought. We may have some general reasoning capacity but the task of really understanding a truly superhuman mind running on a million tons of computronium may be vastly beyond our ability to comprehend, both on a qualitative level (due to different architecture) and quantitative level (due to irreducible complexity of their thoughts).</div><div><br></div><div>RafaƂ</div></div>
</div></div>