<div dir="ltr"><br><div class="gmail_extra"><br><div class="gmail_quote">On Fri, Apr 3, 2015 at 8:20 PM, Robin D Hanson <span dir="ltr"><<a href="mailto:rhanson@gmu.edu" target="_blank">rhanson@gmu.edu</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left-width:1px;border-left-color:rgb(204,204,204);border-left-style:solid;padding-left:1ex">



<div style="word-wrap:break-word">
On Mar 26, 2015, at 12:07 AM, Rafal Smigrodzki <<a href="mailto:rafal.smigrodzki@gmail.com" target="_blank">rafal.smigrodzki@gmail.com</a>> wrote:
<div>
<blockquote type="cite">
<div dir="ltr">
<div class="gmail_extra">
<div class="gmail_quote">
<div>### Here I am not so optimistic - the ease of making copies means the substrate is likely to be crowded. Also, there will be a trade off between spawning independently goal-oriented processes (copies) and running non-sentient optimization and
 search processes. A single conscious mind could elect to use available resources for e.g. exhaustive searches of solution spaces to different problems. Or it could choose to make many copies of itself. Which strategy would spread would depend on the fitness
 payoffs: If non-sentient processes (=supercomputing) produce valuable excludable goods (i.e. intellectual property or new physical resources) that you can protect from thieves and sell for more energy/matter than can be bought from the labor of copies, then
 the supercomputing strategy would predominate. Otherwise, breeders would swamp the substrate.</div>
</div>
</div>
</div>
</blockquote>
<div><br>
</div>
<div>In a competitive world the ratio of computer hardware spend running minds like humans to "non-sentient optimization and search processes” depends on the relative effectiveness of the later compared to the former. But I don’t see what high levels of theft
 have to do with it. If there is a lot of theft then how that changes things depends on what kinds of things are easier to steal, and what kinds of abilities are better at doing and preventing theft. If both are equally easy or hard to steal, and if the efficient
 ratio of minds like humans and non-sentient processes is the same for doing and preventing theft as it is for other useful production, then we wouldn’t expect more theft to change that relative ratio. </div></div></div></blockquote><div><br></div><div>### I am assuming that there is a trade-off between the spawning copies and supercomputing new solutions - if you spawn copies, ceteris paribus, you are less able to supercompute. Assuming an identical amount of starting resources (matter+energy)x time, the breeder can never find the solutions accessible to the supercomputer, simply because the resources are fungible and expending them towards breeding precludes other achievements. So there is a difference in the relative effectiveness between the two strategies in terms of finding solutions to problems, especially over large time horizons. The complexity of thinking is cumulative, breeding is not.</div><div><br></div><div>In a world without theft (where theft may include direct invasion of the computing substrate, not just IP theft), the supercomputer is not at risk of losing resources it gains through making inventions over long periods of time. Given the law of comparative advantage, a supercomputer survives under a wide range of values for payoffs from supercomputing vs. labor of copies. It would not lose over time if it could buy enough resources to sustain itself, and it would overtake the world if it could buy enough resources to grow.</div><div><br></div><div>You are correct, introduction of theft would not immediately change things under the assumptions you spelled out - i.e. supercomputers and breeders are suffering equal losses and making equal gains per unit of time due to theft. However, for this to be the case, you would need a surprising parity between a number of processes - e.g. breeders stealing from supercomputers, supercomputers stealing from breeders, the efficiency of conversion of stolen goods into breeding, the efficiency of converting stolen goods into supercomputing, and perhaps others that I can't think about now. Therefore I would expect that the existence of theft would change the relative fitness of breeding vs. supercomputing. Of course, it is conceivable that supercomputers might be better at theft than breeders. In the living world there are situations where theft by supercomputers vastly wins over breeders - we are the supercomputers, and we feed on massive numbers of stupid beings. In other situations however, small stupid things eat us alive. I cannot begin to predict which conditions would obtain in the computational substrate. We have insufficient data. It might be useful to think through the details of conceivable strategies of growth, breeding, resource acquisition, and try to tie them to what we know about the physics of computation and the mathematics of resource control (i.e. cryptography, game theory) but this is an endeavor beyond the scope of an ExI post.<br></div><div><br></div><div>Let me just elaborate on the world without theft. New resources of matter are won and divided between breeders and supercomputers depending on their relative ability to take over unowned resources. Let's assume that the amount of matter/energy available would remain constant after all unowned resources are taken over, and there is an initial ratio of mass of supercomputers to breeders.  How it would change over time would now depend their relative ability to produce exchangeable units of value. Please note that if the breeders are only interested in increasing their numbers, they would not trade with supercomputers - there would be nothing they need that supercomputers could offer, and under these assumptions the ratio would remain constant until the death of the universe. However, over time there would be a change in the internal state of breeders vs. supercomputers. Breeders, being less able to generate new solutions, would effectively remain in a form of stasis, unchanging in numbers or internal complexity over long periods of time. This is approximated by a steady-state bacterial culture fed constant amount of feed - it just stays there with minor variations as new mutations sweep through the population. On the other hand, supercomputers would accumulate change over long periods of time - they would keep finding new solutions, exploring new mathematics - by not using resources to generate conscious thought they would innovate. If the innovations produced new resources (e.g. a magical gate to an NP-complete oracle), the ratio of computation carried out by supercomputers to the computation by breeders might increase. </div><div><br></div><div>I leave it for the reader to introduce intellectual property trade and theft into this world and see how it works out under different assumptions about their relative impacts on breeders and supers.</div><div><br></div><div>Rafal</div></div>
</div></div>