<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=utf-8">
</head>
<body style="word-wrap: break-word; -webkit-nbsp-mode: space; line-break: after-white-space;" class="">
On May 30, 2020, at 6:17 PM, Keith Henson via extropy-chat <<a href="mailto:extropy-chat@lists.extropy.org" class="">extropy-chat@lists.extropy.org</a>> wrote:
<div>
<blockquote type="cite" class="">
<div class="">
<div class="">Robin D Hanson <<a href="mailto:rhanson@gmu.edu" class="">rhanson@gmu.edu</a>> wrote:<br class="">
<br class="">
(re my objection to copies)<br class="">
<br class="">
<blockquote type="cite" class="">I disagree; I wrote a whole book describing a reasonable world where many copies are made:<br class="">
</blockquote>
<a href="http://secure-web.cisco.com/1srwyFDaQB9JwP2aPmkRXjzBAzQhOpc2mar0Xa6a1R3bSNHDjxy9h-WAArGSJnfqNgdkNlMEDBNqEhSVufW6RI-r3uzru0fPH75gCKBNqMY7MAxJA8yTJClCIUBpNLox8flI-s7X9deyRLKosdk0GBOZf0h-o13wSw_3AKb1PxypKE8-aiG45wMA3JSSG8jFRnVYQc4CM7wioFttRzEYyvSlB7_RUbslHdSIXjvYvTfteQC-xg0ZjBXnwHXiM3CI_uGOswtfavYDbYfwvqCtS1qWPNKBqkXFRUCYUuv-K-_gIHg2vXjjPsAJsLMBfFvz2BiNNdi2ztyWv-bSMjtwTR8ztFVQCNKluDEjIYq3v-KwD7o_UL3iea0cmBR6FbDdcuXLGkJ5e06kzzcDqFdW-hWzan3AxCxBS_nZC54JRr5_X_3-05yNRyrgRU6EDDVGmWAf-nhFJpiVl8lmL2pXiUA/http%3A%2F%2Fageofem.com" class="">http://secure-web.cisco.com/1srwyFDaQB9JwP2aPmkRXjzBAzQhOpc2mar0Xa6a1R3bSNHDjxy9h-WAArGSJnfqNgdkNlMEDBNqEhSVufW6RI-r3uzru0fPH75gCKBNqMY7MAxJA8yTJClCIUBpNLox8flI-s7X9deyRLKosdk0GBOZf0h-o13wSw_3AKb1PxypKE8-aiG45wMA3JSSG8jFRnVYQc4CM7wioFttRzEYyvSlB7_RUbslHdSIXjvYvTfteQC-xg0ZjBXnwHXiM3CI_uGOswtfavYDbYfwvqCtS1qWPNKBqkXFRUCYUuv-K-_gIHg2vXjjPsAJsLMBfFvz2BiNNdi2ztyWv-bSMjtwTR8ztFVQCNKluDEjIYq3v-KwD7o_UL3iea0cmBR6FbDdcuXLGkJ5e06kzzcDqFdW-hWzan3AxCxBS_nZC54JRr5_X_3-05yNRyrgRU6EDDVGmWAf-nhFJpiVl8lmL2pXiUA/http%3A%2F%2Fageofem.com</a><br class="">
<br class="">
And you might be right, nobody has a lock on what the future will turn<br class="">
out to be, certainly not me.<br class="">
<br class="">
However, I have two objections.  My work in evolutionary psychology<br class="">
leads me to feel very uncomfortable about using humans as a model for<br class="">
building minds.  Humans have traits like capture-bonding and those<br class="">
which lead up to wars that were selected. Having one of those (or ones<br class="">
we don't know about) activate in a powerful AI seems intolerably<br class="">
dangerous.<br class="">
</div>
</div>
</blockquote>
<div><br class="">
</div>
That same argument would suggest trying to eliminate the human minds in meat brains, as well as those in artificial brains. But if you see human brains as holding most of the value in the world, you’ll want more of them. </div>
<div><br class="">
<blockquote type="cite" class="">
<div class="">
<div class="">The other objection is right out of economics.  If it is cheap to copy<br class="">
something its value falls to the marginal cost.  I.e., one Michael<br class="">
Jordan is valuable, at least to him.  10,000 of them would have an<br class="">
interesting time finding teams to play with.<br class="">
</div>
</div>
</blockquote>
<div><br class="">
</div>
The fact of diminishing marginal value is not at all an economic argument against larger quantities of anything.</div>
<div><br class="">
<blockquote type="cite" class="">
<div class="">
<div class="">But, as I freely admit, you might be right and a vast number of copies<br class="">
could be the path to utopia.<br class="">
</div>
</div>
</blockquote>
<div><br class="">
</div>
I’m not claiming utopia; I’m not sure the concept is even coherent. </div>
<div><br class="">
</div>
<div class="">
<div style="color: rgb(0, 0, 0); letter-spacing: normal; orphans: auto; text-align: start; text-indent: 0px; text-transform: none; white-space: normal; widows: auto; word-spacing: 0px; -webkit-text-stroke-width: 0px; word-wrap: break-word; -webkit-nbsp-mode: space; -webkit-line-break: after-white-space;" class="">
Robin Hanson <a href="mailto:rhanson@gmu.edu" class="">rhanson@gmu.edu</a> <br class="">
Future of Humanity Inst., Oxford University<br class="">
Assoc. Prof. Economics, George Mason University<br class="">
See my books: <a href="http://ageofem.com" class="">http://ageofem.com</a> <a href="http://elephantinthebrain.com" class="">
http://elephantinthebrain.com</a><br class="">
<br class="">
<br class="">
<br class="">
<br class="">
<br class="">
<br class="">
<br class="">
<br class="">
</div>
</div>
<br class="">
</body>
</html>