<div dir="ltr"><div><span style="font-size:12.8px">Well, small, new humans learn ethics using game theory, supplanted by parental and social inculcation of local culture. I propose the safest way for AGI's to develop a sense of ethics is the same way - and that's certainly a safer approach than imagining that we could program something better. </span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">My concern is due to current discussions both in the media and at professional conferences of programming AGI's with some form of altruism towards humans. The unintended consequences of this could be devastating - this has been known (and parodied) for decades already. Yet people still talk about, and champion, this altruistic design as a goal. It's just not a good idea.  </span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">Early UNIX system designs had all sorts of weak security measures back in the day - out-of-the-box open ports, sendmail bugs, clear-text password files, the ability to delete admin log files, etc etc etc. Because when UNIX was designed, no one thought how it might one day used so widely. Fixing these security flaws has been very expensive and very time-consuming. Let's not play around with programming ethics while we are still in the dark as to how to even define ethics - and have it turn out to be likewise very expensive and difficult to redesign 20 years from now.</span></div><div><span style="font-size:12.8px"><br></span></div><div><span style="font-size:12.8px">--Regina</span></div><div><span style="font-size:12.8px"><br></span></div><span style="font-size:12.8px"><div><span style="font-size:12.8px"><br></span></div>On 27 May 2016 at 13:57, Re Rose wrote:</span><br style="font-size:12.8px"><span style="font-size:12.8px"><snip></span><br style="font-size:12.8px"><span style="font-size:12.8px">> All human ethics originate from the practicalities (constraints) on</span><br style="font-size:12.8px"><span style="font-size:12.8px">> interactions as described by game theory. Game theory works because each</span><br style="font-size:12.8px"><span style="font-size:12.8px">> individual (or agent) acts in their own self-interest to maximize their own</span><br style="font-size:12.8px"><span style="font-size:12.8px">> payoff. Also to consider is that for any one agent and within a single,</span><br style="font-size:12.8px"><span style="font-size:12.8px">> local culture, that agent will necessarily be involved in many interacting</span><br style="font-size:12.8px"><span style="font-size:12.8px">> situations (or games) and the intersection of these would be non-linear (and</span><br style="font-size:12.8px"><span style="font-size:12.8px">> probably dynamic) combinations of all the game payoffs. This makes</span><br style="font-size:12.8px"><span style="font-size:12.8px">> prediction - and programming - of "correct" ethical behavior in such</span><br style="font-size:12.8px"><span style="font-size:12.8px">> situations impossible.</span><br style="font-size:12.8px"><span style="font-size:12.8px">></span><br style="font-size:12.8px"><span style="font-size:12.8px">> Future AGIs could and should be programmed - or simply allowed - to develop</span><br style="font-size:12.8px"><span style="font-size:12.8px">> their own ethics by acting as independent agents and maximizing their own</span><br style="font-size:12.8px"><span style="font-size:12.8px">> utility for a given situation. (Defining utility for an AGI - that's a</span><br style="font-size:12.8px"><span style="font-size:12.8px">> different topic!!) As far as weak AIs, such as Google self-driving cars,</span><br style="font-size:12.8px"><span style="font-size:12.8px">> programming them to, for example, drive off the road as opposed to hitting</span><br style="font-size:12.8px"><span style="font-size:12.8px">> the stray baby carriage in front of them, is not programming ethics but</span><br style="font-size:12.8px"><span style="font-size:12.8px">> building safety features.</span><br style="font-size:12.8px"><span style="font-size:12.8px">></span><br style="font-size:12.8px"><br style="font-size:12.8px"><span style="font-size:12.8px">As Anders pointed out humans 'live and let live' different ethical</span><br style="font-size:12.8px"><span style="font-size:12.8px">systems because everybody is roughly equal. Where they are not, the</span><br style="font-size:12.8px"><span style="font-size:12.8px">unbelievers tend to get wiped out (or reduced to small enclaves).</span><br style="font-size:12.8px"><br style="font-size:12.8px"><span style="font-size:12.8px">I don't like the idea of an AGI using game theory to maximise its own</span><br style="font-size:12.8px"><span style="font-size:12.8px">payoff. At least we should instruct it that 'might doesn't make</span><br style="font-size:12.8px"><span style="font-size:12.8px">right'. Many humans could do with that instruction as well.</span><br style="font-size:12.8px"><br style="font-size:12.8px"><span style="font-size:12.8px">BillK</span></div>