<div dir="ltr"><div class="gmail_extra"><div class="gmail_quote">On Mon, Oct 27, 2014 at 1:12 PM, BillK <span dir="ltr"><<a href="mailto:pharos@gmail.com" target="_blank">pharos@gmail.com</a>></span> wrote:<br><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><span class="">On Mon, Oct 27, 2014 at 6:47 PM, Kelly Anderson  wrote:<br>
> I would phrase this as "AI will be incredibly dangerous if we do get it<br>
> right." If we can't get intelligence, then it won't be that dangerous. If we<br>
> get AGI, then almost by definition it will be dangerous. I think we have<br>
> exactly ONE chance to get the initial training of AGIs correct. We should<br>
> focus on raising the first generation of AGIs with a generous dose of<br>
> compassion training and the like. Sort of like raising small children with<br>
> good morals, etc.<br>
><br>
<br>
</span>It's already happening. We will soon be surrounded by AI in everything we touch.<br></blockquote><div><br></div><div>I can't argue with that, but we have not yet achieved anything that even feels remotely dangerous, except if it all gets blown away in a solar storm or something like that. That is, for now it is almost all positive (unless you don't like Internet porn, jihadists communicating over twitter or something along those lines) but in the future, as it reaches general intelligence and starts forming its own goals, that's when I get worried. Yes, I might get turned down for cashing a check at Walmart because the AI says this check smells funny, but that's not a super huge negative impact.</div><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
<<a href="http://www.wired.com/2014/10/future-of-artificial-intelligence/" target="_blank">http://www.wired.com/2014/10/future-of-artificial-intelligence/</a>><br>
Quotes:</blockquote><div><br></div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">Like all utilities, AI will be supremely boring, even as it<br>
transforms the Internet, the global economy, and civilization. It will<br>
enliven inert objects, much as electricity did more than a century<br>
ago. Everything that we formerly electrified we will now cognitize.<br>
This new utilitarian AI will also augment us individually as people<br>
(deepening our memory, speeding our recognition) and collectively as a<br>
species.<br></blockquote><div><br></div><div>Until the day it decides to wipe us out. Then we'll notice for a minute. Then it won't matter.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">In fact, this won't really be intelligence, at least not as we've come<br>
to think of it. Indeed, intelligence may be a liability--especially if<br>
by "intelligence" we mean our peculiar self-awareness, all our frantic<br>
loops of introspection and messy currents of self-consciousness. We<br>
want our self-driving car to be inhumanly focused on the road, not<br>
obsessing over an argument it had with the garage.<br></blockquote><div><br></div><div>I don't consider autonomous cars to be the dangerous sort of AGI. Reference intelligent elevators in the Hitchhiker's Guide.</div><div> </div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex">
<br>
What we want instead of intelligence is artificial smartness. Unlike<br>
general intelligence, smartness is focused, measurable, specific.<br>
-----------<br><br></blockquote><div>I don't worry about that stuff too much except that governments might use it to become ever more dictatorial. "Hey, we detected that you might be thinking about doing some terrorist stuff here in a year or two, so would you please go get in the big white van over there?"</div><div><br></div><div>-Kelly</div><div> </div></div><br></div></div>