<div dir="auto"><br><br><div class="gmail_quote" dir="auto"><div dir="ltr" class="gmail_attr">On Thu, May 16, 2019, 7:29 PM John Clark <<a href="mailto:johnkclark@gmail.com">johnkclark@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0 0 0 .8ex;border-left:1px #ccc solid;padding-left:1ex"><div dir="ltr"><div dir="ltr"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"> <br></div></div><div class="gmail_quote"><div class="gmail_default" style="font-family:arial,helvetica,sans-serif"><br></div><font size="4">Incidentally this <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">sort of thing </span>could cause social problems in the very near future. Imagine being denied a loan because a AI, which has proven itself over and over again to be superhumanly good at this, has decided  <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">not to give you a loan because you are</span> a bad credit risk. You look at your credit history and it looks pretty good to you and <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">in fact it looks good </span>to most people<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">,</span> so you ask the AI <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">exactly </span>what <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">is it that</span> you don't like, but just as it can't explain why it made a particular Chess move it can't explain why your loan was denied except to say <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">"</span>it just didn't look right to me<span class="gmail_default" style="font-family:arial,helvetica,sans-serif">"</span>. You would probably be frustrated by that response, and what would make it even worse is the knowledge that it's hunch <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">is </span>probably right, <span class="gmail_default" style="font-family:arial,helvetica,sans-serif">you probably wouldn't be able to repay it.</span> </font></div></div></blockquote></div><div dir="auto"><br></div><div dir="auto">John, this is a very valid concern.  I work in the financial industry and can tell you there is already a lot of pushback from regulators on any type of black box AI used for these purposes.  Generally, large financial firms need to be able to explain exactly why a decision was made which discourages the use of deep learning algos and incentivizes algos like a tree based approach where it's more obvious what went into a decision. </div><div class="gmail_quote" dir="auto"></div></div>