<div dir="ltr"><div dir="ltr"><br></div><br><div class="gmail_quote"><div dir="ltr" class="gmail_attr">On Thu, Jul 18, 2019 at 12:39 PM John Clark <<a href="mailto:johnkclark@gmail.com" target="_blank">johnkclark@gmail.com</a>> wrote:<br></div><blockquote class="gmail_quote" style="margin:0px 0px 0px 0.8ex;border-left:1px solid rgb(204,204,204);padding-left:1ex"><div dir="ltr"><div dir="ltr"><div style="font-family:arial,helvetica,sans-serif"><span style="font-family:Arial,Helvetica,sans-serif">On Thu, Jul 18, 2019 at 12:17 PM Dylan Distasio <<a href="mailto:interzone@gmail.com" target="_blank">interzone@gmail.com</a>> wrote:</span></div></div><div class="gmail_quote"><div><br></div><div style="font-family:arial,helvetica,sans-serif"><font size="4">If the behavior of the code changed between <span style="font-family:Arial,Helvetica,sans-serif">iterations (and it has) then *something* must have changed, if it wasn't the code then what on earth was it? </span></font><span style="font-family:Arial,Helvetica,sans-serif;font-size:large">I insist that the code HAS changed between iterations, and it changed in a way that the human programer did not predict and does not understand.</span></div><div style="font-family:arial,helvetica,sans-serif"><br></div></div></div></blockquote><div><br></div><div>I don't know if we're arguing semantics over the definition of code, but I can assure you, it does NOT change between iterations.  If you write a deep learning model in python (or any other language),  the python code IS unchanged between iterations.   The model itself is stored as data points in multidimensional arrays.  Linear algebra is used to calculate changes in the data as it feeds through the network based on default weights applied to each node.   Gradient descent is typically used after that forward feed through the net to attempt to get closer to a global minimum (although that can be a challenge depending on the landscape as it may get stuck on local minima) and then calculus is used to feed the results of that iteration back through the network to adjust the weights of each node.  Rinse and repeat.   Throughout this process, the code itself does not change.</div><div><br></div><div>Some AI researchers have argued replacing code with the way these algos work:</div><div><a href="https://medium.com/@karpathy/software-2-0-a64152b37c35" target="_blank">https://medium.com/@karpathy/software-2-0-a64152b37c35</a>  <br></div><div>  </div></div></div>