updated book

This commit is contained in:
Morten Hjorth-Jensen
2021-10-19 08:42:04 +02:00
parent a29107e743
commit a0360cf460
102 changed files with 15480 additions and 1360 deletions
+67 -60
View File
@@ -218,6 +218,11 @@
14. Building a Feed Forward Neural Network
</a>
</li>
<li class="toctree-l1">
<a class="reference internal" href="chapter11.html">
15. Solving Differential Equations with Deep Learning
</a>
</li>
</ul>
</div>
@@ -1106,10 +1111,10 @@ covariance matrix through the <strong>np.linalg.eig()</strong> function.</p>
</div>
</div>
<div class="cell_output docutils container">
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>-0.055529303095955385
3.9154537458386387
[[1.0003451 2.94327895]
[2.94327895 9.80021057]]
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>0.05805002932374468
4.309519578637819
[[ 1.23033954 3.6804336 ]
[ 3.6804336 11.92527504]]
</pre></div>
</div>
</div>
@@ -1146,10 +1151,10 @@ a more brute force way. Here we scale the mean values for each column of the des
</div>
</div>
<div class="cell_output docutils container">
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>0.095786152583691
1.5864689451163851
[[1. 0.6713619]
[0.6713619 1. ]]
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>0.09198004868226574
1.9493620821393187
[[1. 0.68904673]
[0.68904673 1. ]]
</pre></div>
</div>
</div>
@@ -1179,30 +1184,30 @@ this matrix we easily see that it is a positive definite matrix.</p>
</div>
</div>
<div class="cell_output docutils container">
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>[[-0.10979444 1.25912505]
[ 2.17273709 7.48017006]
[ 0.31520842 0.66152576]
[-0.07076926 -0.44655382]
[ 0.24348403 0.38561052]
[-0.57984245 -0.86011441]
[ 0.42375621 -1.21244261]
[-0.2407922 0.56831157]
[-2.23691315 -6.6936767 ]
[ 0.08292574 -1.14195542]]
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>[[-1.13352411e+00 -4.86145508e+00]
[ 5.06793578e-01 2.24339370e+00]
[ 4.08359441e-03 -1.44109702e+00]
[-2.02972824e-01 -1.17393096e+00]
[ 9.99703985e-01 5.00745587e+00]
[-1.05430325e-01 3.31446832e-02]
[ 4.31082669e-01 6.38783434e-01]
[ 3.40259257e-02 5.84099240e-01]
[-8.44862840e-01 -2.71546272e+00]
[ 3.11100342e-01 1.68506886e+00]]
0 1
0 -0.109794 1.259125
1 2.172737 7.480170
2 0.315208 0.661526
3 -0.070769 -0.446554
4 0.243484 0.385611
5 -0.579842 -0.860114
6 0.423756 -1.212443
7 -0.240792 0.568312
8 -2.236913 -6.693677
9 0.082926 -1.141955
0 -1.133524 -4.861455
1 0.506794 2.243394
2 0.004084 -1.441097
3 -0.202973 -1.173931
4 0.999704 5.007456
5 -0.105430 0.033145
6 0.431083 0.638783
7 0.034026 0.584099
8 -0.844863 -2.715463
9 0.311100 1.685069
0 1
0 1.000000 0.931066
1 0.931066 1.000000
0 1.000000 0.958527
1 0.958527 1.000000
</pre></div>
</div>
</div>
@@ -1259,37 +1264,37 @@ this matrix we easily see that it is a positive definite matrix.</p>
<div class="cell_output docutils container">
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span> 0 1 2 3 4 5 6 7 \
0 0.0 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000
1 0.0 0.090107 0.080265 0.095180 0.087148 0.079801 0.089928 0.082666
2 0.0 0.080265 0.073052 0.087032 0.080565 0.074557 0.083797 0.077645
3 0.0 0.095180 0.087032 0.106946 0.099079 0.091756 0.104887 0.097150
4 0.0 0.087148 0.080565 0.099079 0.092378 0.086076 0.098028 0.091253
5 0.0 0.079801 0.074557 0.091756 0.086076 0.080678 0.091542 0.085627
6 0.0 0.089928 0.083797 0.104887 0.098028 0.091542 0.105387 0.098187
7 0.0 0.082666 0.077645 0.097150 0.091253 0.085627 0.098187 0.091855
8 0.0 0.076121 0.072046 0.090099 0.085041 0.080173 0.091566 0.086006
9 0.0 0.070212 0.066949 0.083672 0.079351 0.075151 0.085484 0.080612
10 0.0 0.083337 0.078717 0.099609 0.093725 0.088085 0.101781 0.095275
11 0.0 0.076774 0.072995 0.092276 0.087205 0.082303 0.094708 0.088983
12 0.0 0.070866 0.067811 0.085627 0.081270 0.077021 0.088260 0.083228
13 0.0 0.065545 0.063114 0.079598 0.075869 0.072197 0.082382 0.077968
14 0.0 0.060748 0.058856 0.074130 0.070955 0.067793 0.077026 0.073162
1 0.0 0.082212 0.080493 0.081616 0.077560 0.073611 0.073557 0.069528
2 0.0 0.080493 0.080583 0.082413 0.079267 0.075998 0.075624 0.072071
3 0.0 0.081616 0.082413 0.087107 0.084071 0.080840 0.082136 0.078414
4 0.0 0.077560 0.079267 0.084071 0.081732 0.079085 0.080069 0.076853
5 0.0 0.073611 0.075998 0.080840 0.079085 0.076946 0.077662 0.074900
6 0.0 0.073557 0.075624 0.082136 0.080069 0.077662 0.079815 0.076731
7 0.0 0.069528 0.072071 0.078414 0.076853 0.074900 0.076731 0.074079
8 0.0 0.065794 0.068700 0.074858 0.073728 0.072170 0.073713 0.071447
9 0.0 0.062352 0.065534 0.071499 0.070739 0.069526 0.070812 0.068888
10 0.0 0.065582 0.068203 0.075503 0.074125 0.072352 0.074961 0.072447
11 0.0 0.062022 0.064909 0.071917 0.070915 0.069494 0.071782 0.069625
12 0.0 0.058765 0.061857 0.068581 0.067904 0.066793 0.068790 0.066951
13 0.0 0.055788 0.059038 0.065492 0.065096 0.064256 0.065991 0.064434
14 0.0 0.053069 0.056441 0.062636 0.062486 0.061885 0.063380 0.062076
8 9 10 11 12 13 14
0 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000 0.000000
1 0.076121 0.070212 0.083337 0.076774 0.070866 0.065545 0.060748
2 0.072046 0.066949 0.078717 0.072995 0.067811 0.063114 0.058856
3 0.090099 0.083672 0.099609 0.092276 0.085627 0.079598 0.074130
4 0.085041 0.079351 0.093725 0.087205 0.081270 0.075869 0.070955
5 0.080173 0.075151 0.088085 0.082303 0.077021 0.072197 0.067793
6 0.091566 0.085484 0.101781 0.094708 0.088260 0.082382 0.077026
7 0.086006 0.080612 0.095275 0.088983 0.083228 0.077968 0.073162
8 0.080846 0.076068 0.089250 0.083659 0.078529 0.073827 0.069519
9 0.076068 0.071841 0.083682 0.078720 0.074154 0.069956 0.066098
10 0.089250 0.083682 0.099504 0.092936 0.086920 0.081414 0.076377
11 0.083659 0.078720 0.092936 0.087096 0.081732 0.076810 0.072296
12 0.078529 0.074154 0.086920 0.081732 0.076954 0.072557 0.068515
13 0.073827 0.069956 0.081414 0.076810 0.072557 0.068633 0.065016
14 0.069519 0.066098 0.076377 0.072296 0.068515 0.065016 0.061783
1 0.065794 0.062352 0.065582 0.062022 0.058765 0.055788 0.053069
2 0.068700 0.065534 0.068203 0.064909 0.061857 0.059038 0.056441
3 0.074858 0.071499 0.075503 0.071917 0.068581 0.065492 0.062636
4 0.073728 0.070739 0.074125 0.070915 0.067904 0.065096 0.062486
5 0.072170 0.069526 0.072352 0.069494 0.066793 0.064256 0.061885
6 0.073713 0.070812 0.074961 0.071782 0.068790 0.065991 0.063380
7 0.071447 0.068888 0.072447 0.069625 0.066951 0.064434 0.062076
8 0.069161 0.066912 0.069940 0.067442 0.065059 0.062803 0.060678
9 0.066912 0.064945 0.067492 0.065289 0.063171 0.061154 0.059245
10 0.069940 0.067492 0.071541 0.068800 0.066196 0.063738 0.061430
11 0.067442 0.065289 0.068800 0.066372 0.064050 0.061846 0.059767
12 0.065059 0.063171 0.066196 0.064050 0.061983 0.060011 0.058141
13 0.062803 0.061154 0.063738 0.061846 0.060011 0.058249 0.056570
14 0.060678 0.059245 0.061430 0.059767 0.058141 0.056570 0.055065
</pre></div>
</div>
</div>
@@ -2145,13 +2150,15 @@ set of <span class="math notranslate nohighlight">\(\lambda\)</span> values.</p>
</div>
<div class="cell_output docutils container">
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>[ 2.03099776 -0.17917768 5.18029127]
Training MSE for OLS
</pre></div>
</div>
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>Training MSE for OLS
0.009163470508352228
Test MSE OLS
0.008675369724976777
</pre></div>
</div>
<img alt="_images/chapter2_249_1.png" src="_images/chapter2_249_1.png" />
<img alt="_images/chapter2_249_2.png" src="_images/chapter2_249_2.png" />
</div>
</div>
<p>Both these example send a clear message. The addition of a