update of exercises
This commit is contained in:
Morten Hjorth-Jensen
Binary file not shown.
Binary file not shown.
@@ -2,7 +2,7 @@
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "60ef4ca3",
|
||||
"id": "b2937d10",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -14,7 +14,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "6584f2f2",
|
||||
"id": "3dd00d19",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -29,7 +29,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "f5f930b9",
|
||||
"id": "82a19a1d",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -69,7 +69,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "a9d8df6c",
|
||||
"id": "f74f69af",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -107,7 +107,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "925a54fa",
|
||||
"id": "1b52d47a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -119,7 +119,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "1f3c8e67",
|
||||
"id": "3e6910cb",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -134,7 +134,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "66ebe4a2",
|
||||
"id": "90a3b78a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -164,7 +164,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "454750aa",
|
||||
"id": "d6a3ab1e",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -177,7 +177,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"id": "8308d3ec",
|
||||
"id": "152123b0",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -255,7 +255,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "bef962e6",
|
||||
"id": "73319f0a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -265,7 +265,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "70caa854",
|
||||
"id": "a7e0c47a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -276,7 +276,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 2,
|
||||
"id": "a1711478",
|
||||
"id": "dbbacc67",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -344,7 +344,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cd9d7329",
|
||||
"id": "1cac501a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -356,12 +356,14 @@
|
||||
"to use it. Before we get into the details of the neural network, we\n",
|
||||
"will first present some implementations of various schedulers, cost\n",
|
||||
"functions and activation functions that can be used together with the\n",
|
||||
"neural network."
|
||||
"neural network.\n",
|
||||
"\n",
|
||||
"The codes here were developed by Eric Reber and Gregor Kajda during spring 2023."
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "8b9664dc",
|
||||
"id": "dd153528",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -383,7 +385,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 3,
|
||||
"id": "97ba7a9a",
|
||||
"id": "f55eea63",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -524,7 +526,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "b1b3d6d1",
|
||||
"id": "1a9bcb3e",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -540,7 +542,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 4,
|
||||
"id": "21b4f017",
|
||||
"id": "86013cb4",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -553,7 +555,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "eaf81efe",
|
||||
"id": "535331f6",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -565,7 +567,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 5,
|
||||
"id": "3464a296",
|
||||
"id": "7e0f6b5a",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -587,7 +589,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "d40c1673",
|
||||
"id": "f018ae57",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -603,7 +605,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 6,
|
||||
"id": "c230465c",
|
||||
"id": "c13507bf",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -641,7 +643,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "b38deb02",
|
||||
"id": "6dab17bc",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -654,7 +656,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 7,
|
||||
"id": "9a17387b",
|
||||
"id": "a5dbba01",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -675,7 +677,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "dcdaa478",
|
||||
"id": "b55d31d4",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -691,7 +693,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 8,
|
||||
"id": "902e7512",
|
||||
"id": "b3e045a6",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -749,7 +751,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "77182d43",
|
||||
"id": "c0189342",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -764,7 +766,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 9,
|
||||
"id": "2723829d",
|
||||
"id": "640aa861",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -785,7 +787,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cc6f43b6",
|
||||
"id": "1007ccdd",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -809,7 +811,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 10,
|
||||
"id": "e9a07867",
|
||||
"id": "9584a2da",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1281,7 +1283,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "f957b537",
|
||||
"id": "9ccd1fc1",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1293,7 +1295,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 11,
|
||||
"id": "97018c57",
|
||||
"id": "7f3a5b31",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1337,7 +1339,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "c46a864f",
|
||||
"id": "1ac05bb6",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1353,7 +1355,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 12,
|
||||
"id": "da5c2906",
|
||||
"id": "0f857604",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1368,7 +1370,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "ec8e4fce",
|
||||
"id": "eeff4315",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1379,7 +1381,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 13,
|
||||
"id": "9e63ffa2",
|
||||
"id": "46246810",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1394,7 +1396,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "39cf3c39",
|
||||
"id": "8c6f9954",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1410,7 +1412,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 14,
|
||||
"id": "a50c2400",
|
||||
"id": "2661939c",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1424,7 +1426,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "59e3767e",
|
||||
"id": "74c5624c",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1439,7 +1441,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 15,
|
||||
"id": "c77d9ebd",
|
||||
"id": "4b8eb115",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1465,7 +1467,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 16,
|
||||
"id": "7a872564",
|
||||
"id": "2c0f92bd",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1480,7 +1482,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cc5ad007",
|
||||
"id": "49201ae4",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1491,7 +1493,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 17,
|
||||
"id": "fac34043",
|
||||
"id": "55b5e426",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1506,7 +1508,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "9a581657",
|
||||
"id": "b51762fb",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1517,7 +1519,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 18,
|
||||
"id": "3421ca31",
|
||||
"id": "6b59e27d",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1537,7 +1539,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 19,
|
||||
"id": "bb6f3c50",
|
||||
"id": "72c87921",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1552,7 +1554,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "6e719f18",
|
||||
"id": "ed40d7d2",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1567,7 +1569,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 20,
|
||||
"id": "bba5ad80",
|
||||
"id": "315ef3fe",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
|
||||
@@ -1066,6 +1066,7 @@ to use it. Before we get into the details of the neural network, we
|
||||
will first present some implementations of various schedulers, cost
|
||||
functions and activation functions that can be used together with the
|
||||
neural network.</p>
|
||||
<p>The codes here were developed by Eric Reber and Gregor Kajda during spring 2023.</p>
|
||||
<div class="section" id="learning-rate-methods">
|
||||
<h3>Learning rate methods<a class="headerlink" href="#learning-rate-methods" title="Permalink to this headline">¶</a></h3>
|
||||
<p>The code below shows object oriented implementations of the Constant,
|
||||
@@ -5358,12 +5359,8 @@ case.</p>
|
||||
</div>
|
||||
<div class="cell_output docutils container">
|
||||
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>Adam: Eta=0.001, Lambda=0
|
||||
</pre></div>
|
||||
</div>
|
||||
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span>
|
||||
</pre></div>
|
||||
</div>
|
||||
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span> [----------------------------------------] 0.000% | train_error: 12.9 | train_acc: 0.376 | val_error: 12.6 | val_acc: 0.392
|
||||
|
||||
[----------------------------------------] 0.000% | train_error: 12.9 | train_acc: 0.376 | val_error: 12.6 | val_acc: 0.392
|
||||
</pre></div>
|
||||
</div>
|
||||
<div class="output stream highlight-myst-ansi notranslate"><div class="highlight"><pre><span></span> [----------------------------------------] 0.1000% | train_error: 12.9 | train_acc: 0.376 | val_error: 12.6 | val_acc: 0.392
|
||||
|
||||
File diff suppressed because one or more lines are too long
@@ -2,7 +2,7 @@
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "60ef4ca3",
|
||||
"id": "b2937d10",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -14,7 +14,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "6584f2f2",
|
||||
"id": "3dd00d19",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -29,7 +29,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "f5f930b9",
|
||||
"id": "82a19a1d",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -69,7 +69,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "a9d8df6c",
|
||||
"id": "f74f69af",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -107,7 +107,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "925a54fa",
|
||||
"id": "1b52d47a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -119,7 +119,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "1f3c8e67",
|
||||
"id": "3e6910cb",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -134,7 +134,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "66ebe4a2",
|
||||
"id": "90a3b78a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -164,7 +164,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "454750aa",
|
||||
"id": "d6a3ab1e",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -177,7 +177,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"id": "8308d3ec",
|
||||
"id": "152123b0",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -267,7 +267,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "bef962e6",
|
||||
"id": "73319f0a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -277,7 +277,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "70caa854",
|
||||
"id": "a7e0c47a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -288,7 +288,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 2,
|
||||
"id": "a1711478",
|
||||
"id": "dbbacc67",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -599,7 +599,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cd9d7329",
|
||||
"id": "1cac501a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -611,12 +611,14 @@
|
||||
"to use it. Before we get into the details of the neural network, we\n",
|
||||
"will first present some implementations of various schedulers, cost\n",
|
||||
"functions and activation functions that can be used together with the\n",
|
||||
"neural network."
|
||||
"neural network.\n",
|
||||
"\n",
|
||||
"The codes here were developed by Eric Reber and Gregor Kajda during spring 2023."
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "8b9664dc",
|
||||
"id": "dd153528",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -638,7 +640,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 3,
|
||||
"id": "97ba7a9a",
|
||||
"id": "f55eea63",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -779,7 +781,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "b1b3d6d1",
|
||||
"id": "1a9bcb3e",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -795,7 +797,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 4,
|
||||
"id": "21b4f017",
|
||||
"id": "86013cb4",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -808,7 +810,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "eaf81efe",
|
||||
"id": "535331f6",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -820,7 +822,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 5,
|
||||
"id": "3464a296",
|
||||
"id": "7e0f6b5a",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -858,7 +860,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "d40c1673",
|
||||
"id": "f018ae57",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -874,7 +876,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 6,
|
||||
"id": "c230465c",
|
||||
"id": "c13507bf",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -912,7 +914,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "b38deb02",
|
||||
"id": "6dab17bc",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -925,7 +927,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 7,
|
||||
"id": "9a17387b",
|
||||
"id": "a5dbba01",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -957,7 +959,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "dcdaa478",
|
||||
"id": "b55d31d4",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -973,7 +975,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 8,
|
||||
"id": "902e7512",
|
||||
"id": "b3e045a6",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1031,7 +1033,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "77182d43",
|
||||
"id": "c0189342",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1046,7 +1048,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 9,
|
||||
"id": "2723829d",
|
||||
"id": "640aa861",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1088,7 +1090,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cc6f43b6",
|
||||
"id": "1007ccdd",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1112,7 +1114,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 10,
|
||||
"id": "e9a07867",
|
||||
"id": "9584a2da",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1584,7 +1586,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "f957b537",
|
||||
"id": "9ccd1fc1",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1596,7 +1598,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 11,
|
||||
"id": "97018c57",
|
||||
"id": "7f3a5b31",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1640,7 +1642,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "c46a864f",
|
||||
"id": "1ac05bb6",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1656,7 +1658,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 12,
|
||||
"id": "da5c2906",
|
||||
"id": "0f857604",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1671,7 +1673,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "ec8e4fce",
|
||||
"id": "eeff4315",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1682,7 +1684,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 13,
|
||||
"id": "9e63ffa2",
|
||||
"id": "46246810",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -2515,7 +2517,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "39cf3c39",
|
||||
"id": "8c6f9954",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -2531,7 +2533,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 14,
|
||||
"id": "a50c2400",
|
||||
"id": "2661939c",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -10563,7 +10565,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "59e3767e",
|
||||
"id": "74c5624c",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -10578,7 +10580,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 15,
|
||||
"id": "c77d9ebd",
|
||||
"id": "4b8eb115",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -10604,7 +10606,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 16,
|
||||
"id": "7a872564",
|
||||
"id": "2c0f92bd",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -10619,7 +10621,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cc5ad007",
|
||||
"id": "49201ae4",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -10630,7 +10632,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 17,
|
||||
"id": "fac34043",
|
||||
"id": "55b5e426",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -10640,20 +10642,7 @@
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"Adam: Eta=0.001, Lambda=0"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"\n"
|
||||
]
|
||||
},
|
||||
{
|
||||
"name": "stdout",
|
||||
"output_type": "stream",
|
||||
"text": [
|
||||
"Adam: Eta=0.001, Lambda=0\n",
|
||||
"\r",
|
||||
" [----------------------------------------] 0.000% | train_error: 12.9 | train_acc: 0.376 | val_error: 12.6 | val_acc: 0.392 "
|
||||
]
|
||||
@@ -18676,7 +18665,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "9a581657",
|
||||
"id": "b51762fb",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -18687,7 +18676,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 18,
|
||||
"id": "3421ca31",
|
||||
"id": "6b59e27d",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -18707,7 +18696,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 19,
|
||||
"id": "bb6f3c50",
|
||||
"id": "72c87921",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -26746,7 +26735,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "6e719f18",
|
||||
"id": "ed40d7d2",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -26761,7 +26750,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 20,
|
||||
"id": "bba5ad80",
|
||||
"id": "315ef3fe",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
|
||||
@@ -257,6 +257,8 @@ plt.show()
|
||||
# will first present some implementations of various schedulers, cost
|
||||
# functions and activation functions that can be used together with the
|
||||
# neural network.
|
||||
#
|
||||
# The codes here were developed by Eric Reber and Gregor Kajda during spring 2023.
|
||||
|
||||
# ### Learning rate methods
|
||||
#
|
||||
|
||||
@@ -2,7 +2,7 @@
|
||||
"cells": [
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "60ef4ca3",
|
||||
"id": "b2937d10",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -14,7 +14,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "6584f2f2",
|
||||
"id": "3dd00d19",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -29,7 +29,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "f5f930b9",
|
||||
"id": "82a19a1d",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -69,7 +69,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "a9d8df6c",
|
||||
"id": "f74f69af",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -107,7 +107,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "925a54fa",
|
||||
"id": "1b52d47a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -119,7 +119,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "1f3c8e67",
|
||||
"id": "3e6910cb",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -134,7 +134,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "66ebe4a2",
|
||||
"id": "90a3b78a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -164,7 +164,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "454750aa",
|
||||
"id": "d6a3ab1e",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -177,7 +177,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 1,
|
||||
"id": "8308d3ec",
|
||||
"id": "152123b0",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -255,7 +255,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "bef962e6",
|
||||
"id": "73319f0a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -265,7 +265,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "70caa854",
|
||||
"id": "a7e0c47a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -276,7 +276,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 2,
|
||||
"id": "a1711478",
|
||||
"id": "dbbacc67",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -344,7 +344,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cd9d7329",
|
||||
"id": "1cac501a",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -356,12 +356,14 @@
|
||||
"to use it. Before we get into the details of the neural network, we\n",
|
||||
"will first present some implementations of various schedulers, cost\n",
|
||||
"functions and activation functions that can be used together with the\n",
|
||||
"neural network."
|
||||
"neural network.\n",
|
||||
"\n",
|
||||
"The codes here were developed by Eric Reber and Gregor Kajda during spring 2023."
|
||||
]
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "8b9664dc",
|
||||
"id": "dd153528",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -383,7 +385,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 3,
|
||||
"id": "97ba7a9a",
|
||||
"id": "f55eea63",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -524,7 +526,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "b1b3d6d1",
|
||||
"id": "1a9bcb3e",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -540,7 +542,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 4,
|
||||
"id": "21b4f017",
|
||||
"id": "86013cb4",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -553,7 +555,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "eaf81efe",
|
||||
"id": "535331f6",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -565,7 +567,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 5,
|
||||
"id": "3464a296",
|
||||
"id": "7e0f6b5a",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -587,7 +589,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "d40c1673",
|
||||
"id": "f018ae57",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -603,7 +605,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 6,
|
||||
"id": "c230465c",
|
||||
"id": "c13507bf",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -641,7 +643,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "b38deb02",
|
||||
"id": "6dab17bc",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -654,7 +656,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 7,
|
||||
"id": "9a17387b",
|
||||
"id": "a5dbba01",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -675,7 +677,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "dcdaa478",
|
||||
"id": "b55d31d4",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -691,7 +693,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 8,
|
||||
"id": "902e7512",
|
||||
"id": "b3e045a6",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -749,7 +751,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "77182d43",
|
||||
"id": "c0189342",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -764,7 +766,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 9,
|
||||
"id": "2723829d",
|
||||
"id": "640aa861",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -785,7 +787,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cc6f43b6",
|
||||
"id": "1007ccdd",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -809,7 +811,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 10,
|
||||
"id": "e9a07867",
|
||||
"id": "9584a2da",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1281,7 +1283,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "f957b537",
|
||||
"id": "9ccd1fc1",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1293,7 +1295,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 11,
|
||||
"id": "97018c57",
|
||||
"id": "7f3a5b31",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1337,7 +1339,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "c46a864f",
|
||||
"id": "1ac05bb6",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1353,7 +1355,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 12,
|
||||
"id": "da5c2906",
|
||||
"id": "0f857604",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1368,7 +1370,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "ec8e4fce",
|
||||
"id": "eeff4315",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1379,7 +1381,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 13,
|
||||
"id": "9e63ffa2",
|
||||
"id": "46246810",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1394,7 +1396,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "39cf3c39",
|
||||
"id": "8c6f9954",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1410,7 +1412,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 14,
|
||||
"id": "a50c2400",
|
||||
"id": "2661939c",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1424,7 +1426,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "59e3767e",
|
||||
"id": "74c5624c",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1439,7 +1441,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 15,
|
||||
"id": "c77d9ebd",
|
||||
"id": "4b8eb115",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1465,7 +1467,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 16,
|
||||
"id": "7a872564",
|
||||
"id": "2c0f92bd",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1480,7 +1482,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "cc5ad007",
|
||||
"id": "49201ae4",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1491,7 +1493,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 17,
|
||||
"id": "fac34043",
|
||||
"id": "55b5e426",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1506,7 +1508,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "9a581657",
|
||||
"id": "b51762fb",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1517,7 +1519,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 18,
|
||||
"id": "3421ca31",
|
||||
"id": "6b59e27d",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1537,7 +1539,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 19,
|
||||
"id": "bb6f3c50",
|
||||
"id": "72c87921",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
@@ -1552,7 +1554,7 @@
|
||||
},
|
||||
{
|
||||
"cell_type": "markdown",
|
||||
"id": "6e719f18",
|
||||
"id": "ed40d7d2",
|
||||
"metadata": {
|
||||
"editable": true
|
||||
},
|
||||
@@ -1567,7 +1569,7 @@
|
||||
{
|
||||
"cell_type": "code",
|
||||
"execution_count": 20,
|
||||
"id": "bba5ad80",
|
||||
"id": "315ef3fe",
|
||||
"metadata": {
|
||||
"collapsed": false,
|
||||
"editable": true
|
||||
|
||||
@@ -239,6 +239,8 @@ will first present some implementations of various schedulers, cost
|
||||
functions and activation functions that can be used together with the
|
||||
neural network.
|
||||
|
||||
The codes here were developed by Eric Reber and Gregor Kajda during spring 2023.
|
||||
|
||||
=== Learning rate methods ===
|
||||
|
||||
The code below shows object oriented implementations of the Constant,
|
||||
|
||||
Reference in New Issue
Block a user