Implement final eval

Author: yura-hb

diploma_thesis/agents/utils/rl/dqn.py

@@ -1,6 +1,7 @@
 from typing import Dict
 
 import tensordict
+import torch
 from torch.optim.swa_utils import AveragedModel, get_ema_avg_fn
 
 from agents.utils.memory import NotReadyException
@@ -52,7 +53,9 @@ def compute_loss():
 
                 print(actions.view(-1), q_values.view(-1))
 
-                loss_ = self.loss(actions, q_values)
+                weight = torch.tensor(info['_weight']) if '_weight' in info.keys() else torch.ones_like(q_values)
+
+                loss_ = (self.loss(actions, q_values) * weight).mean()
                 td_error_ = torch.square(actions - q_values)
 
                 entropy = torch.distributions.Categorical(logits=actions).entropy().mean()

diploma_thesis/b.txt

@@ -13,7 +13,7 @@ dqn_1: &dqn_1
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
-#    - 'agent/dqn/prioritized.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 
@@ -26,7 +26,7 @@ dqn_1_local: &dqn_1_local
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
-#    - 'agent/dqn/prioritized.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 ###############################################################################################

diploma_thesis/c.txt

@@ -30,7 +30,7 @@ dqn_1: &dqn_1
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
-#    - 'agent/dqn/prioritized.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 ###############################################################################################

diploma_thesis/configuration/experiments/jsp/GRAPH-NN/experiments/1/0/experiment.yml

@@ -31,6 +31,7 @@ dqn_1: &dqn_1
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 ###############################################################################################
@@ -42,6 +43,7 @@ dqn_1_hierarchical: &dqn_1_hierarchical
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 ###############################################################################################

diploma_thesis/configuration/experiments/jsp/GRAPH-NN/experiments/1/1/experiment.yml

@@ -29,6 +29,7 @@ dqn_1: &dqn_1
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 ###############################################################################################
@@ -40,6 +41,7 @@ dqn_1_gat: &dqn_1_gat
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 ###############################################################################################
@@ -51,6 +53,7 @@ dqn_1_gcn: &dqn_1_gcn
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 
@@ -63,6 +66,7 @@ dqn_1_sage: &dqn_1_sage
     - 'configuration/mods/machine/mods'
   mods:
     - 'agent/dqn/ddqn.yml'
+    - 'agent/dqn/prioritized.yml'
     - *default_mods
 
 

diploma_thesis/configuration/experiments/jsp/GRAPH-NN/experiments/1/2/experiment.yml

@@ -60,6 +60,8 @@ parameters:
 
       loss:
         kind: 'mse'
+        parameters:
+          reduction: 'none'
 
       optimizer:
         model:

diploma_thesis/configuration/experiments/jsp/GRAPH-NN/experiments/1/3/experiment.yml

@@ -63,6 +63,8 @@ parameters:
 
       loss:
         kind: 'mse'
+        parameters:
+          reduction: 'none'
 
       optimizer:
         model:

diploma_thesis/configuration/experiments/jsp/GRAPH-NN/experiments/1/flexible_machine.yml

@@ -62,6 +62,8 @@ parameters:
 
       loss:
         kind: 'huber'
+        parameters:
+          reduction: 'none'
 
       optimizer:
         model: