diff --git a/src/exception_handler.jl b/src/exception_handler.jl
index 7a75d81bd..e5ecbd5b7 100644
--- a/src/exception_handler.jl
+++ b/src/exception_handler.jl
@@ -119,6 +119,7 @@ function throw_if_exception(dev::HIPDevice)
 
     exception_str = get_exception_string(dev)
     exception_str = isempty(exception_str) ? "" : "\n$exception_str"
+    reset_exception_holder!(dev)
     error("GPU Kernel Exception$exception_str")
 end