Skip to main content

Hello, currently Im investigate if kasten can be use for backup/restore our prod environment for shopfloor application. We use k3s 1.30.0, with longhorn storage, 7.0.13 kasten version. For location profile we use azure. Our application has 4PV with Access Mode ReadWriteMany, for this mode use storage class longhorn-nfs. Backup application works properly and im able to create snapshot and export data to azure as well. But when i want use restore from locally snapshot something is wrong. Kasten create request for scale down all pods are down its ok, pv is detached and deleted. In kasten-io namespace are automatically created 4 new pods with claim for pv which want to use for restore. But pod is still pending and when use describe for pvc i found that longhorn cannot find persistent volume. But when i use restore from external storage, restore works properly. Could you somebody explain me what is wrong or how can i affect this behavior.

- cause:
    cause:
      cause:
        cause:
          errors:
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-3-qfrvm
                fields:
                  - name: podName
                    value: affinity-pvc-group-3-qfrvm
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-3-qfrvm
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-0-2n5bb
                fields:
                  - name: podName
                    value: affinity-pvc-group-0-2n5bb
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-0-2n5bb
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-1-vvghm
                fields:
                  - name: podName
                    value: affinity-pvc-group-1-vvghm
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-1-vvghm
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-2-k4vtv
                fields:
                  - name: podName
                    value: affinity-pvc-group-2-k4vtv
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-2-k4vtv
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
          message: 4 errors have occurred
        file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:602
        function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).createPVCsFromPVCSpecs
        linenumber: 602
        message: Cannot place PVCs
      file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:376
      function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).restoreApp
      linenumber: 376
      message: Failed to create PVCs from PVC specs
    file: kasten.io/k10/kio/exec/internal/runner/phase_runner.go:144
    function: kasten.io/k10/kio/exec/internal/runner.(*phaseRunner).execPlannedPhase
    linenumber: 144
    message: Failure in planned phase
  message: Job failed to be executed
- cause:
    cause:
      cause:
        cause:
          errors:
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: context deadline exceeded"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-1-25z4m
                fields:
                  - name: podName
                    value: affinity-pvc-group-1-25z4m
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-1-25z4m
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: rate: Wait(n=1) would
                      exceed context deadline"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-2-xx486
                fields:
                  - name: podName
                    value: affinity-pvc-group-2-xx486
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-2-xx486
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: rate: Wait(n=1) would
                      exceed context deadline"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-0-d8bcm
                fields:
                  - name: podName
                    value: affinity-pvc-group-0-d8bcm
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-0-d8bcm
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-3-jd977
                fields:
                  - name: podName
                    value: affinity-pvc-group-3-jd977
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-3-jd977
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
          message: 4 errors have occurred
        file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:602
        function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).createPVCsFromPVCSpecs
        linenumber: 602
        message: Cannot place PVCs
      file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:376
      function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).restoreApp
      linenumber: 376
      message: Failed to create PVCs from PVC specs
    file: kasten.io/k10/kio/exec/internal/runner/phase_runner.go:144
    function: kasten.io/k10/kio/exec/internal/runner.(*phaseRunner).execPlannedPhase
    linenumber: 144
    message: Failure in planned phase
  message: Job failed to be executed
- cause:
    cause:
      cause:
        cause:
          errors:
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-3-pw5f4
                fields:
                  - name: podName
                    value: affinity-pvc-group-3-pw5f4
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-3-pw5f4
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "client rate limiter Wait returned an error: context deadline exceeded"
                    details:
                      pvcName: k10restore-2a133a8e-d69a-48cc-8bd2-8f13c65bf84d
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.checkPVCAndPVStatus
                    linenumber: 459
                    message: Failed to get PVC
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-0-5qpr4
                fields:
                  - name: podName
                    value: affinity-pvc-group-0-5qpr4
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-0-5qpr4
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: context deadline exceeded"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-1-4rc2f
                fields:
                  - name: podName
                    value: affinity-pvc-group-1-4rc2f
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-1-4rc2f
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: rate: Wait(n=1) would
                      exceed context deadline"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-2-lcrt9
                fields:
                  - name: podName
                    value: affinity-pvc-group-2-lcrt9
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-2-lcrt9
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
          message: 4 errors have occurred
        file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:602
        function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).createPVCsFromPVCSpecs
        linenumber: 602
        message: Cannot place PVCs
      file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:376
      function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).restoreApp
      linenumber: 376
      message: Failed to create PVCs from PVC specs
    file: kasten.io/k10/kio/exec/internal/runner/phase_runner.go:144
    function: kasten.io/k10/kio/exec/internal/runner.(*phaseRunner).execPlannedPhase
    linenumber: 144
    message: Failure in planned phase
  message: Job failed to be executed
 


- cause:
    cause:
      cause:
        cause:
          errors:
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-3-qfrvm
                fields:
                  - name: podName
                    value: affinity-pvc-group-3-qfrvm
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-3-qfrvm
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-0-2n5bb
                fields:
                  - name: podName
                    value: affinity-pvc-group-0-2n5bb
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-0-2n5bb
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-1-vvghm
                fields:
                  - name: podName
                    value: affinity-pvc-group-1-vvghm
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-1-vvghm
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-2-k4vtv
                fields:
                  - name: podName
                    value: affinity-pvc-group-2-k4vtv
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-2-k4vtv
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
          message: 4 errors have occurred
        file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:602
        function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).createPVCsFromPVCSpecs
        linenumber: 602
        message: Cannot place PVCs
      file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:376
      function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).restoreApp
      linenumber: 376
      message: Failed to create PVCs from PVC specs
    file: kasten.io/k10/kio/exec/internal/runner/phase_runner.go:144
    function: kasten.io/k10/kio/exec/internal/runner.(*phaseRunner).execPlannedPhase
    linenumber: 144
    message: Failure in planned phase
  message: Job failed to be executed
- cause:
    cause:
      cause:
        cause:
          errors:
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: context deadline exceeded"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-1-25z4m
                fields:
                  - name: podName
                    value: affinity-pvc-group-1-25z4m
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-1-25z4m
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: rate: Wait(n=1) would
                      exceed context deadline"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-2-xx486
                fields:
                  - name: podName
                    value: affinity-pvc-group-2-xx486
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-2-xx486
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: rate: Wait(n=1) would
                      exceed context deadline"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-0-d8bcm
                fields:
                  - name: podName
                    value: affinity-pvc-group-0-d8bcm
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-0-d8bcm
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-3-jd977
                fields:
                  - name: podName
                    value: affinity-pvc-group-3-jd977
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-3-jd977
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
          message: 4 errors have occurred
        file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:602
        function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).createPVCsFromPVCSpecs
        linenumber: 602
        message: Cannot place PVCs
      file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:376
      function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).restoreApp
      linenumber: 376
      message: Failed to create PVCs from PVC specs
    file: kasten.io/k10/kio/exec/internal/runner/phase_runner.go:144
    function: kasten.io/k10/kio/exec/internal/runner.(*phaseRunner).execPlannedPhase
    linenumber: 144
    message: Failure in planned phase
  message: Job failed to be executed
- cause:
    cause:
      cause:
        cause:
          errors:
            - cause:
                cause:
                  cause:
                    cause:
                      message: "Context done while polling: context deadline exceeded"
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                    linenumber: 362
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.getErrorFromLogs
                  linenumber: 362
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-3-pw5f4
                fields:
                  - name: podName
                    value: affinity-pvc-group-3-pw5f4
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-3-pw5f4
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    cause:
                      message: "client rate limiter Wait returned an error: context deadline exceeded"
                    details:
                      pvcName: k10restore-2a133a8e-d69a-48cc-8bd2-8f13c65bf84d
                    file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                    function: github.com/kanisterio/kanister/pkg/kube.checkPVCAndPVStatus
                    linenumber: 459
                    message: Failed to get PVC
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-0-5qpr4
                fields:
                  - name: podName
                    value: affinity-pvc-group-0-5qpr4
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-0-5qpr4
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: context deadline exceeded"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-1-4rc2f
                fields:
                  - name: podName
                    value: affinity-pvc-group-1-4rc2f
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-1-4rc2f
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
            - cause:
                cause:
                  cause:
                    message: "client rate limiter Wait returned an error: rate: Wait(n=1) would
                      exceed context deadline"
                  file: github.com/kanisterio/kanister@v0.0.0-20241025011050-227a815a2c61/pkg/kube/pod.go
                  function: github.com/kanisterio/kanister/pkg/kube.WaitForPodReady
                  linenumber: 412
                  message: Pod did not transition into running state.
                    Timeout:15m0s  Namespace:kasten-io,
                    Name:affinity-pvc-group-2-lcrt9
                fields:
                  - name: podName
                    value: affinity-pvc-group-2-lcrt9
                  - name: namespace
                    value: kasten-io
                file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:526
                function: kasten.io/k10/kio/kube/affinitypod.(*realPVCPlacer).Place
                linenumber: 526
                message: failed waiting for pod ready
              fields:
                - name: namespace
                  value: kasten-io
                - name: podName
                  value: affinity-pvc-group-2-lcrt9
              file: kasten.io/k10/kio/kube/affinitypod/affinity_pod.go:140
              function: kasten.io/k10/kio/kube/affinitypod.PlacePVCs.func1
              linenumber: 140
              message: Failed placing PVC using affinity pod
          message: 4 errors have occurred
        file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:602
        function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).createPVCsFromPVCSpecs
        linenumber: 602
        message: Cannot place PVCs
      file: kasten.io/k10/kio/exec/phases/phase/restore_app.go:376
      function: kasten.io/k10/kio/exec/phases/phase.(*restoreApplicationPhase).restoreApp
      linenumber: 376
      message: Failed to create PVCs from PVC specs
    file: kasten.io/k10/kio/exec/internal/runner/phase_runner.go:144
    function: kasten.io/k10/kio/exec/internal/runner.(*phaseRunner).execPlannedPhase
    linenumber: 144
    message: Failure in planned phase
  message: Job failed to be executed
 


Comment