on the safe side

安全を期して、大事を取って

Ex

  • Go home now to be on the safe side.
  • It’s best to be on the safe side.

Reference source

  • https://eow.alc.co.jp/search?q=%22on+the+safe+side%22