En el .bashrc o .config/fish/config.fish:

export TERM=xterm-256color

O si es un problema de vim en el .vimrc:

export TERM=xterm-256color

Al final no terminé usando nada de esto, dejé los colores como estaban.