Arimatheia
Sofri muito com isso aqui embora tenha speedy da Telefonica o sintoma é igual.
Tenta o seguinte:
Insira no seu Mac os IPs do DNS da OpenDNS:
208.67.222.222 (primario)
208.67.220.220 (secundario)
Aqui ficou excelente, esta "latência" provavelmente é o tempo que o DNS do Virtua demora para resolver os nomes. O engraçado que máquinas Windows na mesma rede não apresentam esta "latência". Deve ser algum "ajuste" no protocolo TCP/IP otimizado para Windows nos servidores DNS dos provedores.
Mais informações:
https://www.opendns.com/start?device=apple-osx