Однозначно проблемы с сетью.
Причем возможен даже вариант, что проблема с конкретной сетевой платой, как железо, так и драйвер.
Если проблема только с конкретным компьютером в конкретном сегменте сети, копайте в сторону - сетевая плата, драйвер, система.
Если проблема периодически проявляется на разных компьютерах, и тем более в разных сегментах сети - тогда
наиболее вероятная причина - несбалансированное построение сети, и как следствие задержки превышают разумные пределы.
Можете выложить результаты ping-а, и желательно еще tracert ?
Причем желательно 2 раза.
1-й когда проблемы есть.
2-й когда проблем нет.