사르마트인들은 고트족들의 북해 지역에 세력을 확장 할 때까지 강력한 세력을 과시했다. 고트족들이 오늘날의 루마니아 지방인 다키아 주(州) 다뉴브 강 북쪽 지역에 있는 사르마트 부족들을 공격하였다. 그러자 로마 제국의 황제 콘스탄티누스 1세(Constantinus 1)는 그의 아들 콘스탄티누스 2세(Constantinus 2)를 다뉴브 북쪽에서 고트족과 사르마트를 동시에 토벌하는 작전을 위하여 갈리아에서 불러들였다. 겨울에 로마인들은 고트족과의 전쟁을 벌여 10만 명을 사살시키고 고트족 왕의 아들인 아리아리쿠스(Ariaricus) 생포하는 대승을 거두었다.

사르마트인들이 활동했었던 지역들, 주로 흑해 북쪽 연안과 카프카스에 집중되어 있다. 출처 : 조지아 트빌리시 고고학박물관 필자의 직접 촬영

사르마트는 북방으로 물러나 고트족들의 확장을 저지하는데 노력하였고 다뉴브 강 하류 지역의 북부를 근거지로 대체했다. 그리고 사르마트 인들은 그들의 노예들을 무장시키며 고트족의 북침에 대처했다. 하지만 로마인들이 고트족과의 승리한 이후 지역 주민들은 사르마트 인들을 상대로 반란을 일으켰고 사르마트 인들을 로마의 경계로 몰아냈다. 사르마티아 인들은 로마 제국에 도움을 요청했고 이에 콘스탄티누스는 반란군의 수장인 리미간테스(Rimigantes)를 격퇴시켰다. 

콘스탄티누스는 사르마트의 포로들을 다시 돌려보냈으며 이에 대한 답례로 로마 속주에 있던 사르마트 부대원들은 로마의 군인으로 자원입대했다. 반면 다른 사르마트 부족원들은 트라키아, 마케도니아, 이탈리아 등에 널리 분포되어 살았다. 로마의 역사가 발레시아누스(Valesianus)는 이 사태로 인하여 30만 명의 난민들이 발생하였다고 언급하였으며 콘스탄티누스 1세는 이후 사르마티쿠스 막시무스(Sarmaticus Masimus)라는 칭호를 얻게 되었다.

이후 서기 4, 5세기에 훈족이 유럽에 진출하면서 영토 확장을 해왔고 북해와 로마 제국 국경 사이에 거주했던 사르마트 인들과 게르만 부족들을 정복하게 된다. 오늘날의 헝가리를 거점으로 삼은 훈족은 과거 사르마트 인들의 영토 전역을 지배하였다. 그들의 다양한 구성의 주민들은 훈족의 지배 하에서 번성하였고, 로마와 게르만의 연합 전선에 대항한 훈족을 위해 싸우기도 하였지만, 카탈라우눔 전투 이후에 아틸라의 사망과 오늘날의 러시아 지역인 볼가 강 서부 지역을 지배하는 추바시야인들이 출현하면서 훈족과 분리되었다. 이후 그들은 유럽 계통의 민족들에 동화되어 현재 그 형태를 찾아보기 어렵게 되었다.