객가인으로 알려진 묘족의 일부 세력들은 서진 시대 발생한 영가의 난을 피해 중원에 살던 한족이 대거 남쪽으로 이주한 것을 보통 1차 이민으로 보았고 이후 대다수의 하카인 이주는 당나라와, 송나라 시대에 북방 민족의 침입을 피하여 광동성, 강서성, 복건성의 경계 지역에 정착해, 토착 주민들인 여족(黎族), 여족(畬族), 요족(瑤族), 장족, 등과 섞여 살면서 무려 1,000년을 거쳐 현재의 민족이 되었다. 

중국 푸젠성 일대의 객가인 여성들, 출처 : Алексей Зён의 페이스북

그 후 매주(梅州)를 중심으로 대거 화남의 각 성과 전 세계 각지로 옮겨갔다. 보통 매주, 간저우(贛州), 정주(汀州), 혜주(惠州)를 하카 4주라고 한다. 객가 인의 주요 거주지들은 앞서 설명한 것과 같이 광동성, 복건성, 강서성, 호남성, 사천성 등의 산간지대와 재외 화교, 화인, 말레이지아, 싱가포르, 태국 등의 동남아시아 여러 나라에 사는 사람이 많은 것으로 보고되고 있다.

객가인들은 주변의 평지에 사는 다른 한족 집단과는 달리 산간 지대에 많이 거주하며, 한족과 다른 독특한 언어와 문화를 가지고 있다. 그로 인하여 역사적으로 다른 집단과 알력을 일으킨 적도 많다. 그러나 소수파로 세력이 많지 않기 때문에 한족이 세운 중앙 정권이나 역대 왕조들과 좋은 관계를 유지하려고 하는 경향이 있었다. 

그리고 조상에 대한 의식이 강해 집단 내에서 자기들끼리 통하는 사료 등으로 인하여 한인의 일부로써 의식이 상대적으로 강하다고 알려져 있다. 객가 이주민들은 일반적으로 토지의 소유가 어려웠기 때문에 유통이나 상업에 종사하는 사람들이 많았고, 현재 중국 내 교직에도 많은 사람들이 종사하고 있다. 이러한 특징 때문에 일각에서는 ‘중국의 유태인’ 등으로 불리기도 한다.

객가인이 많은 지역은 중국 공산당이 매우 강한 영향력을 가지기 때문에 객가인들 중에는 공산당에 참가한 사람이 많았다. 군인이 된 사람이나, 반란이나 혁명에 참가해 이름을 남긴 사람들도 근대 이전부터 많았고 인구에 비해 지도자가 된 사람들도 많았다. 그 때문에 태평천국의 지도자인 홍수전이나, 중국 국민당의 손문(孫文), 중국 공산당의 등소평, 중화민국의 이동휘, 마잉주와 싱가포르의 리콴유 등을 배출했다.