Vì những yếu tố trên, thổ lâu có kiến trúc kiên cố. Nơi đây không chỉ để ở, mà còn chính là “pháo đài” bảo vệ nên độ cao của các tòa thổ lâu thường từ 4 đến 5 tầng. Thổ lâu chỉ có một cửa ra vào chính và không có cửa sổ dưới tầng trệt. Cửa (hay cổng) ra vào là điểm trọng yếu, thường được gia cố bằng đá và sắt, để phòng chống hỏa hoạn và sự tấn công từ bên ngoài. Khi cổng đóng là nội bất xuất, ngoại bất nhập. Những bức tường đất được xây rất dày. Chẳng hạn như thổ lâu ở huyện Nam Tĩnh tường đất có độ dày lên tới 2 m.
Ở bên trong, thổ lâu được chia ra theo từng gian phòng dành cho các hộ gia đình sinh sống. Khác hẳn với bên ngoài, bên trong thổ lâu được thiết kế rất tinh tế đem lại không khí ấm áp vào mùa đông và mát mẻ vào mùa hè với hệ thống thông gió và chắn gió tốt. Đặc biệt là thổ lâu có thể chịu được những trận động đất mạnh. Một điểm chung của thổ lâu là tầng một được sử dụng làm bếp ăn kiêm phòng khách, tầng hai là nơi dự trữ lương thực, phòng ngủ được bố trí từ tầng ba trở lên. Cũng từ tầng ba trở lên thổ lâu mới bắt đầu có những ô cửa sổ nhỏ để thoáng khí và là nơi để tấn công kẻ địch bên ngoài.