Thế nhưng sự cách biệt với nền văn hóa lục địa, nạn cướp biển ven bờ, bệnh sốt rét ác tính cùng với sự nổi dậy thường xuyên của các bộ lạc bản xứ đã ngăn cản chính quyền Trung Hoa đưa dân đến đây định cư với quy mô lớn. Hơn nữa, khí hậu nhiệt đới khác xa với đại lục, không thích hợp với kinh tế của người Hoa cũng là nguyên nhân làm cho nền kinh tế trên đảo chậm phát triển và người Hoa không muốn định cư ở đây. Những nguyên nhân khách quan này cản trở chính sách tiến xuống Biển Đông của các triều đại Trung Hoa. Vì vậy, đến những năm cuối thế kỷ XIX đầu thế kỷ XX, các chính quyền Trung Hoa đều coi lãnh thổ của mình chỉ bao gồm từ đảo Hải Nam trở lên phía bắc.
Trong cuốn Phủ biên Tạp lục do nhà bác học Lê Quý Đôn viết năm 1776 đã ghi lại một sự việc rất quan trọng về mặt sử liệu: Năm 1754, thuyền của đội Hoàng Sa do Chúa Nguyễn phái ra khai thác Hoàng Sa bị đứt dây neo, trôi dạt vào cảng Thanh Lan thuộc đảo Hải Nam. Các quan sở tại đã tra xét những người ở trên thuyền, khi biết là người của đội Hoàng Sa của Việt Nam, đã chu cấp tiền, gạo cho về quê mà không hề phản đối gì. Chúa Nguyễn sau đó đã sai người viết thư cảm ơn.
Có thể dẫn chứng thêm qua nhiều sách báo phương Tây ghi lại sự kiện khoảng năm 1895, 1896 tàu Bellona của Đức và tàu Ymedi Maru của Nhật chở hàng cho Anh bị đắm ở khu vực quần đảo Hoàng Sa, cách đảo Hải Nam 140 hải lý về phía nam. Người Trung Hoa ở đảo Hải Nam đã ra lấy trộm đồng trên tàu. Lãnh sự Anh ở Hải Nam phản đối với nhà đương cục Trung Hoa và nhận câu trả lời rằng Hoàng Sa không thuộc Trung Hoa do đó nước này không có trách nhiệm gì ở đấy.
Không những thế, hàng loạt tài liệu, bản đồ chính thức và bán chính thức của Trung Hoa cho đến đầu thế kỷ XX đều chỉ vẽ lãnh thổ Trung Hoa đến đảo Hải Nam. “Hoàng triều nhất thống dư địa tổng đồ” (xuất bản năm 1894), “Đại Thanh đế quốc toàn đồ” (xuất bản 1905, tái bản 1910) đều thể hiện rõ ràng điểm cực nam của Trung Hoa ở bờ nam đảo Hải Nam, đồng thời quyển Trung Quốc Địa lý Giáo khoa thư (xuất bản 1906) ghi rõ: Điểm cực nam Trung Hoa là Châu Nhai, Quỳnh Châu (tức Hải Nam). Sợ không chính xác, cuốn sách này còn nói rõ thêm: điểm cực nam đó ở vĩ tuyến 18º13’ bắc.
Từ năm 1909, Trung Hoa mới bộc lộ tham vọng trên Biển Đông. Theo lệnh Tổng đốc Lưỡng Quảng, Đô đốc Lý Chuẩn đem một số pháo thuyền nhỏ đến một vài đảo của Hoàng Sa dù khi đó quần đảo này đã do Việt Nam làm chủ, bắn vài phát súng rồi vội vã rút lui. Có thể nói mưu đồ bá quyền của Trung Hoa bắt đầu lộ rõ trong Công hàm ngày 29-9-1932 của đại diện Trung Hoa Dân Quốc tại Paris gửi Chính phủ Pháp nêu yêu sách rất vô lý về quần đảo Tây Sa (Hoàng Sa): “Tây Sa là bộ phận lãnh thổ cực nam của Trung Hoa”. Mặc dù ngang ngược như vậy nhưng với công hàm này, người Trung Hoa vẫn chưa hề yêu sách đối với Trường Sa.
Những dữ kiện nói trên càng chứng tỏ lập luận “Trung Quốc có chủ quyền từ lâu đời” trên hai quần đảo Hoàng Sa và Trường Sa là không có cơ sở.
Năm 1956, lợi dụng quân đội Pháp rút khỏi Đông Dương, quân đội Sài Gòn chưa kịp ra thay thế ở Hoàng Sa, Trung Quốc bí mật đưa quân đổ bộ, chiếm đóng đảo Phú Lâm và Lincoln thuộc nhóm phía đông của quần đảo Hoàng Sa.
Tháng 1-1974, sau khi ký Thông cáo chung Thượng Hải và với sự làm ngơ của Mỹ, Trung Quốc huy động lực lượng kết hợp hải quân, không quân đánh chiếm nhóm phía tây của Hoàng Sa.
