Bắt bệnh lỗi robots.txt khiến Google không thể index

Bắt bệnh lỗi robots.txt khiến Google không thể index

Hướng dẫn toàn tập cách bắt bệnh và khắc phục lỗi robots.txt khiến Google Bot không thể crawl và lập chỉ mục website. Tổng hợp kinh nghiệm từ cộng đồng Vozwiki để tối ưu SEO. Lỗi robots.txt là một trong những pha "tự hủy" kinh điển nhất mà anh em làm web, từ gà mờ đến cả SEOer lâu năm thỉnh thoảng vẫn dính đòn. Tưởng tượng bác đập cả đống tiền tối ưu website, viết content bục mặt, đi backlink ầm ầm nhưng traffic vẫn nằm im ở con số không tròn trĩnh. Check lại GSC thì Google nó đập cho dòng chữ đỏ chót "Bị chặn bởi robots.txt" . Cảm giác lúc đó nó thốn đến tận rốn, vì bao nhiêu công sức trôi tuột chỉ vì một dòng code vô tri tào lao cản đường con bọ thu thập dữ liệu. N hiều lúc anh em code web xong, bật chế độ chặn index để test cho sướng, đến lúc bàn giao hoặc public site lại quên béng mất việc mở khóa. File robots.txt sinh ra là để làm bảo vệ, hướng dẫn các bot tìm kiếm xem phòng nào được vào, phòng nào cấm. Nhưng nếu bác lỡ tay chỉ đạo bảo vệ …