Hướng Dẫn Tạo File Robots.txt Cho Website WordPress

Để website của bạn xuất hiện trên Trang kết quả tìm kiếm – Search Engine Result Pages (SERPs), bạn cần phải để các con “bots” truy cập vào trong website. File robots.txt được viết tốt có thể giúp bạn kiểm soát những con bots một cách hiệu quả. Giúp nó tới trang bạn muốn để hiện thị lên kết quả tìm kiếm ( hoặc để tránh nó quét những nơi không cần thiết). Trong bài này, DPIGO sẽ hướng dẫn tạo file robots.txt cho WordPress như thế nào!

WordPress robots.txt là gì?

Khi bạn tạo mới một website, Các công cụ tìm kiếm (search engine) sẽ có những con bọ (bots) tới để “quét” qua website và tạo ra một bản đồ chứa các trang web trong nó. Bằng cách đó, chúng biết được trang nào cần thể hiện kết quả khi ai đó tìm từ khóa liên quan.

Nhưng một website không chỉ có các trang web mà nó còn rất nhiều dữ liệu riêng ở mục quản trị hay các plugin,… Những thông tin này bạn không muốn nó hiện thị trên các công cụ tìm kiếm vì thông tin ở đây là vô dụng.

Vậy file robots.txt được tạo với mục đích hướng dẫn cho con bọ tìm kiếm. Nó sẽ nói cho con bọ biết rằng file này được vào xem được còn cái kia thì không. File này tạo ra rất dễ dàng và không tốn bao nhiêu thời gian và kỹ thuật.

Nếu website của bạn không có file robots.txt thì sao? Câu trả lời là không sao hết. Nhưng hiệu quả đạt được sẽ không cao, còn bot sẽ index toàn bộ dữ liệu web của bạn và hiện thị ở những nơi mà bạn không muốn người khác truy cập vào được.

File robots.txt WordPress nằm ở đâu

Khi tạo website WordPress, nó sẽ tự động tạo ra một file robots.txt ở ngay thư mục gốc của server. Để xem website của bạn đã có file robots.txt chưa thì hãy vào link domain.com/robots.txt (domain.com chính là tên miền của bạn ví dụ: dipigo.com/robots.txt) để kiểm tra nhé! Kết quả sẽ hiện thị như sau:

Đây là ví dụ file robots.txt cơ bản. Phần sau User-agent: Dấu * có nghĩa là quy tắc được áp dụng cho mọi loại bots trên khắp nơi trên website. Trong trường hợp này, file này sẽ nói cho bots biết là chúng không được phép vào trong file thư mục wp-admin và wp-includes. Rất hợp lý phải không, vì 2 thư mục này chứa rất nhiều file thông tin nhạy cảm.

Hãy nhớ, đây là một file do WordPress tự thiết lập mặc định khi cài đặt và không chỉnh sửa được (mặc dù nó vẫn hoạt động). Để thay đổi lại sau đây mình hướng dẫn cho bạn một số cách để thay đổi file robots.txt nhé!

Các quy tắc có thể thêm vào trong file robots.txt website WordPress

Thông thường thì file robots.txt chỉ có 3 dòng cơ bản nhưng thực chất bạn có thể tạo ra thêm nhiều dòng nữa. Để có thể thay đổi bạn nên hiểu một số quy tắt để thêm vào file nhé:

• User-agent: xác định công cụ tìm kiếm mà quy tắc được áp dụng ( dấu * để cho tất cả các công cụ tìm kiếm có thể quét website của bạn)
• Allow: cho phép công cụ tìm kiếm thu thập thông tin, lập chỉ mục ( /blog/ Cho phép vào quét thư mục blog)
• Disallow: không cho phép công cụ tìm kiếm thu thập thông tin, lập chỉ mục ( /wp-admin/ không cho phép quét nội dung trong thư mục admin)

Làm thế nào để tạo file robots.txt cho WordPress

Sau khi xác định được các rules phù hợp cho web. Bạn cần cập nhật (update) lại file robots.txt trên server. ở đây mình hướng sẫn cho bạn một vài cách cùng bắt đầu thôi!

Sử dụng Yoast SEO

Bất kỳ ai cần SEO website chắc đều biết đến plugin này. Nó hướng dẫn bạn tối ưu trang hoặc bài viết chuẩn cồn cụ tìm kiếm và còn giúp cải thiện tính dễ đọc. Để tạo file robots.txt bạn cần cài plugin Yoast SEO. Sau khi cài xong plugin bạn vào mục SEO >> “công cụ” (tools) >> “Trình chỉnh sửa tập tin” (File editor). Tại đây có nút “Tạo file robots.txt” (create file robots.txt) bạn nhấp vào sau đó mở ra tab mới. Ở ô nhập nội dung có các rules cũ bạn tiến hành ghi đè các nội dung đã chuẩn bị lên file sau đó lưu lại. Vậy là xong

Tạo rồi upload file robots.txt bằng hosting

Cách tạo file robots.txt cực kỳ đơn giản. Đầu tiên bạn nhấp chuột phải lên trên màng hình máy tính chọn “New” tiếp theo chọn “New Text Document” đặt tên file là “robots.txt”. Sau đó nhập các rules như ở trên vào file vừa tạo sau đó lưu lại.

Upload lên hosting Cpanel

Đăng nhập vào hosting >> File manager >> Chọn đến thư mục chứa website >> Xoá file cũ >> Chọn Upload >> Chọn file robot.txt >> Tải lên >> Xong

Upload lên hosting directadmin

Đăng nhập vào hosting >> Show All user >> Chọn user chứa web >> Login user >> File manager >> Vào public_html >> Chọn upload >> Chọn file robot.txt >> Tải lên >> Xong

Lời kết

Để tăng khả năng tiếp cận của site lên trình tìm kiếm, bạn cần chắc là bot của search engine không bị chặn, và có thể crawl (quét) đúng những khu vực nó cần, đúng các thông tin quan trọng. Như bạn thấy, một file robots.txt chuẩn sẽ giúp bots tương tác tốt với site của bạn thế nào. Từ đó, thông tin của bạn sẽ được hiển thị chính xác hơn, hữu dụng hơn cho người tìm kiếm.

Nếu bạn có bất kỳ câu hỏi nào về việc tạo file robots.txt cho WordPress, hãy để lại bình luận bên dưới nhé!