it-swarm-vi.com

Có thể sử dụng url sơ đồ trang web tương đối trong tệp robots.txt không?

Trong tệp robots.txt tôi có thể viết URL tương đối sau cho tệp sơ đồ trang web không?

sitemap: /sitemap.ashx

Hoặc tôi phải sử dụng URL hoàn chỉnh (tuyệt đối) cho tệp sơ đồ trang web, như:

sitemap: http://subdomain.domain.com/sitemap.ashx

Tại sao tôi tự hỏi:

  • Tôi sở hữu một dịch vụ blog mới, www.domain.com, cho phép người dùng viết blog trên accountname.domain.com.
  • Tôi sử dụng ký tự đại diện, vì vậy tất cả tên miền phụ (tài khoản) đều trỏ đến: "blog.domain.com".

Trong blog.domain.com tôi đặt robot.txt để cho phép các công cụ tìm kiếm tìm thấy sơ đồ trang web. Nhưng, do các ký tự đại diện, tất cả tài khoản người dùng đều chia sẻ cùng một tệp robot.txt. Đó là lý do tại sao tôi không thể sử dụng thay thế thứ hai. Và bây giờ tôi không thể sử dụng viết lại url cho các tệp txt. (Tôi đoán rằng các phiên bản sau của IIS có thể xử lý việc này không?)

177
Easyrider

Theo quan chức tài liệu trên sitemaps.org nó cần phải là một URL đầy đủ:

Bạn có thể chỉ định vị trí của Sơ đồ trang web bằng tệp robot.txt. Để thực hiện việc này, chỉ cần thêm dòng sau bao gồm URL đầy đủ vào sơ đồ trang web:

Sitemap: http://www.example.com/sitemap.xml
304
unor

Trình thu thập dữ liệu của Google không đủ thông minh, họ không thể thu thập các URL tương đối, đó là lý do tại sao luôn khuyến nghị sử dụng URL tuyệt đối để có khả năng thu thập dữ liệu và lập chỉ mục tốt hơn.

Do đó, bạn không thể sử dụng biến thể này

> sitemap: /sitemap.xml

Cú pháp được đề xuất là

Sitemap: https://www.yourdomain.com/sitemap.xml

Chú thích:

  • Đừng quên viết hoa chữ cái đầu tiên trong "sơ đồ trang web"
  • Đừng quên đặt dung lượng sau "Sơ đồ trang web:"
2
Deepak Mathur