it-swarm-vi.com

Nếu tôi không muốn thiết lập bất kỳ hành vi đặc biệt nào, liệu tôi có phiền khi có tệp robot.txt không?

Nếu tôi không muốn thiết lập bất kỳ hành vi đặc biệt nào, liệu tôi có phiền khi có tệp robot.txt không?

Hoặc thiếu một trong những có thể có hại?

29
Dan Dumitru

Thiếu tệp robots.txt sẽ không gây hại. Từ trang web robotstxt.org :

Để cho phép tất cả các robot truy cập hoàn toàn

Đại lý người dùng: *
[.__.] Không cho phép:

(hoặc chỉ tạo một tệp "/robots.txt" trống hoặc không sử dụng một tệp nào cả)

Tuy nhiên, ngay cả khi bạn không chỉ định bất cứ điều gì trong tệp robot.txt của mình, đó là một cách hay thông báo cho các công cụ tìm kiếm về vị trí của Sơ đồ trang web XML của bạn . Bạn có thể làm điều này bằng cách thêm một dòng ở đầu tệp robot.txt của bạn trông giống như:

Sơ đồ trang web: http://www.example.com/sitemap-host1.xml

Bạn cũng nên lưu ý rằng việc không có nó sẽ tạo ra rất nhiều mục 404 trong nhật ký web của bạn.

30
JasonBirch

Nếu bạn không có "robot.txt", nhật ký lỗi của bạn sẽ nhận được rất nhiều 404 trên tệp, đây có thể là một loại phiền toái, tương tự như nếu bạn không có favicon.

21
delete

Tôi nghĩ rằng nó sẽ sẽ ổn, nếu không thì những luồng khổng lồ của web sẽ không thể lập chỉ mục bởi các con nhện web.

Không robots.txt giống như "cho phép mọi người lập chỉ mục" robots.txt gần như theo định nghĩa.

6
Jeff Atwood

Việc thiếu tệp robot.txt khiến cho trình thu thập thông tin quyết định những gì nó có thể và không thể làm. Vì chỉ mất vài giây để tránh bất kỳ sự mơ hồ nào, tại sao không tạo ra một thứ cho phép tất cả các tác nhân truy cập mọi thứ?

2
Tim Post

Chà, vì robots.txt chứa địa chỉ của sơ đồ trang web , không có ai có khả năng gây hại.

0
Thomas Bonini

Tùy thuộc vào nội dung của bạn, sẽ không có vấn đề gì khi không có tệp rô bốt miễn là bạn có thể có mọi trang trên trang web của bạn được lập chỉ mục bởi các công cụ tìm kiếm.

0
seanl