Hướng dẫn cách tạo file robots.txt

seotopten.net – trước khi  đi vào việc hướng dẫn cách tạo file robots.txt, Tôi  muốn giới thiệu cho các bạn biết file robots.txt là gì? công dụng của file robots.txt là gì ? Tại sao chúng ta phải tạo file robots.txt ?

 

Hướng dẫn cách tạo file robots.txt

Hướng dẫn cách tạo file robots.txt

 

 

Tại sao chúng ta phải tạo file robots.txt ?

– Khi các bọ của search engine crawl một website nào đó thì tập tin đầu tiên các bọ đọc là file robots.txt

 

Robots.txt là gì ? công dụng của file robots.txt là gì ?

– robots.txt là một file dạng text có đuôi .txt có chứa các câu lệnh để cho hay không cho bot của các công cụ tìm kiếm đánh chỉ mục (index) một thự mục nào đó trong website của bạn.

– file robots.txt là một tập tin văn bản đơn giản (không chứa mã HTML) được đặt trong thư mục gốc của website ( ngang cấp với file index.htm, index.php, default.aspx,….)

Ví dụ

http://seotopten.net/robots.txt

Hướng dẫn cách tạo file robots.txt

để tạo tập tin robots.txt  bạn mở chương trình Notepad và gõ các lệnh, sau đó lưu lại với tên robots.txt và chép vào thư mục gốc của website.

3 lệnh cơ bản nhất của 1 tâp tin robots.txt như sau

User-agent: *
Allow: /SEO/
Disallow: /wp-includes/
  • User-agent : dùng để xác định bot của công cụ tìm kiếm nào.
  • Allow: cho phép bot vào thư mục, trang nào đó.
  • Disallow: chặn bot vào thư mục, trang nào đó.

-> ở ví dụ trên là cho phép tất cá các bot vào thư mục SEO, nhưng không được vào thư mục wp-includes.

Một vài ví dụ huớng dẫn cách sử dụng Robots.txt

1. Chặn tất cả các bot vào web

User-agent: *
Disallow: /

– với lệnh trên thì không có công cụ tìm kiếm nào lập chỉ mục (index) website của bạn, có nghĩa là các bài viết trên website của bạn sẽ không xuất hiện trong kết quả tìm kiếm của các công cụ tìm kiếm.

2. Không cho bot truy cập vào một thư mục, trang nào đó

User-agent: *
Disallow: /wp-includes/
Disallow: /test.html

– điều này có nghĩa là cho tất cả các loại bot truy cập vào website và trừ thư mục wp-includes và trang test.html không được truy cập.

3. Chặn 1 bot nào đó

User-agent: SpamBot
Disallow: /

User-agent: *
Disallow: /wp-includes/

– spamBot bị cấm truy cập tất cả tài nguyên. Trong khi các bot khác được truy cập tất cả trừ thư mục “wp-includes”

4. cho phép bot truy cập vào một thư mục, trang nào đó

User-agent: *
Allow: /bai-viet/
Allow: /demo.html
Disallow: /wp-includes/

– cho tất cả bot truy cập vào thư mục bai-viet vài trang demo, nhưng không truy cập được thu mục wp-includes

5. có bao nhiêu loại bot ?

để có được danh sách các loại bot bạn xem ở đây

 

Những lưu ý khi tạo file robots.txt

khi các bạn tạo và sử dụng lại một robots.txt của ai đó hoặc tự mình tạo ra một robots.txt riêng cho website mình thì cũng không tránh khỏi những sai sót và cần chú ý các điểm sau:

– Không thay đổi trật tự của các dòng lệnh (User-agent luôn ở trên).

– Phân biệt chữ hoa chữ thường.

– Không được viết dư, thiếu khoảng trắng.

– Không nên chèn thêm bất kỳ ký tự nào khác ngoài các cú pháp lệnh.

– Mỗi một câu lệnh nên viết trên 1 dòng.

– Không được để khoảng trắng ở đầu dòng lệnh

Bài viết Hướng dẫn cách tạo file robots.txt hi vọng giúp bạn hiểu và biết cách sử dụng file robots.txt ( một việc rât quan trọng khi làm seo onpage).


Tôi luôn muốn chia sẻ với các bạn những gì tôi biết về SEO. Thành công của bạn cũng là thành công của tôi.

Mình rất vui khi bạn đã để lại comment. Tất cả comment đều được kiểm duyệt cẩn thận, xin đừng cố gắng spam hoặc quảng cáo. Hãy dùng tên của bạn khi comment, không sử dụng keyword trong ô Name. Xin cảm ơn.

19 Responses to “Hướng dẫn cách tạo file robots.txt”

  1. phạm ân

    Mar 26. 2013

    đọc bài này thấy vỡ ra được nhiều điều

    Reply to this comment
  2. Huy

    Apr 03. 2013

    Một file robots-txt chuẩn cho wordpress thì viết như thế nào là đúng? Mong bạn hướng dẫn cho mình vối.
    Cảm ơn bạn

    Reply to this comment
    • duyanhphamkiller

      Apr 04. 2013

      bạn cần xác định cho bot vào thư mục nào và không cho vào thư mục nào. rồi kết hợp các phần theo bài viết để tạo ra file phù hợp

      Reply to this comment
  3. thiết kế website

    Apr 09. 2013

    Vậy website không phải wordpress thì viết thế nào chỉ mình với, mình gà lắm

    Reply to this comment
    • duyanhphamkiller

      Apr 10. 2013

      bạn là nhân viên của esite24h.com, bên đó có cung cấp dịch vụ seo. mà bạn ko biết vấn đề này à?

      bạn cứ coi theo cú pháp trên và làm theo thôi

      Reply to this comment
  4. mirrormagic

    Apr 19. 2013

    Theo như bạn hướng dẫn thì mình đã thử tạo file robot.txt rồi, nhưng mà mình lại không biết cách cho nó vào wordpress, vì mình lập tài khoản wordpress trực tiếp trên mạng mà không down tập tin setup wordpress về nên không hiểu thư mục gốc ở đâu cả.
    Bạn giúp mình với!

    Reply to this comment
    • duyanhphamkiller

      Apr 20. 2013

      nếu bạn dùng wordpress.com thì không tạo được đâu bạn. các này chỉ dùng cho các web mà mình tự host thôi.

      Reply to this comment
      • Hoang

        Jan 04. 2016

        Thế là mấy trang mà m dùng wordpress.com là bỏ hết à bạn.
        có cách nào nữa không bạn.
        cảm ơn ad nhiều.

        Reply to this comment
        • duyanhphamkiller

          Jan 05. 2016

          wordpress.com đã có file robots.txt rồi bạn, nhưng bạn không thể sửa được

          Reply to this comment
          • Hoang

            Jan 07. 2016

            của m bị thế này nè bạn
            bạn xem thế nào m cái

          • Hoang

            Jan 07. 2016

            Không có mô tả cho kết quả này do robots.txt của trang web này – tìm hiểu thêm.

  5. AnThinh

    May 06. 2015

    Hix, đọc mấy bài hướng dẫn phần này nhưng thấy bài bạn là chi tiết và dễ hiểu nhất. Thanks bạn rất nhìu! 🙂

    Reply to this comment
  6. vientayboncau

    Jul 06. 2015

    facebook bị chặn không hiển thị mô tả lên google phải làm thế nào hả anh?
    Trang của em bị chặn

    Reply to this comment
    • duyanhphamkiller

      Jul 10. 2015

      facebook thì làm sao mà can thiệp được bạn

      Reply to this comment
  7. Nguyen Duy Nghiem

    Nov 09. 2015

    Bạn kiểm tra xem website của mình đã có file robots chưa?

    Reply to this comment
  8. Tuấn Ngọc

    Mar 31. 2016

    Khi tìm trên web của mình trên google thì nó hiện: Không có mô tả cho kết quả này do robots.txt của trang web này – tìm hiểu thêm.
    Mình check file robots thì thấy vẫn ổn. Web của mình _etpco.vn . Thanks

    Reply to this comment
  9. vannguyen

    Jan 03. 2017

    Mỗi người đưa ra một mẫu file riêng mà không biết vì sao, nên chọn cái nào đây

    Reply to this comment
  10. Đặng Ngọc Thạch

    Apr 18. 2017

    cho mình hỏi giờ mình muốn làm 1 site vệ tinh và muốn chặn hết bot chỉ cho phép bot của google, yahoo và ping thì phải viết như thế nào. Thank ad!

    Reply to this comment

Trackbacks/Pingbacks

  1. Không có mô tả cho kết quả này do robots.txt của trang web này | SeoTopTen.Net - 15/10/2014

    […] đoạn tìm kiếm nào trong kết quả tìm kiếm. Nếu một trang bị chặn bởi các tập tin robots.txt, Google sẽ không hiển thị đoạn tìm kiếm (mô tả) trong kết quả tìm kiếm. […]

Leave a Reply

Phiên bản Text