robots.txt คือไฟล์ข้อความบนเว็บไซต์ที่ใช้บอกบอตของ Search Engine ว่า URL หรือโฟลเดอร์ใดควรหรือไม่ควรเข้ามา Crawl หรือสำรวจข้อมูล เหมาะสำหรับลดการเข้าถึงหน้าระบบ หน้าค้นหาภายใน หรือ URL ซ้ำจำนวนมาก แต่ไม่ใช่เครื่องมือสำหรับซ่อนหน้าเว็บจากผลการค้นหาโดยตรง
หากตั้งค่าผิดเพียงบรรทัดเดียว เช่น ใส่ Disallow: / โดยไม่ตั้งใจ Google อาจเข้าเว็บสำคัญไม่ได้ทั้งเว็บไซต์ ดังนั้น robots.txt ที่ดีไม่ใช่ไฟล์ที่บล็อกเยอะที่สุด แต่เป็นไฟล์ที่เปิดทางให้ Google เข้าถึงหน้าธุรกิจสำคัญได้ครบ และจำกัดเฉพาะส่วนที่ไม่จำเป็นจริง ๆ
robots.txt ทำงานอย่างไรกับ SEO
เมื่อ Googlebot หรือบอตจาก Search Engine เข้ามายังเว็บไซต์ ระบบจะตรวจไฟล์ /robots.txt ก่อน เพื่อดูว่ามีกฎอะไรเกี่ยวกับการเข้าถึง URL ต่าง ๆ หรือไม่
ไฟล์นี้ช่วยให้เจ้าของเว็บจัดการการ Crawl ได้ โดยเฉพาะเว็บที่มีหน้าจำนวนมาก เช่น ร้านค้าออนไลน์ เว็บข่าว หรือ WordPress ที่มี URL จากตัวกรองสินค้า ระบบค้นหา และปลั๊กอินหลายส่วน
Google อธิบายว่า robots.txt ใช้บอก Crawler ว่า URL ใดเข้าถึงได้หรือไม่ได้ และมีเป้าหมายหลักเพื่อลดการ Crawl ที่ไม่จำเป็น ไม่ใช่ใช้เพื่อปิดหน้าออกจาก Google Search อ่านคู่มือ robots.txt จาก Google Search Central
robots.txt ต่างจาก noindex และรหัสผ่านอย่างไร
จุดที่เจ้าของเว็บไซต์มักเข้าใจผิดคือใช้ robots.txt เพื่อซ่อนหน้าเว็บ ทั้งที่เครื่องมือแต่ละแบบมีหน้าที่ต่างกัน หากเลือกผิด หน้าเว็บอาจยังโผล่บน Google หรือข้อมูลภายในอาจเข้าถึงได้ง่ายกว่าที่คิด
- robots.txt: ใช้ควบคุมการ Crawl ของบอตในเส้นทางที่กำหนด
- meta robots noindex: ใช้บอก Search Engine ว่าไม่นำหน้านั้นไปแสดงในผลการค้นหา
- X-Robots-Tag: ใช้ควบคุมการ Index สำหรับไฟล์ที่แก้ HTML ไม่ได้ เช่น PDF
- รหัสผ่านหรือระบบ Login: ใช้ป้องกันข้อมูลภายในหรือหน้าที่ไม่ควรเปิดสาธารณะ
หากต้องการให้หน้าไม่ปรากฏบน Google ควรใช้ noindex และเปิดให้ Google เข้าถึงหน้าเพื่ออ่านคำสั่งนั้นได้ Google ระบุชัดว่าไม่รองรับการใส่ noindex ใน robots.txt ดูวิธีป้องกันหน้าเว็บจากการ Index
ส่วนข้อมูลลูกค้า เอกสารภายใน หรือหน้า Staging ไม่ควรหวังพึ่ง robots.txt เพราะไฟล์นี้เปิดให้ทุกคนดูได้ และบอตบางประเภทอาจไม่ปฏิบัติตามคำสั่ง ควรใช้การยืนยันตัวตนหรือจำกัดสิทธิ์เข้าถึงแทน
โครงสร้างพื้นฐานของ robots.txt
robots.txt เป็นไฟล์ข้อความธรรมดาที่วางไว้ใน Root Domain เช่น https://yourdomain.com/robots.txt คำสั่งหลักที่ใช้มีไม่กี่ตัว แต่ต้องระวังเรื่องเส้นทาง URL ให้ถูกต้อง
User-agent คือบอตที่กฎนี้ใช้ด้วย
User-agent ใช้ระบุว่ากฎชุดนั้นมีผลกับบอตตัวใด หากใช้ * หมายถึงใช้กับบอตทั่วไปทั้งหมด
User-agent: *
Disallow คือการห้าม Crawl
Disallow ใช้ระบุเส้นทางที่ไม่ต้องการให้บอตเข้ามา Crawl เช่น Disallow: /wp-admin/ สำหรับโฟลเดอร์หลังบ้าน WordPress
Disallow: /wp-admin/
Allow คือข้อยกเว้นของการบล็อก
Allow ใช้เมื่อคุณบล็อกโฟลเดอร์ใหญ่ไว้ แต่ต้องการเปิดให้บอตเข้าถึงไฟล์บางตัว เช่น WordPress มักต้องอนุญาต admin-ajax.php เพื่อให้ฟังก์ชันบางอย่างทำงานได้ตามปกติ
Allow: /wp-admin/admin-ajax.php
Sitemap คือการแจ้งตำแหน่ง XML Sitemap
บรรทัด Sitemap ช่วยบอก Search Engine ว่า XML Sitemap อยู่ที่ไหน ควรใช้ URL เต็มและตรวจว่าไฟล์เปิดได้จริง
Sitemap: https://yourdomain.com/sitemap_index.xml
Google รองรับการใส่ Sitemap URL ใน robots.txt และจะค้นพบไฟล์ดังกล่าวเมื่อกลับมา Crawl robots.txt รอบถัดไป ดูวิธีสร้างและส่ง Sitemap จาก Google
ตัวอย่าง robots.txt สำหรับ WordPress
เว็บไซต์ WordPress ทั่วไปที่ไม่มีโครงสร้างซับซ้อน มักใช้ robots.txt แบบเรียบง่ายได้ โดยเปลี่ยน URL Sitemap ให้ตรงกับเว็บไซต์จริงของคุณ
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/sitemap_index.xml
ตัวอย่างนี้เน้นบล็อกเฉพาะพื้นที่หลังบ้าน แต่ไม่บล็อก CSS, JavaScript หรือรูปภาพที่ Google อาจต้องใช้เพื่อแสดงผลและเข้าใจหน้าเว็บ
อย่าคัดลอกไฟล์ robots.txt จากเว็บไซต์อื่นทั้งหมด เพราะแต่ละเว็บมีโครงสร้าง URL ปลั๊กอิน ระบบร้านค้า และความต้องการด้าน SEO ไม่เหมือนกัน
กรณีไหนที่ควรใช้ robots.txt
robots.txt เหมาะกับการลดการ Crawl หน้าที่ไม่ได้ช่วยธุรกิจหรือไม่มีคุณค่าต่อผลการค้นหา โดยเฉพาะเมื่อเว็บไซต์มี URL เกิดขึ้นจำนวนมากจากระบบอัตโนมัติ
- โฟลเดอร์หลังบ้าน เช่น
/wp-admin/ - หน้าค้นหาภายในเว็บไซต์ที่สร้าง URL จำนวนมาก
- หน้าทดสอบหรือระบบชั่วคราวที่ไม่ได้เปิดให้ผู้ใช้ทั่วไป
- URL จากตัวกรองสินค้า การเรียงสินค้า หรือพารามิเตอร์ที่ซ้ำซ้อน
- โฟลเดอร์ระบบที่ไม่เกี่ยวกับเนื้อหาที่ต้องการให้ Google ค้นพบ
สำหรับเว็บ E-commerce ควรระวังเป็นพิเศษ เพราะหน้าฟิลเตอร์สี ขนาด ราคา หรือแบรนด์ อาจสร้าง URL หลายชุดจากสินค้ากลุ่มเดียวกัน แต่บางหน้าก็อาจมี Search Intent และสร้างทราฟฟิกได้จริง จึงไม่ควรบล็อกแบบเหมารวมโดยไม่ดูข้อมูลก่อน
URL แบบไหนไม่ควรบล็อกด้วย robots.txt
อย่าบล็อกหน้าเว็บที่คุณต้องการให้ Google เข้าใจ จัดทำดัชนี หรือใช้แสดง Rich Results เพราะหากบอตเข้าไม่ได้ ก็อาจอ่านเนื้อหาและข้อมูลโครงสร้างไม่ครบ
- หน้าบริการหลักและหน้า Landing Page
- หน้าสินค้าและหน้าหมวดหมู่ที่ต้องการทำ SEO
- บทความและหน้าคอนเทนต์สำคัญ
- รูปภาพ CSS และ JavaScript ที่จำเป็นต่อการแสดงผล
- หน้าเว็บที่มี Structured Data สำคัญ
- หน้า XML Sitemap และ URL ที่อยู่ใน Sitemap
Google ระบุว่าไม่ควรบล็อกหน้าที่มี Structured Data ด้วย robots.txt หรือ noindex เพราะระบบต้องเข้าถึงหน้าเพื่อประมวลผลข้อมูลดังกล่าว ดูข้อกำหนด Structured Data ของ Google
วิธีตั้งค่า robots.txt ให้ถูกต้องบน WordPress
1. ตรวจไฟล์เดิมก่อนแก้ไข
เริ่มจากเปิด yourdomain.com/robots.txt ผ่านเบราว์เซอร์ก่อน เพื่อดูว่ามีไฟล์อยู่แล้วหรือไม่ อย่าเพิ่งสร้างไฟล์ใหม่ทับ เพราะอาจมีคำสั่งจากนักพัฒนา โฮสติ้ง หรือปลั๊กอิน SEO อยู่ก่อนแล้ว
2. ตรวจว่าใครเป็นผู้สร้าง robots.txt
robots.txt อาจมาจากไฟล์จริงใน Root Directory, ปลั๊กอิน SEO, ระบบ Cache, CDN หรือการตั้งค่าระดับ Server หากมีหลายระบบพยายามจัดการไฟล์เดียวกัน คุณอาจแก้ในจุดหนึ่งแต่หน้าเว็บยังแสดงคำสั่งเก่า
สำหรับเว็บ WordPress ควรเลือกให้มีผู้ดูแล robots.txt หลักเพียงจุดเดียว เพื่อลดความสับสนในอนาคต
3. แก้ไขผ่าน File Manager หรือ SFTP อย่างระมัดระวัง
หากต้องแก้โดยตรง ให้สร้างหรือแก้ไฟล์ชื่อ robots.txt ใน Root Directory ของโดเมน และบันทึกเป็น plain text แบบ UTF-8 หลังแก้ให้เปิด URL ผ่านโหมดไม่ระบุตัวตนเพื่อตรวจว่าเห็นเวอร์ชันล่าสุดจริง
4. เพิ่ม Sitemap ที่ถูกต้อง
ตรวจว่าระบบ WordPress หรือปลั๊กอิน SEO สร้าง Sitemap URL ใดอยู่จริง เช่น /wp-sitemap.xml หรือ /sitemap_index.xml แล้วใส่ URL เต็มในบรรทัด Sitemap
หากยังไม่แน่ใจว่า Sitemap มี URL สำคัญครบหรือไม่ สามารถอ่านต่อได้จาก Sitemap คืออะไรและสำคัญกับ SEO อย่างไร
5. ล้าง Cache และตรวจผลหลังแก้ไข
หลังแก้ robots.txt ให้ล้าง Cache จาก WordPress, CDN และระบบ Server หากมี เพราะอาจเห็นไฟล์เวอร์ชันเก่าจาก Cache ได้
Google โดยทั่วไปเก็บ robots.txt ไว้ใน Cache ได้นานถึงประมาณ 24 ชั่วโมง และอาจนานกว่านั้นได้หากระบบไม่สามารถดึงไฟล์ใหม่ได้ตามปกติ ดูวิธีที่ Google ตีความ robots.txt
วิธีตรวจว่า robots.txt บล็อกเว็บผิดหรือไม่
หลังตั้งค่า อย่ารอให้ทราฟฟิกลดแล้วค่อยตรวจ ให้ทดสอบหน้าเว็บสำคัญทันที โดยเฉพาะหน้าแรก หน้าบริการ หน้าสินค้า บทความ และหน้า Landing Page ที่ใช้ยิงโฆษณา
- เปิด
/robots.txtแล้วตรวจว่ากฎแสดงถูกต้อง - เปิด XML Sitemap และสุ่มคลิก URL สำคัญ
- ตรวจว่า URL สำคัญไม่มีคำสั่ง Disallow ครอบอยู่
- ตรวจ URL Inspection ใน Google Search Console
- ดูรายงาน Page Indexing หากพบสถานะ blocked by robots.txt
- ทดสอบหน้าเว็บผ่านมือถือจริงว่าทรัพยากรสำคัญยังโหลดครบ
Google Search Console ช่วยให้คุณตรวจ URL สำคัญได้ว่าถูก Crawl และ Index ตามปกติหรือไม่ หากต้องการใช้ข้อมูลนี้ให้เกิดประโยชน์ต่อ SEO อ่านต่อได้จาก Google Search Console ใช้ยังไงให้เว็บเติบโต
ข้อผิดพลาด robots.txt ที่อันตรายที่สุด
ใส่ Disallow: / โดยไม่ตั้งใจ
คำสั่ง Disallow: / ภายใต้ User-agent: * หมายถึงห้ามบอตทั่วไป Crawl ทั้งเว็บไซต์ หากเกิดบนโดเมนจริง หน้าเว็บสำคัญอาจหยุดถูกสำรวจและอัปเดตใน Google
ปัญหานี้มักเกิดตอนย้ายเว็บไซต์ เปิดเว็บใหม่ หรือคัดลอกไฟล์จาก Staging มาใช้กับเว็บจริง จึงควรตรวจ robots.txt เป็นส่วนหนึ่งของ Checklist ก่อนเปิดเว็บไซต์เสมอ
บล็อก CSS, JavaScript และรูปภาพทั้งหมด
การบล็อกไฟล์ทรัพยากรสำคัญอาจทำให้ Google แสดงผลหน้าเว็บได้ไม่สมบูรณ์ และเข้าใจ Layout หรือองค์ประกอบที่ผู้ใช้เห็นจริงได้ผิดพลาด
หากเว็บไซต์ใช้ Page Builder, Lazy Load, JavaScript Menu หรือฟังก์ชัน Dynamic ต่าง ๆ ควรทดสอบว่า Googlebot เข้าถึงสิ่งจำเป็นได้ครบ โดยเฉพาะเว็บที่ทำ Mobile-First SEO
ใช้ robots.txt เพื่อซ่อนข้อมูลลับ
robots.txt ไม่ใช่ระบบรักษาความปลอดภัย เพราะทุกคนสามารถเปิดดูไฟล์นี้และเห็นเส้นทางที่คุณพยายามบล็อกได้ ข้อมูลลูกค้า เอกสารภายใน หรือหน้าทดสอบควรป้องกันด้วย Password, Login หรือการจำกัดสิทธิ์เข้าถึง
เขียนกฎซับซ้อนเกินจำเป็น
robots.txt รองรับ Wildcard เช่น * และเครื่องหมาย $ ในบางกรณี แต่กฎที่ซับซ้อนอาจบล็อก URL สำคัญโดยไม่ตั้งใจ โดยเฉพาะเว็บที่มี URL พารามิเตอร์จำนวนมาก
สำหรับเว็บไซต์ธุรกิจทั่วไป robots.txt ที่สั้น อ่านง่าย และมีจุดประสงค์ชัด มักปลอดภัยกว่าการใส่กฎจำนวนมากโดยไม่ได้ตรวจผลจริง
robots.txt ช่วยธุรกิจได้อย่างไร
สำหรับเว็บไซต์ขนาดเล็ก robots.txt ที่ตั้งค่าถูกช่วยลดความเสี่ยงจากการบล็อกหน้าสำคัญโดยไม่ตั้งใจ สำหรับเว็บที่มีสินค้าหรือบทความจำนวนมาก ไฟล์นี้ช่วยให้ทีมควบคุมการ Crawl ของ URL ที่ไม่จำเป็นได้เป็นระบบมากขึ้น
แต่ robots.txt จะช่วยได้เต็มที่เมื่อใช้ร่วมกับโครงสร้างเว็บที่ดี Internal Link ที่ชัดเจน Sitemap ที่สะอาด และเนื้อหาที่มีคุณค่า เพราะไฟล์นี้ช่วยเรื่องเส้นทางการเข้าถึง ไม่ได้แก้ปัญหาคอนเทนต์คุณภาพต่ำหรือหน้าเว็บที่ไม่มีใครต้องการค้นหา
หากเว็บไซต์มีปัญหา Crawl, Indexing หรือ URL ซ้ำจำนวนมาก ควรตรวจภาพรวมจาก Technical SEO คืออะไร ก่อนเพิ่มกฎใหม่ เพราะบางครั้งต้นเหตุอาจอยู่ที่โครงสร้าง URL หรือปลั๊กอิน ไม่ใช่ robots.txt
Checklist robots.txt สำหรับเจ้าของเว็บไซต์
- เปิด
/robots.txtและตรวจว่ามีไฟล์ซ้ำหรือคำสั่งผิดปกติหรือไม่ - ตรวจว่าไม่มี
Disallow: /บนเว็บไซต์จริง - บล็อกเฉพาะหน้าระบบหรือ URL ที่ไม่ต้องการให้ Crawl จริง ๆ
- ไม่ใช้ robots.txt เพื่อปิดหน้าออกจาก Google Search
- ใช้ noindex สำหรับหน้าที่ไม่ต้องการให้แสดงในผลการค้นหา
- ใช้ Password หรือ Login ป้องกันข้อมูลภายใน
- อย่าบล็อก CSS, JavaScript และรูปภาพที่สำคัญต่อการแสดงผล
- ใส่ Sitemap URL ที่เปิดใช้งานได้จริง
- ตรวจสถานะ URL สำคัญใน Google Search Console หลังแก้ไข
- ทดสอบ robots.txt ทุกครั้งหลังย้ายเว็บ เปลี่ยนโดเมน หรือปรับโครงสร้าง URL
สรุป: robots.txt ที่ดีต้องช่วยให้ Google เข้าเว็บสำคัญได้ง่ายขึ้น
robots.txt คือเครื่องมือจัดการการ Crawl ไม่ใช่เครื่องมือซ่อนหน้าเว็บหรือเพิ่มอันดับ SEO โดยตรง หน้าที่ของมันคือช่วยลดการเข้าถึง URL ที่ไม่สำคัญ และเปิดทางให้ Google เข้าถึงหน้าบริการ สินค้า บทความ และหน้าที่สร้างคุณค่าต่อธุรกิจได้ครบ
เริ่มจากตรวจไฟล์ robots.txt ที่มีอยู่ก่อน อย่าเพิ่มกฎโดยไม่รู้ว่ากำลังบล็อกอะไร แล้วเช็กผ่าน Google Search Console ว่าหน้าสำคัญยัง Crawl และ Index ได้ตามปกติ ไฟล์ที่สั้นและถูกต้องมักดีกว่าไฟล์ที่ยาวแต่เต็มไปด้วยกฎที่ไม่มีใครในทีมดูแลต่อได้
คำถามที่พบบ่อย
robots.txt จำเป็นสำหรับทุกเว็บไซต์หรือไม่
ไม่จำเป็นต้องมีคำสั่งซับซ้อนทุกเว็บไซต์ แต่ทุกเว็บไซต์ควรตรวจว่า robots.txt ที่มีอยู่ไม่ได้บล็อกหน้าสำคัญโดยไม่ตั้งใจ เว็บไซต์ขนาดเล็กจำนวนมากใช้ไฟล์พื้นฐานเพียงไม่กี่บรรทัดก็เพียงพอ
ถ้าอยากให้หน้าเว็บไม่ขึ้น Google ควรใช้ robots.txt หรือ noindex
ควรใช้ noindex หากต้องการไม่ให้หน้าแสดงในผลการค้นหา เพราะ Google ต้องเข้าถึงหน้าเพื่ออ่านคำสั่ง noindex ได้ ส่วน robots.txt เหมาะกับการควบคุมการ Crawl และไม่ได้รับประกันว่า URL จะหายจาก Google Search
แก้ robots.txt แล้วต้องรอกี่วันถึงเห็นผล
Google โดยทั่วไปเก็บ robots.txt ไว้ใน Cache ได้นานประมาณ 24 ชั่วโมง แต่อาจนานกว่านั้นได้ในบางกรณี หลังจากนั้นระยะเวลาที่ Google จะกลับมา Crawl หน้าเว็บจริงยังขึ้นกับความสำคัญของเว็บไซต์ สถานะเซิร์ฟเวอร์ และจำนวน URL ที่ต้องประมวลผล
บทความที่เกี่ยวข้อง