รู้หรือไม่ว่าไฟล์ข้อความเพียงไฟล์เดียวอาจทำให้ Google เข้าไม่ถึงเว็บไซต์ของคุณทั้งเว็บ? robots.txt คือไฟล์ข้อความที่ใช้กำหนดว่า Search Engine Crawler เช่น Googlebot สามารถหรือไม่สามารถ Crawl URL ใดบนเว็บไซต์ได้บ้าง โดยเหมาะสำหรับควบคุมการเข้าถึงหน้าระบบ หน้าค้นหาภายใน หรือ URL ที่ไม่จำเป็นต้องให้บอตสำรวจ แต่ robots.txt ไม่ใช่เครื่องมือป้องกันหน้าเว็บจากการปรากฏในผลการค้นหาโดยตรง หากต้องการควบคุมการ Index ควรใช้วิธีอื่น เช่น noindex หรือระบบจำกัดการเข้าถึงตามวัตถุประสงค์
สำหรับเจ้าของเว็บไซต์ WordPress สิ่งที่ต้องระวังมากที่สุดคือการตั้งค่าผิด เช่น ใส่คำสั่ง Disallow: / โดยไม่ตั้งใจ ซึ่งอาจทำให้ Googlebot ไม่สามารถสำรวจหน้าเว็บสำคัญได้ทั้งหมด ลองนึกภาพว่าคุณลงทุนทำ SEO เขียนบทความ และสร้างหน้า Landing Page แต่ Google กลับเข้ามาอ่านเนื้อหาใหม่ไม่ได้ เพียงเพราะมีคำสั่งที่ไม่เหมาะสมอยู่ใน robots.txt ดังนั้นไฟล์ที่ดีไม่ใช่ไฟล์ที่บล็อกได้มากที่สุด แต่ต้องช่วยให้ Google เข้าถึงเนื้อหาที่สำคัญต่อธุรกิจได้อย่างถูกต้อง
[[IMAGE: Abstract search engine crawler navigating a network of website pages through open and restricted digital pathways, modern blue cybersecurity atmosphere, clean three dimensional visualization, no text, no logos, no copyrighted characters]]
robots.txt คืออะไร และทำงานอย่างไรกับ Google?
robots.txt เป็นไฟล์ข้อความธรรมดาที่อยู่ในตำแหน่งรากของเว็บไซต์ เช่น https://yourdomain.com/robots.txt โดยมีหน้าที่กำหนดกฎการเข้าถึง URL สำหรับบอตที่ปฏิบัติตาม Robots Exclusion Protocol
เมื่อ Googlebot ต้องการสำรวจเว็บไซต์ ระบบจะตรวจ robots.txt ตามความจำเป็น และนำกฎที่เกี่ยวข้องมาใช้ตัดสินใจว่าสามารถร้องขอ URL ใดได้บ้าง หาก URL ถูกบล็อก Googlebot จะไม่ Crawl เนื้อหานั้นตามกฎที่กำหนด
ลองเปรียบเทียบ robots.txt เป็นป้ายบอกทางหน้าอาคาร เว็บไซต์ของคุณมีทั้งพื้นที่ต้อนรับลูกค้า ห้องทำงาน และพื้นที่ระบบหลังบ้าน ป้ายนี้ช่วยบอกบอตว่าควรเข้าเส้นทางใด แต่ไม่ได้ทำหน้าที่ล็อกประตูหรือป้องกันบุคคลที่ไม่ปฏิบัติตามป้าย
Google อธิบายว่า robots.txt มีวัตถุประสงค์หลักเพื่อจัดการทราฟฟิกจาก Crawler และลดการสำรวจ URL ที่ไม่จำเป็น ไม่ใช่ใช้เพื่อซ่อนหน้าเว็บจากผลการค้นหาโดยตรง คุณสามารถศึกษารายละเอียดจาก คู่มือ robots.txt จาก Google Search Central
Crawl และ Index ต่างกันอย่างไร?
ก่อนตั้งค่า robots.txt คุณควรแยกคำสองคำนี้ให้ชัด เพราะเป็นต้นเหตุของข้อผิดพลาด SEO ที่พบได้บ่อย
- Crawling: กระบวนการที่บอตเข้าถึงและดาวน์โหลดข้อมูลจาก URL เพื่อสำรวจเนื้อหา
- Indexing: กระบวนการที่ระบบค้นหาประมวลผลข้อมูลและพิจารณาจัดเก็บในดัชนีสำหรับใช้แสดงผลการค้นหา
- Ranking: กระบวนการจัดลำดับผลลัพธ์ให้เหมาะกับคำค้นและบริบทของผู้ใช้
การอนุญาตให้ Crawl ไม่ได้หมายความว่าหน้าจะถูก Index แน่นอน และการถูก Index ก็ไม่ได้รับประกันว่าจะได้อันดับสูง ขณะเดียวกัน URL ที่ถูกบล็อกใน robots.txt ยังอาจปรากฏเป็น URL ใน Google Search ได้ หาก Google ค้นพบจากลิงก์ภายนอกหรือแหล่งข้อมูลอื่น
นี่คือเหตุผลที่ robots.txt ต้องทำงานร่วมกับองค์ประกอบ SEO อื่น ไม่ใช่ใช้แทนทุกขั้นตอนของการจัดการเว็บไซต์
robots.txt ต่างจาก noindex, X-Robots-Tag และการตั้งรหัสผ่านอย่างไร?
สมมติว่าคุณมีหน้าทดสอบระบบ หน้าสำหรับพนักงาน และหน้าโปรโมชั่นที่หมดอายุ ทั้งสามหน้าอาจต้องการการจัดการต่างกัน การเลือกใช้ robots.txt กับทุกกรณีจึงไม่ใช่คำตอบที่ถูกต้องเสมอไป
- robots.txt: ควบคุมว่า Crawler สามารถร้องขอ URL ได้หรือไม่ แต่ไม่ได้รับประกันว่า URL จะไม่ปรากฏในผลการค้นหา
- Meta Robots noindex: บอก Search Engine ที่รองรับว่าไม่ต้องนำหน้าที่เข้าถึงได้ไปแสดงในดัชนีค้นหา
- X-Robots-Tag: ใช้ HTTP Response Header เพื่อกำหนดกฎการ Index เหมาะกับไฟล์ที่ไม่ใช่ HTML เช่น PDF
- Password หรือ Authentication: ป้องกันไม่ให้บุคคลทั่วไปเข้าถึงข้อมูลหรือระบบภายในโดยไม่ได้รับอนุญาต
ข้อควรระวังสำคัญคืออย่าบล็อก URL ด้วย robots.txt พร้อมกับหวังให้ Google อ่านคำสั่ง noindex ภายในหน้านั้น เพราะเมื่อ Googlebot ไม่สามารถ Crawl หน้าได้ ก็อาจไม่เห็น noindex ที่คุณกำหนดไว้
หากต้องการเอาหน้าออกจาก Google ควรใช้ noindex ขณะที่ Google ยังเข้าถึงหน้านั้นได้ หรือเลือกวิธีลบเนื้อหาและควบคุมสิทธิ์เข้าถึงตามสถานการณ์ โดย Google ไม่รองรับคำสั่ง noindex ภายใน robots.txt อ่านรายละเอียดได้จาก แนวทางป้องกันหน้าเว็บจากการ Index ของ Google
สำหรับเอกสารลูกค้า ข้อมูลส่วนบุคคล หรือเว็บไซต์ Staging ที่ยังไม่เปิดตัว ควรใช้การยืนยันตัวตนหรือจำกัดการเข้าถึงผ่านเซิร์ฟเวอร์ เพราะ robots.txt เป็นไฟล์สาธารณะที่ทุกคนสามารถเปิดอ่านได้
คำสั่ง robots.txt ที่ต้องรู้ก่อนตั้งค่า WordPress
robots.txt ไม่ได้ซับซ้อนอย่างที่คิด เพราะคำสั่งหลักมีไม่กี่ประเภท แต่ความผิดพลาดมักเกิดจากการใช้เส้นทางผิด หรือเข้าใจขอบเขตการทำงานไม่ตรงกับความจริง
1. User-agent ใช้ระบุบอตที่ต้องการควบคุม
User-agent ใช้ระบุว่ากฎชุดถัดไปใช้กับ Crawler ตัวใด หากระบุเครื่องหมาย * หมายถึงกลุ่มบอตทั่วไปที่ไม่มีชุดกฎเฉพาะตรงกับตัวเอง
User-agent: *
หากต้องการกำหนดกฎเฉพาะสำหรับ Googlebot ก็สามารถระบุชื่อ User-agent ตามที่ Google รองรับได้ แต่ไม่ควรสร้างกฎแยกหลายชุดโดยไม่จำเป็น เพราะอาจทำให้การดูแลไฟล์ซับซ้อนขึ้น
2. Disallow ใช้กำหนดเส้นทางที่ไม่อนุญาตให้ Crawl
Disallow คือคำสั่งสำหรับบอก Crawler ว่าไม่ต้องร้องขอ URL ที่ตรงกับรูปแบบเส้นทางที่กำหนด
User-agent: * Disallow: /wp-admin/
ตัวอย่างนี้ไม่อนุญาตให้บอตทั่วไป Crawl URL ภายใต้ /wp-admin/ ซึ่งเป็นพื้นที่จัดการระบบ WordPress โดยไม่ได้หมายความว่ามีการป้องกันการเข้าถึงหลังบ้านด้วยรหัสผ่านเพิ่มเติม
หากใช้คำสั่งต่อไปนี้จะมีผลต่างกันอย่างมาก
User-agent: * Disallow: /
เพราะหมายถึงบล็อกการ Crawl ทุกเส้นทางภายใต้เว็บไซต์สำหรับบอตที่ใช้กฎชุดนี้ ซึ่งไม่เหมาะกับเว็บไซต์จริงที่ต้องการให้ Google ค้นพบเนื้อหา
3. Allow ใช้สร้างข้อยกเว้นให้เส้นทางที่ถูกบล็อก
Allow ใช้กำหนดข้อยกเว้นในกฎ โดยเหมาะกับกรณีที่คุณต้องการบล็อกเส้นทางหลัก แต่ยังอนุญาตให้เข้าถึงไฟล์บางรายการภายในเส้นทางนั้น
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php
ตัวอย่างนี้เป็นรูปแบบที่พบได้ในเว็บไซต์ WordPress หลายแห่ง โดยเปิดให้ Crawler เข้าถึง admin-ajax.php แม้จะบล็อกพื้นที่ /wp-admin/ ส่วนใหญ่ไว้
Google ใช้กฎที่ตรงกับ URL อย่างเฉพาะเจาะจงที่สุดในการตัดสินใจ ไม่ใช่อ่านบรรทัดจากบนลงล่างแล้วใช้คำสั่งสุดท้ายเสมอ ดังนั้นเมื่อมีกฎ Allow และ Disallow ซ้อนกัน ควรทดสอบผลกับ URL จริงก่อนเผยแพร่
4. Sitemap ใช้แจ้งตำแหน่ง XML Sitemap
คำสั่ง Sitemap ช่วยแจ้งตำแหน่ง XML Sitemap ซึ่งเป็นไฟล์ที่รวบรวม URL ที่เว็บไซต์ต้องการให้ Search Engine ทราบ
Sitemap: https://yourdomain.com/sitemap_index.xml
คุณควรเปลี่ยน URL ตัวอย่างให้ตรงกับเว็บไซต์จริง เพราะ WordPress แต่ละแห่งอาจใช้ Sitemap คนละตำแหน่ง เช่น /wp-sitemap.xml จากระบบพื้นฐานของ WordPress หรือ /sitemap_index.xml จากปลั๊กอิน SEO บางประเภท
การใส่ Sitemap ไม่ได้รับประกันว่าทุก URL จะถูก Crawl หรือ Index แต่ช่วยให้ระบบค้นหาทราบตำแหน่งรายการ URL ที่สำคัญ ศึกษาข้อกำหนดจาก คู่มือสร้างและส่ง Sitemap ของ Google
ตัวอย่าง robots.txt สำหรับ WordPress ที่ใช้ได้กับเว็บทั่วไป
เว็บไซต์ WordPress ขนาดเล็กหรือเว็บบริษัททั่วไปมักไม่จำเป็นต้องมี robots.txt หลายสิบหรือหลายร้อยบรรทัด หากเว็บไซต์ไม่ได้มีปัญหาเรื่อง URL จำนวนมากหรือโครงสร้างพิเศษ สามารถเริ่มต้นจากกฎที่เรียบง่ายได้
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://yourdomain.com/sitemap_index.xml
ตัวอย่างนี้อนุญาตให้ Crawl เส้นทางทั่วไป บล็อกส่วนหลังบ้านเป็นหลัก และระบุตำแหน่ง Sitemap โดยคุณต้องตรวจว่า URL Sitemap มีอยู่จริงก่อนนำไปใช้งาน
หากเว็บไซต์ใช้ XML Sitemap ของ WordPress Core ที่ /wp-sitemap.xml ก็ควรใช้ตำแหน่งนั้นแทน หรือหากไม่ต้องการเพิ่มกฎใดเป็นพิเศษ บางเว็บไซต์อาจใช้ robots.txt เริ่มต้นที่ WordPress สร้างให้โดยไม่จำเป็นต้องมีไฟล์จริงเพิ่มเติม
อย่าคัดลอก robots.txt จากเว็บไซต์อื่นมาใช้ทั้งหมด เพราะเว็บร้านค้า WooCommerce เว็บสมาชิก และเว็บไซต์ที่ใช้ Page Builder อาจมีโครงสร้าง URL และทรัพยากรที่ต้อง Crawl แตกต่างกัน
[[IMAGE: Website administrator workspace with laptop displaying an abstract crawler access control diagram, interconnected website pages and sitemap nodes, clean modern office, realistic photography, no readable text, no logos, no copyrighted characters]]
เว็บไซต์ WordPress ควรบล็อก URL ประเภทไหนด้วย robots.txt?
ก่อนเพิ่มคำสั่ง Disallow ให้ถามตัวเองก่อนว่า URL นั้นมีคุณค่าต่อการค้นหาหรือไม่ และการ Crawl URL ดังกล่าวทำให้เกิดปัญหาจริงหรือเปล่า
กรณีที่อาจพิจารณาจำกัดการ Crawl ได้แก่
- พื้นที่จัดการระบบ: เช่น
/wp-admin/โดยคงข้อยกเว้นที่จำเป็น - หน้าค้นหาภายใน: หากระบบสร้าง URL จำนวนมากที่ไม่มีคุณค่าต่อการค้นหาภายนอก
- URL จากตัวกรองสินค้า: เช่น การกรองสี ขนาด หรือการเรียงลำดับที่สร้าง URL ซ้ำจำนวนมาก
- พารามิเตอร์บางประเภท: หากทำให้เกิดการ Crawl ซ้ำโดยไม่เพิ่มคุณค่าเนื้อหา
- เส้นทางระบบที่ไม่เกี่ยวกับ SEO: เมื่อได้ตรวจสอบแล้วว่าไม่จำเป็นต่อการแสดงผลหรือการทำงานของเว็บไซต์
สำหรับเว็บไซต์ร้านค้าออนไลน์ สมมติว่าหมวดรองเท้าหนึ่งหมวดสามารถกรองสีได้ 10 แบบ ขนาด 8 แบบ และเรียงลำดับได้หลายวิธี ระบบอาจสร้าง URL จำนวนมากจากสินค้าชุดเดียวกัน
หาก Google Crawl URL เหล่านี้มากเกินจำเป็น อาจเกิดภาระในการสำรวจเว็บไซต์ แต่การบล็อกพารามิเตอร์ทั้งหมดแบบเหมารวมก็อาจทำให้เสียหน้าที่มีความต้องการค้นหาจริง เช่น หน้าหมวดสินค้าตามแบรนด์หรือคุณสมบัติเฉพาะ
ดังนั้นควรตรวจ Search Intent, Internal Link, Canonical และข้อมูลการ Crawl ก่อนกำหนดกฎ ไม่ใช่เห็น URL มีเครื่องหมายคำถามแล้วสั่งบล็อกทั้งหมด
URL แบบไหนไม่ควรบล็อกด้วย robots.txt?
สิ่งที่ไม่ควรทำคือบล็อกหน้าที่ธุรกิจต้องการให้ Google ค้นพบ โดยเฉพาะหน้าที่สร้างยอดขายและหน้าที่ช่วยอธิบายสินค้าหรือบริการ
- หน้าแรกของเว็บไซต์
- หน้าบริการที่ต้องการทำ SEO
- หน้า Landing Page ที่ต้องการให้แสดงใน Organic Search
- หน้าสินค้าและหมวดหมู่สินค้าสำคัญ
- บทความที่มีเนื้อหาคุณภาพ
- ไฟล์ CSS และ JavaScript ที่จำเป็นต่อการแสดงผล
- รูปภาพสำคัญที่ต้องการให้ Google เข้าใจและค้นพบ
- หน้าเว็บที่ต้องให้ Google อ่าน Structured Data
การบล็อก CSS หรือ JavaScript ที่จำเป็นอาจทำให้ Google Render หน้าเว็บได้ไม่ครบตามที่ผู้ใช้เห็นจริง โดยเฉพาะเว็บไซต์ที่ใช้ JavaScript สร้างเนื้อหาหรือแสดงองค์ประกอบสำคัญ
Google ระบุว่าเนื้อหาที่ต้องการให้แสดงผลแบบ Rich Result ควรเปิดให้ระบบเข้าถึงหน้าและข้อมูล Structured Data ที่เกี่ยวข้องได้ พร้อมปฏิบัติตาม ข้อกำหนด Structured Data ของ Google
สำหรับ XML Sitemap โดยทั่วไปควรให้ Crawler เข้าถึงไฟล์ได้ และไม่ควรใส่ URL ที่ต้องการทำ SEO ลงใน Sitemap ทั้งที่บล็อก URL เดียวกันด้วย robots.txt โดยไม่มีเหตุผลชัดเจน เพราะเป็นการส่งสัญญาณการค้นพบและการเข้าถึงที่ขัดกัน
วิธีตั้งค่า robots.txt บน WordPress ทีละขั้นตอน
ขั้นตอนที่ 1: ตรวจว่ามี robots.txt อยู่แล้วหรือไม่
เริ่มจากเปิดเบราว์เซอร์แล้วพิมพ์ URL เว็บไซต์ตามด้วย /robots.txt เช่น https://yourdomain.com/robots.txt
หากเห็นข้อความกฎ robots.txt แสดงว่ามีเนื้อหาไฟล์ถูกส่งกลับมาแล้ว แต่อาจเป็นไฟล์จริงบนเซิร์ฟเวอร์หรือเป็น Virtual robots.txt ที่ WordPress สร้างขึ้นก็ได้
หากไม่พบไฟล์ ไม่จำเป็นต้องรีบสร้างใหม่ทันที เพราะเว็บไซต์ที่ไม่มี robots.txt ที่บล็อกการ Crawl ก็ยังสามารถถูก Googlebot สำรวจได้ตามเงื่อนไขอื่นของเว็บไซต์
ขั้นตอนที่ 2: ตรวจว่า WordPress หรือระบบใดเป็นผู้จัดการไฟล์
เว็บไซต์ WordPress อาจจัดการ robots.txt ผ่านไฟล์จริงใน Root Directory ระบบพื้นฐานของ WordPress ปลั๊กอิน SEO หรือการตั้งค่าบนเซิร์ฟเวอร์
หากใช้ปลั๊กอินอย่าง Yoast SEO หรือ Rank Math ควรตรวจความสามารถของรุ่นและการตั้งค่าที่ใช้งานจริงก่อน เพราะเมนูแก้ไข robots.txt อาจแตกต่างกัน และอาจไม่สามารถใช้งานได้ในทุกสภาพแวดล้อม
อย่าพยายามสร้างหลายระบบเพื่อควบคุม robots.txt ไฟล์เดียวกัน เพราะอาจเกิดความสับสนว่าแก้จากจุดไหนแล้วมีผลกับเว็บไซต์จริง
ขั้นตอนที่ 3: สำรองไฟล์เดิมก่อนเปลี่ยนกฎ
หากต้องแก้ไฟล์จริง ให้ดาวน์โหลด robots.txt เดิมเก็บไว้ก่อน แล้วใช้ File Manager ของ Hosting หรือ SFTP เพื่อแก้ไขอย่างปลอดภัย
ไฟล์ควรมีชื่อ robots.txt และอยู่ที่ Root ของ Host ที่ต้องการควบคุม โดยบันทึกเป็น Plain Text ด้วยการเข้ารหัส UTF-8
ต้องเข้าใจว่า robots.txt มีขอบเขตตาม Protocol, Host และ Port เช่น robots.txt ของ www.example.com ไม่ได้ใช้แทนไฟล์ของ shop.example.com โดยอัตโนมัติ
ขั้นตอนที่ 4: เพิ่มกฎเท่าที่จำเป็น
เริ่มจากกฎพื้นฐาน แล้วค่อยเพิ่มข้อจำกัดเฉพาะ URL ที่มีเหตุผลรองรับ เช่น มีการสร้าง URL ซ้ำจำนวนมากจนเกิดปัญหาการ Crawl
หากไม่แน่ใจว่าเส้นทางใดเกี่ยวข้องกับ Page Builder, ปลั๊กอินร้านค้า หรือระบบค้นหาภายใน ไม่ควรบล็อกทันที เพราะบางเส้นทางอาจจำเป็นต่อการ Render หรือการทำงานของเว็บไซต์
ขั้นตอนที่ 5: ตรวจ Sitemap ก่อนใส่ URL
WordPress อาจมี Sitemap จากระบบหลักหรือปลั๊กอิน SEO ให้ตรวจว่าเว็บไซต์ใช้งานไฟล์ใดจริง และ URL นั้นตอบสนองได้ตามปกติ
หากต้องการเข้าใจความแตกต่างของ XML Sitemap และวิธีจัดรายการหน้าสำคัญ สามารถอ่านเพิ่มเติมได้จาก Sitemap คืออะไร และสำคัญกับ SEO อย่างไร
ขั้นตอนที่ 6: ล้าง Cache และตรวจไฟล์ที่แสดงจริง
หลังบันทึกไฟล์ ให้ตรวจ URL robots.txt อีกครั้ง และล้าง Cache ที่เกี่ยวข้องหากเว็บไซต์ใช้ CDN หรือระบบ Cache ของเซิร์ฟเวอร์
ควรตรวจด้วยว่าไฟล์ตอบสนองผ่าน HTTPS ได้ตามปกติ และไม่ได้ถูกเปลี่ยนเนื้อหาจาก Firewall, Reverse Proxy หรือระบบจัดการเซิร์ฟเวอร์อื่น
Google โดยทั่วไปเก็บ robots.txt ไว้ใน Cache ประมาณ 24 ชั่วโมง แต่อาจนานกว่านั้นได้ในบางสถานการณ์ โดยเฉพาะกรณีมีปัญหาในการดึงไฟล์ใหม่ คุณสามารถตรวจรายละเอียดการตีความกฎและการ Cache ได้จาก Google robots.txt Specification
วิธีทดสอบ robots.txt ว่าบล็อก Google ผิดหรือไม่
อย่าแก้ robots.txt แล้วถือว่างานเสร็จ เพราะกฎที่ดูถูกต้องเมื่ออ่านด้วยตาอาจให้ผลต่างจากที่ตั้งใจเมื่อใช้กับ URL จริง โดยเฉพาะหากมีกฎหลายชุดหรือมี Wildcard
1. ตรวจ URL สำคัญผ่าน Google Search Console
เปิด Google Search Console แล้วใช้ URL Inspection ตรวจหน้าแรก หน้าบริการหลัก หน้าสินค้า และบทความสำคัญ
ดูว่ามีข้อจำกัดการ Crawl หรือไม่ และตรวจข้อมูลที่เกี่ยวข้องกับการจัดทำดัชนีด้วย เพราะการอนุญาตให้ Crawl กับการได้รับการ Index เป็นคนละขั้นตอน
2. ตรวจรายงาน robots.txt
Google Search Console มีรายงาน robots.txt ที่ช่วยให้เจ้าของเว็บไซต์ตรวจไฟล์ที่ Google รู้จัก สถานะการดึงไฟล์ และข้อมูลประกอบการแก้ปัญหา
หากเพิ่งแก้ robots.txt และต้องการให้ Google ตรวจไฟล์ใหม่ สามารถใช้ความสามารถ Request a recrawl ของรายงาน robots.txt เมื่อมีให้ใช้งาน โดยไม่ได้หมายความว่าทุกหน้าเว็บไซต์จะถูก Crawl และ Index ใหม่ทันที
3. ทดสอบกฎกับ URL หลายรูปแบบ
หากคุณบล็อกเส้นทาง เช่น /wp-admin/ ควรตรวจทั้ง URL ภายในเส้นทางดังกล่าวและข้อยกเว้นที่ต้องการอนุญาต
สำหรับเว็บไซต์ร้านค้า ให้ทดสอบ URL หมวดหมู่ปกติ URL ที่มีตัวกรอง และ URL สินค้าที่ต้องการให้ Google ค้นพบ เพื่อให้แน่ใจว่ากฎไม่ได้บล็อกกว้างเกินไป
4. ตรวจผลหลังเปลี่ยนโครงสร้างเว็บไซต์
หากมีการย้ายโดเมน เปลี่ยนโครงสร้าง URL เพิ่มปลั๊กอิน หรือเปิดเว็บไซต์จริงจาก Staging ควรตรวจ robots.txt ทุกครั้ง เพราะกฎเดิมอาจไม่เหมาะกับเส้นทางใหม่
คุณสามารถใช้ Google Search Console เพื่อตรวจปัญหา SEO และการ Index ประกอบการติดตามสถานะเว็บไซต์หลังเปลี่ยนแปลงได้
ข้อผิดพลาด robots.txt ที่อาจทำให้เว็บไซต์เสียทราฟฟิก
1. ใส่ Disallow: / บนเว็บไซต์จริง
นี่คือข้อผิดพลาดที่ควรตรวจเป็นอันดับแรก โดยเฉพาะหลังย้ายเว็บไซต์หรือเปิดเว็บใหม่ เพราะอาจมีการนำไฟล์จาก Staging ที่ตั้งใจบล็อก Crawler มาใช้งานบน Production
ผลคือ Googlebot อาจไม่สามารถ Crawl หน้าใหม่หรือกลับมาอ่านเนื้อหาที่แก้ไขได้ แม้บาง URL ที่เคยรู้จักยังปรากฏในดัชนีอยู่ก็ตาม
2. ใช้ robots.txt เพื่อหวังลบหน้าออกจาก Google
หากหน้าเว็บปรากฏใน Google อยู่แล้ว การเพิ่ม Disallow อาจไม่ได้ทำให้ URL หายจากผลการค้นหา และยังอาจป้องกันไม่ให้ Google อ่านคำสั่ง noindex ที่อยู่ภายในหน้านั้น
ควรเลือกวิธีให้ตรงเป้าหมาย หากต้องการนำหน้าออกจากการค้นหา ให้ใช้ noindex ในหน้าที่ Google เข้าถึงได้ หรือใช้มาตรการลบและจำกัดการเข้าถึงตามความเหมาะสม
3. บล็อก CSS และ JavaScript ที่จำเป็น
เว็บไซต์ WordPress บางแห่งใช้ Page Builder และ JavaScript เพื่อสร้างองค์ประกอบบนหน้าเว็บ หากบล็อกทรัพยากรที่สำคัญ Google อาจ Render หน้าได้ไม่เหมือนที่ผู้ใช้เห็นจริง
ก่อนเพิ่มกฎบล็อกไฟล์ทรัพยากร ควรตรวจว่าไฟล์นั้นจำเป็นต่อการแสดงเนื้อหาหรือการทำงานของหน้าเว็บหรือไม่
4. เขียนกฎ Wildcard โดยไม่ทดสอบ
Google รองรับการใช้ * เพื่อจับคู่ตัวอักษรหลายตำแหน่ง และ $ เพื่อระบุจุดสิ้นสุดของ URL ในการประเมินกฎ robots.txt
แต่การใช้ Wildcard โดยไม่เข้าใจลักษณะการจับคู่ อาจทำให้บล็อก URL มากกว่าที่ตั้งใจ โดยเฉพาะเว็บไซต์ที่มี Query Parameters จำนวนมาก
หลักที่ควรยึดคือใช้กฎที่อ่านเข้าใจง่าย และทดสอบกับ URL ตัวอย่างทั้งที่ควรอนุญาตและที่ควรบล็อกก่อนนำขึ้นเว็บไซต์จริง
5. บล็อกหน้า Staging แต่ไม่ป้องกันการเข้าถึง
เว็บไซต์ Staging มักมีข้อมูลทดลอง หรือบางครั้งมีสำเนาข้อมูลจากเว็บไซต์จริง การใส่ Disallow ไม่ใช่วิธีป้องกันข้อมูลดังกล่าว เพราะผู้ใช้และบอตที่ไม่ปฏิบัติตาม robots.txt ยังอาจเปิด URL ได้
ควรใช้ Authentication, การจำกัด IP หรือระบบป้องกันอื่นที่เหมาะสม รวมถึงหลีกเลี่ยงการนำข้อมูลส่วนบุคคลจริงไปใช้บนระบบทดสอบโดยไม่จำเป็น
robots.txt ช่วยเรื่อง Crawl Budget จริงหรือไม่?
Crawl Budget เป็นแนวคิดเกี่ยวกับความสามารถและความต้องการของ Google ในการ Crawl เว็บไซต์ภายในช่วงเวลาหนึ่ง โดยมีความสำคัญมากขึ้นกับเว็บไซต์ขนาดใหญ่หรือเว็บไซต์ที่สร้าง URL จำนวนมาก
สมมติว่าเว็บไซต์ E-commerce มีสินค้าหลายหมื่นรายการ และระบบตัวกรองสร้าง URL ใหม่ได้อีกจำนวนมาก หาก Google ใช้เวลาเข้าถึง URL ที่แทบไม่มีข้อมูลใหม่ อาจเกิดการ Crawl ที่ไม่จำเป็นและเพิ่มภาระให้เซิร์ฟเวอร์
robots.txt สามารถช่วยลดการ Crawl URL บางกลุ่มได้ แต่ต้องวิเคราะห์ร่วมกับโครงสร้างเว็บไซต์ Canonical และ Sitemap เพราะการบล็อก URL ไม่ได้ทำให้ Google โอน Crawl Budget ไปยังหน้าสำคัญแบบอัตโนมัติทุกกรณี
สำหรับเว็บไซต์บริษัทขนาดเล็กที่มีเพียงไม่กี่สิบหน้าหรือไม่กี่ร้อยหน้า โดยทั่วไปไม่จำเป็นต้องหมกมุ่นกับการเพิ่มกฎ Crawl Budget หากไม่มีหลักฐานว่ากำลังเกิดปัญหาจริง
จุดที่ควรให้ความสำคัญมากกว่าคือหน้าเว็บสำคัญต้องเข้าถึงได้ มี Internal Link เหมาะสม และมีเนื้อหาที่ตอบโจทย์การค้นหา
robots.txt เกี่ยวข้องกับ AI Search และ AI Crawlers อย่างไร?
เมื่อมีบริการค้นหาแบบ AI มากขึ้น เว็บไซต์บางแห่งอาจต้องการกำหนดนโยบายการเข้าถึงสำหรับ Crawler แต่ละประเภท ซึ่งสามารถใช้ robots.txt เป็นส่วนหนึ่งของการจัดการได้หากผู้ให้บริการรองรับ
อย่างไรก็ตาม บอตสำหรับค้นหาข้อมูลกับบอตสำหรับรวบรวมข้อมูลเพื่อฝึกโมเดลอาจมีวัตถุประสงค์แตกต่างกัน จึงไม่ควรเหมารวมว่าบอต AI ทุกตัวทำหน้าที่เหมือนกัน
ตัวอย่างเช่น OpenAI แยก OAI-SearchBot ซึ่งเกี่ยวข้องกับ ChatGPT Search ออกจาก GPTBot ที่เกี่ยวข้องกับการรวบรวมข้อมูลเพื่อการฝึกโมเดล คุณสามารถตรวจชื่อ User-agent และแนวทางควบคุมการเข้าถึงได้จาก เอกสาร OpenAI Crawlers
ก่อนเพิ่มกฎเฉพาะสำหรับ AI Crawler ควรพิจารณาว่าเป้าหมายธุรกิจคืออะไร ต้องการให้เนื้อหาถูกค้นพบผ่านบริการใด และนโยบายของแต่ละแพลตฟอร์มระบุไว้อย่างไร
การอนุญาตให้ Crawler เข้าถึงเว็บไซต์ไม่ได้รับประกันว่าเนื้อหาจะถูกนำไปแสดงหรืออ้างอิงในระบบ AI Search แต่การบล็อกอาจจำกัดโอกาสการเข้าถึงข้อมูลตามกลไกของผู้ให้บริการนั้น
เช็กลิสต์ตรวจ robots.txt ก่อนเปิดเว็บไซต์ WordPress
หากคุณกำลังเปิดเว็บไซต์ใหม่ ย้าย Hosting หรือปรับโครงสร้างเว็บ ควรตรวจรายการต่อไปนี้ก่อนปล่อยให้ Google เข้ามา Crawl เนื้อหาจริง
- เปิด
/robots.txtได้และเห็นกฎที่ตั้งใจใช้งานจริง - ไม่มี
Disallow: /ที่บล็อกเว็บไซต์ทั้งหมดโดยไม่ตั้งใจ - หน้าแรก หน้าบริการ และบทความสำคัญไม่ถูกบล็อก
- หน้าและหมวดหมู่สินค้าที่ต้องการทำ SEO ยัง Crawl ได้
- ไม่มีการบล็อก CSS หรือ JavaScript ที่จำเป็นต่อการ Render
- ไม่ได้ใช้ robots.txt แทน noindex สำหรับหน้าที่ต้องการเอาออกจากผลการค้นหา
- เว็บไซต์ Staging หรือข้อมูลลับมีระบบป้องกันการเข้าถึงจริง
- ระบุ Sitemap URL ที่ถูกต้องและเปิดใช้งานได้
- ตรวจผลจาก Google Search Console หลังเปลี่ยนกฎ
- ตรวจ robots.txt ใหม่ทุกครั้งหลังย้ายโดเมนหรือเปลี่ยนโครงสร้าง URL
หากยังไม่แน่ใจว่าปัญหาอยู่ที่ robots.txt หรือระบบอื่น ควรตรวจภาพรวมผ่าน Technical SEO คืออะไร เพราะปัญหาการ Index อาจเกิดจาก Canonical, noindex, HTTP Status, Internal Link หรือคุณภาพเนื้อหา ไม่ได้เกิดจาก robots.txt เสมอไป
สรุป: robots.txt ที่ดีต้องเปิดทางให้ Google เข้าเว็บสำคัญได้
robots.txt คือเครื่องมือควบคุมการ Crawl ของ Search Engine โดยมีประโยชน์ในการจำกัดการเข้าถึง URL ที่ไม่จำเป็น และช่วยจัดการเว็บไซต์ที่มีโครงสร้างซับซ้อน แต่ไม่ได้มีหน้าที่รับประกันอันดับ SEO ป้องกันข้อมูลลับ หรือสั่งลบหน้าออกจากผลการค้นหาโดยตรง
สำหรับเว็บไซต์ WordPress ทั่วไป คุณไม่จำเป็นต้องสร้างไฟล์ robots.txt ที่ยาวหรือซับซ้อน สิ่งสำคัญคือเข้าใจว่ากฎแต่ละบรรทัดกำลังควบคุม URL ใด และมีผลกระทบต่อหน้าที่ธุรกิจต้องการให้ Google ค้นพบหรือไม่
เริ่มลงมือวันนี้ด้วยการเปิด robots.txt ของเว็บไซต์ตัวเอง ตรวจว่ามี Disallow: / หรือกฎที่บล็อกหน้าสำคัญหรือไม่ แล้วใช้ Google Search Console ตรวจ URL หน้าแรก หน้าบริการ และบทความหลัก หากทุกอย่างทำงานถูกต้อง ก็ไม่จำเป็นต้องเพิ่มกฎเพียงเพราะเห็นเว็บไซต์อื่นใช้ไฟล์ที่ยาวกว่า
การทำ SEO ที่มีประสิทธิภาพไม่ใช่การบล็อก Google ให้มากที่สุด แต่คือการทำให้ระบบค้นหาเข้าถึงข้อมูลที่มีคุณค่าต่อผู้ใช้ได้อย่างเหมาะสม พร้อมลดการทำงานที่ไม่จำเป็นของเว็บไซต์
คำถามที่พบบ่อย
robots.txt จำเป็นสำหรับทุกเว็บไซต์ WordPress หรือไม่?
ไม่จำเป็นต้องสร้าง robots.txt แบบกำหนดเองทุกเว็บไซต์ เพราะ WordPress สามารถแสดง robots.txt พื้นฐานได้ และเว็บไซต์ที่ไม่มีไฟล์นี้ก็ยังสามารถถูก Googlebot Crawl ได้ตามเงื่อนไขอื่น อย่างไรก็ตาม เจ้าของเว็บไซต์ควรตรวจว่าไม่มีคำสั่งบล็อกหน้าเว็บสำคัญโดยไม่ตั้งใจ โดยเฉพาะหลังย้ายเว็บไซต์หรือเปลี่ยนระบบ Hosting
ถ้าไม่ต้องการให้หน้าเว็บปรากฏบน Google ควรใช้ robots.txt หรือ noindex?
ควรใช้ noindex หากต้องการไม่ให้หน้าเว็บที่เข้าถึงได้ปรากฏในผลการค้นหาของ Google เพราะ
บทความที่เกี่ยวข้อง