เคยไหม หน้าเข้าสู่ระบบหรือหน้าผลการค้นหาภายในเว็บกลับไปโผล่บน Google แต่หน้าบทความสำคัญกลับหาไม่เจอ? Meta Robots Tag คือคำสั่งในส่วน <head> ของหน้าเว็บที่ใช้บอก Search Engine ว่าควรนำหน้านั้นไปแสดงในผลค้นหาหรือควรติดตามลิงก์ภายในหน้าหรือไม่ คำสั่งที่พบบ่อยคือ noindex สำหรับไม่ให้หน้าแสดงในผลค้นหา และ nofollow สำหรับขอให้บอตไม่ติดตามลิงก์บนหน้านั้น
แท็กนี้มีขนาดเล็กมาก แต่ผลกระทบไม่เล็กตาม หากตั้งผิดเพียงหน้าเดียว คุณอาจทำให้ Landing Page ที่ใช้สร้างยอดขายหายออกจาก Google ได้ หรือปล่อยให้หน้าคุณภาพต่ำจำนวนมากแย่งทรัพยากรการเก็บข้อมูลจากหน้าที่สำคัญกว่า
Meta Robots Tag ทำงานอย่างไร?
Meta Robots Tag จะถูกวางไว้ในส่วน <head> ของโค้ด HTML โดยมีรูปแบบพื้นฐานดังนี้
<meta name=”robots” content=”noindex, follow”>
เมื่อ Search Engine เข้ามาเก็บข้อมูลหน้าเว็บและอ่านเจอคำสั่งนี้ ระบบจะเข้าใจว่าไม่ควรนำ URL ดังกล่าวไปแสดงในดัชนีค้นหา แต่ยังสามารถติดตามลิงก์จากหน้านั้นไปยังหน้าอื่นได้
ตามเอกสาร Robots Meta Tag ของ Google Search Central คำสั่งนี้ใช้ควบคุมการจัดทำดัชนีและการแสดงผลของหน้าแบบราย URL จึงเหมาะกับกรณีที่แต่ละหน้าต้องการกฎแตกต่างกัน
จุดที่มักทำให้สับสนคือ Meta Robots Tag ไม่เหมือนกับไฟล์ robots.txt เพราะ robots.txt ใช้ควบคุมว่า Search Engine เข้าถึง URL ใดได้บ้าง ส่วน Meta Robots Tag จะทำงานหลังจากบอตเข้าถึงและอ่านหน้าเว็บแล้ว
index, noindex, follow และ nofollow ต่างกันอย่างไร?
index คืออะไร?
index หมายถึงอนุญาตให้ Search Engine นำหน้าเว็บไปพิจารณาจัดเก็บในดัชนีและแสดงในผลค้นหา โดยทั่วไปไม่จำเป็นต้องใส่คำสั่งนี้ เพราะพฤติกรรมเริ่มต้นของหน้าเว็บที่บอตเข้าถึงได้คือสามารถจัดทำดัชนีได้อยู่แล้ว
ตัวอย่างคำสั่งคือ <meta name=”robots” content=”index, follow”> แต่การไม่ใส่ Meta Robots Tag เลยก็มักให้ผลลัพธ์แบบเดียวกัน
noindex คืออะไร?
noindex บอก Search Engine ว่าไม่ต้องการให้ URL นี้ปรากฏในผลค้นหา แม้ผู้ใช้ยังสามารถเปิดหน้าได้ตามปกติผ่านลิงก์โดยตรง เมนู หรือระบบภายในเว็บไซต์
กรณีที่เหมาะกับ noindex ได้แก่
-
หน้าผลการค้นหาภายในเว็บไซต์
-
หน้าขอบคุณหลังส่งแบบฟอร์ม
-
หน้าตะกร้าสินค้าและหน้าชำระเงิน
-
หน้าบัญชีสมาชิกหรือหน้าเข้าสู่ระบบ
-
หน้าที่สร้างจากตัวกรองสินค้าและไม่มีเนื้อหาเฉพาะ
-
หน้าแคมเปญเก่าที่ต้องเปิดให้ผู้มีลิงก์เข้าดู แต่ไม่ต้องการทราฟฟิกจาก Google
Google ระบุว่า noindex จะมีผลเมื่อ Googlebot สามารถเข้าถึงหน้าและอ่านคำสั่งได้ หาก URL ถูกบล็อกด้วย robots.txt ก่อน บอตอาจไม่เห็น noindex และหน้าอาจยังปรากฏเป็น URL เปล่าในผลค้นหาได้
follow คืออะไร?
follow หมายถึงอนุญาตให้ Search Engine ติดตามลิงก์บนหน้าไปยัง URL อื่น คำสั่งนี้เป็นพฤติกรรมพื้นฐานเช่นเดียวกับ index จึงไม่จำเป็นต้องเขียนกำกับในทุกหน้า
รูปแบบ noindex, follow เคยถูกใช้กับหน้าที่ไม่ต้องการให้ติดอันดับ แต่ยังต้องการให้บอตค้นพบหน้าปลายทาง อย่างไรก็ตาม ไม่ควรใช้หน้าที่ถูก noindex เป็นศูนย์กลางของโครงสร้างลิงก์ภายในระยะยาว เพราะ Search Engine อาจกลับมาเก็บข้อมูลหน้านั้นน้อยลงเมื่อพบว่าไม่ควรจัดทำดัชนีอย่างต่อเนื่อง
nofollow คืออะไร?
nofollow ใน Meta Robots Tag เป็นคำสั่งระดับทั้งหน้า ใช้ขอให้บอตไม่ติดตามลิงก์ทั้งหมดที่พบในหน้านั้น ตัวอย่างคือ <meta name=”robots” content=”noindex, nofollow”>
คุณควรใช้ด้วยความระมัดระวัง เพราะลิงก์ภายในที่เป็นประโยชน์ก็จะอยู่ภายใต้คำสั่งเดียวกัน หากต้องการกำกับเฉพาะลิงก์ภายนอกบางรายการ ควรใส่ค่า rel=”nofollow” ที่ลิงก์นั้นโดยตรง แทนการปิดทั้งหน้า
MDN อธิบายว่า noindex ใช้ขอไม่ให้จัดทำดัชนี ส่วน nofollow ใช้ขอไม่ให้ติดตามลิงก์ และคำสั่ง none มีความหมายเทียบเท่ากับ noindex, nofollow สำหรับระบบที่รองรับ
ควรใช้ noindex กับหน้าใดบ้าง?
หลักคิดที่ผมใช้เวลาตรวจเว็บไซต์จริงคือถามว่า “หน้านี้มีคุณค่าพอที่จะเป็นผลลัพธ์แรกที่ผู้ค้นหาเห็นหรือไม่?” หากคำตอบคือไม่ แต่หน้ายังจำเป็นต่อระบบหรือประสบการณ์ใช้งาน noindex มักเป็นทางเลือกที่เหมาะสม
ตัวอย่างร้านค้าออนไลน์อาจมีหน้าสินค้าหมวด “รองเท้าวิ่ง” ที่ควร index เพราะมีรายละเอียดและช่วยสร้างยอดขาย แต่ URL ตัวกรองอย่าง “รองเท้าวิ่ง สีดำ ไซซ์ 42 เรียงจากราคาต่ำ” อาจเกิดขึ้นหลายร้อยรูปแบบ หากทุกหน้าถูก index เว็บไซต์อาจเต็มไปด้วยหน้าที่เนื้อหาแทบเหมือนกัน
ก่อนใส่ noindex ให้ตรวจสอบด้วยว่า URL นั้นควรจัดการด้วย Canonical Tag หรือไม่ เพราะสองคำสั่งนี้แก้ปัญหาคนละแบบ Canonical ใช้ระบุหน้าหลักในกลุ่มหน้าที่คล้ายกัน ส่วน noindex ใช้ระบุว่าหน้านั้นไม่ควรอยู่ในผลค้นหาเลย
หน้า Category และ Tag ใน WordPress ควร noindex หรือไม่?
คำตอบคือ ไม่ควร noindex แบบเหมารวม หน้า Category ที่มีคำอธิบายชัดเจน รวมบทความในหัวข้อเดียวกัน และตอบ Search Intent ได้ อาจสร้าง Organic Traffic ได้ดี โดยเฉพาะเว็บไซต์ที่วางโครงสร้างเนื้อหาเป็น Topic Cluster
ในทางกลับกัน หน้า Tag ที่มีบทความเพียงหนึ่งรายการ ชื่อใกล้เคียงกันหลายแท็ก หรือไม่มีข้อความอธิบาย มักสร้างหน้าบางและหน้าซ้ำจำนวนมาก กรณีนี้ควรรวมแท็ก ลบแท็กที่ไม่จำเป็น หรือใช้ noindex ตามแผน Content Pruning แทนการปล่อยให้ระบบสร้าง URL ไปเรื่อย ๆ
ประโยชน์ทางธุรกิจคือ Google จะมองเห็นโครงสร้างเว็บไซต์ที่กระชับขึ้น ขณะที่ลูกค้าก็เดินทางจากหน้าหมวดหมู่ไปยังบทความ สินค้า หรือบริการได้ง่ายกว่าเดิม
ตั้งค่า noindex ใน WordPress อย่างไร?
ตั้งค่าผ่านปลั๊กอิน SEO
ปลั๊กอิน SEO เช่น Yoast SEO, Rank Math หรือ All in One SEO มักมีตัวเลือกกำหนด Robots Meta แยกในแต่ละหน้า ขั้นตอนโดยทั่วไปคือ
-
เปิดแก้ไขหน้า โพสต์ หรือ Custom Post Type ที่ต้องการ
-
เลื่อนไปยังส่วนตั้งค่าของปลั๊กอิน SEO
-
เปิดเมนูขั้นสูงหรือ Advanced Settings
-
ตั้งค่าการอนุญาตให้แสดงหน้านี้ในผลค้นหาเป็น “ไม่อนุญาต”
-
อัปเดตหน้าและตรวจโค้ดหน้าเว็บอีกครั้ง
ชื่อเมนูอาจแตกต่างกันตามปลั๊กอินและเวอร์ชัน แต่ผลลัพธ์ที่ต้องได้คือมี <meta name=”robots” content=”noindex”> อยู่ในส่วน <head>
ระวังการตั้งค่า Discourage Search Engines
ใน WordPress มีตัวเลือก “Discourage search engines from indexing this site” อยู่ที่ Settings > Reading ตัวเลือกนี้เหมาะกับเว็บไซต์ระหว่างพัฒนา แต่ไม่ควรเปิดค้างไว้หลังเปิดเว็บจริง
ผมเคยพบเว็บไซต์ธุรกิจที่เปิดตัวและยิงโฆษณามาหลายสัปดาห์ แต่ Organic Traffic เป็นศูนย์ เพราะทีมพัฒนาลืมปิดตัวเลือกดังกล่าว ดังนั้นขั้นตอนส่งมอบเว็บไซต์ควรมีเช็กลิสต์ตรวจ Robots Meta, robots.txt, Sitemap และสถานะใน Google Search Console เสมอ
ใช้ noindex กับเว็บไซต์ทดสอบเพียงพอหรือไม่?
ไม่เพียงพอสำหรับข้อมูลที่ต้องการความเป็นส่วนตัว เพราะ noindex ไม่ใช่ระบบรักษาความปลอดภัย ผู้ที่มี URL ยังเปิดหน้าได้ และ Search Engine อื่นอาจตีความคำสั่งแตกต่างกัน
เว็บไซต์ Staging ควรใช้การยืนยันตัวตนด้วยรหัสผ่าน จำกัด IP หรือปิดการเข้าถึงจากภายนอก แล้วจึงใช้ noindex เป็นมาตรการเสริม อย่าใช้ noindex เพื่อปกป้องข้อมูลลูกค้า เอกสารภายใน หรือข้อมูลลับทางธุรกิจ
ทำไมใส่ noindex แล้วหน้ายังอยู่บน Google?
สาเหตุที่พบบ่อยคือ Google ยังไม่ได้กลับมาเก็บข้อมูลหน้าใหม่ การเพิ่ม noindex ไม่ได้ทำให้ URL หายทันที คุณควรตรวจว่าหน้าเปิดได้ตามปกติ ไม่ถูก robots.txt บล็อก และไม่มีปลั๊กอินหรือระบบแคชส่งโค้ดคนละชุดให้บอต
ขั้นตอนตรวจสอบที่ทำตามได้คือ
-
เปิดหน้าเว็บและใช้ View Page Source ค้นหาคำว่า robots
-
ตรวจว่ามี noindex เพียงชุดเดียวและไม่มีคำสั่งขัดแย้งกัน
-
ใช้ URL Inspection ใน Google Search Console ตรวจ URL
-
กด Request Indexing เพื่อให้ Google กลับมาตรวจหน้า
-
ติดตามสถานะอีกครั้งหลังระบบประมวลผล
สำหรับไฟล์ที่ไม่ใช่ HTML เช่น PDF หรือรูปภาพ คุณไม่สามารถวาง Meta Tag ใน <head> ได้ จึงต้องใช้ HTTP Header ที่เรียกว่า X-Robots-Tag เช่น X-Robots-Tag: noindex แทน
ข้อผิดพลาดที่ควรหลีกเลี่ยงเมื่อใช้ noindex nofollow
-
ใส่ noindex ให้หน้าที่สร้างรายได้: เช่น หน้าบริการ หน้าสินค้า หรือ Landing Page ที่ต้องการ Organic Traffic
-
บล็อก URL ใน robots.txt พร้อมใส่ noindex: บอตอาจเข้าไปอ่านคำสั่ง noindex ไม่ได้
-
ใช้ nofollow ทั้งหน้าโดยไม่จำเป็น: ทำให้ลิงก์ภายในที่มีประโยชน์ถูกกำกับไปด้วย
-
ตั้ง noindex แก้ปัญหาหน้าซ้ำทุกกรณี: บางสถานการณ์ควรใช้ Canonical, Redirect หรือปรับโครงสร้าง URL
-
ลืมเอา noindex ออกจากเว็บจริง: พบได้บ่อยหลังย้ายเว็บไซต์จาก Staging ไป Production
-
ดูเฉพาะค่าจากปลั๊กอิน: ควรตรวจโค้ด HTML และ HTTP Header จริง เพราะธีมหรือปลั๊กอินอื่นอาจแทรกคำสั่งซ้ำ
ก่อนเผยแพร่หรือแก้ไขเว็บไซต์ ให้แบ่ง URL เป็นสามกลุ่ม ได้แก่ หน้าที่ต้องการให้ติดอันดับ หน้าที่ผู้ใช้ต้องเข้าถึงแต่ไม่ต้องติดอันดับ และหน้าที่ไม่ควรเปิดให้เข้าถึง จากนั้นใช้ index, noindex หรือระบบป้องกันการเข้าถึงให้ตรงกับวัตถุประสงค์ วิธีนี้ลดความผิดพลาดและช่วยให้ทรัพยากร SEO ถูกใช้กับหน้าที่สร้างโอกาสทางธุรกิจจริง
คำถามที่พบบ่อย
noindex ทำให้ Google ไม่เข้ามาเก็บข้อมูลหน้าเว็บเลยหรือไม่?
ไม่ใช่ noindex ควบคุมการจัดทำดัชนี ไม่ได้ห้ามการเข้าถึงหน้า Googlebot ต้องเข้ามาอ่านหน้าเพื่อพบคำสั่ง noindex หากต้องการควบคุมการ Crawl ต้องพิจารณา robots.txt แยกต่างหาก
ควรใช้ noindex, follow หรือ noindex, nofollow?
ส่วนใหญ่ใช้เพียง noindex ก็เพียงพอ เพราะไม่จำเป็นต้องปิดการติดตามลิงก์ทั้งหน้า ใช้ nofollow เพิ่มเมื่อมีเหตุผลชัดเจนว่าไม่ต้องการให้บอตติดตามลิงก์ใด ๆ บนหน้านั้น
ลบ Meta Robots Tag ออกแล้วหน้าจะกลับมาติด Google ทันทีหรือไม่?
ไม่ทันที Search Engine ต้องกลับมา Crawl และประมวลผลหน้าใหม่ก่อน ควรตรวจว่า URL ตอบสถานะ 200 ไม่มี noindex จาก HTML หรือ X-Robots-Tag และส่งตรวจผ่าน Google Search Console อีกครั้ง