เคยสงสัยไหมว่า เวลา AI agent เข้าไปอ่านเว็บไซต์ มันต้องเจออะไรบ้าง? คำตอบคือ — HTML เต็มไปหมด ทั้ง tag, style, script ที่ไม่เกี่ยวกับเนื้อหา ทำให้เปลือง token และประมวลผลช้าลง Cloudflare เลยเปิดตัวฟีเจอร์ใหม่ชื่อ Markdown for Agents ที่แปลง HTML เป็น Markdown แบบ real-time ให้ AI agent อ่านได้ง่ายขึ้นมาก มาดูกันว่ามันทำงานยังไง แล้วทำไมมันถึงสำคัญ

ปัญหาที่ AI Agent เจอกับ HTML

เว็บไซต์ถูกสร้างมาเพื่อคนอ่าน ไม่ใช่ AI ดังนั้น HTML ที่เบราว์เซอร์ render ออกมาสวยงาม กลับเป็นภาระหนักสำหรับ AI agent เพราะมันต้องแยกโครงสร้าง tag ออก กรอง noise พวก CSS, JavaScript, และ metadata ออกให้หมด แล้วค่อยดึงเนื้อหาจริง ๆ มาประมวลผล

ผลลัพธ์คือ AI ใช้ token เยอะมากไปกับข้อมูลที่ไม่มีประโยชน์ ตัวอย่างง่าย ๆ เช่น heading <h2>About Us</h2> ใน HTML ใช้ประมาณ 12-15 tokens แต่ถ้าเป็น Markdown ## About Us ใช้แค่ 3 tokens เท่านั้น

Markdown for Agents คืออะไร?

Markdown for Agents เป็นฟีเจอร์ของ Cloudflare ที่ใช้กลไก HTTP Content Negotiation เมื่อ AI agent ส่ง request มาพร้อม header Accept: text/markdown ระบบของ Cloudflare จะ:

1. ตรวจจับว่า client ต้องการ Markdown
2. ดึง HTML จาก origin server
3. แปลงเป็น Markdown แบบ on-the-fly
4. ส่ง response กลับเป็น Markdown พร้อม header เสริม

ขั้นตอนทั้งหมดเกิดขึ้นที่ edge ของ Cloudflare โดยไม่ต้องแก้ไขอะไรที่ origin server เลย

วิธีใช้งาน

การ request Markdown จากเว็บที่เปิดใช้ฟีเจอร์นี้ ทำได้ง่ายมาก แค่ส่ง Accept header:

curl https://example.com -H "Accept: text/markdown"

หรือใน JavaScript/TypeScript:

const response = await fetch(url, {
  headers: { Accept: "text/markdown" }
});
const tokenCount = response.headers.get("x-markdown-tokens");
const markdown = await response.text();

สังเกตว่า response จะมี header x-markdown-tokens ที่บอกจำนวน token โดยประมาณ ทำให้ agent สามารถวางแผนการใช้ context window ได้ดีขึ้น

ประสิทธิภาพในการลด Token

จุดเด่นสำคัญของ Markdown for Agents คือการลด token ได้สูงถึง 80% ตัวอย่างจากบทความ Cloudflare เอง:

• HTML: ใช้ ~16,180 tokens
• Markdown: ใช้ ~3,150 tokens
• ประหยัดได้ประมาณ 80%

สำหรับ AI agent ที่ต้อง browse หลายหน้าเว็บต่อ task เดียว การลด token ขนาดนี้หมายถึงทั้งค่าใช้จ่ายที่ลดลงและ context window ที่เหลือพื้นที่ให้ทำงานอื่นมากขึ้น

Content Signal — ควบคุมการใช้งานเนื้อหา

Response จาก Markdown for Agents จะมี header Content-Signal ที่ให้เจ้าของเว็บไซต์กำหนดสิทธิ์การใช้งานเนื้อหาได้:

• ai-train=yes — อนุญาตให้ใช้ train AI ได้
• search=yes — อนุญาตให้ search engine index ได้
• ai-input=yes — อนุญาตให้ AI agent ใช้เป็น input ได้

นี่เป็นก้าวสำคัญในการสร้าง framework ที่ให้ content creator ควบคุมว่าเนื้อหาของตัวเองจะถูกใช้งานอย่างไรในยุค AI

การตั้งค่าสำหรับเจ้าของเว็บไซต์

ถ้าเว็บไซต์อยู่บน Cloudflare (แผน Pro ขึ้นไป) สามารถเปิดใช้งานได้ 2 วิธี:

1. ผ่าน Dashboard: ไปที่ AI Crawl Control แล้วเปิด toggle “Markdown for Agents”

2. ผ่าน API:

curl -X PATCH \
  "https://api.cloudflare.com/client/v4/zones/{zone_tag}/settings/content_converter" \
  -H "Authorization: Bearer {token}" \
  -d '{"value": "on"}'

ข้อจำกัดในปัจจุบัน: รองรับ HTML ขนาดไม่เกิน 2 MB และยังแปลงได้เฉพาะ HTML เท่านั้น (รองรับ format อื่นในอนาคต)

ใครใช้งานอยู่แล้ว?

AI coding agent หลายตัวรองรับฟีเจอร์นี้แล้ว เช่น Claude Code และ OpenCode ที่ส่ง Accept: text/markdown header โดยอัตโนมัติเมื่อ fetch เว็บ ทำให้สามารถข้ามขั้นตอน HTML parsing ไปได้เลย

นอกจากนี้ Cloudflare ยังเปิดใช้งานบน Cloudflare Blog และ Developer Docs เอง ให้เป็นตัวอย่างของการใช้งานจริง

ทางเลือกอื่นสำหรับ Content ที่ไม่อยู่บน Cloudflare

สำหรับเว็บไซต์ที่ไม่ได้ใช้ Cloudflare ยังมีทางเลือกอื่น:

• Workers AI: ใช้ AI.toMarkdown() แปลงเอกสารหลายรูปแบบได้ พร้อม summarization
• Browser Rendering: ใช้ /markdown REST API สำหรับหน้าเว็บแบบ dynamic ที่ต้องการ real browser rendering

สรุป

Markdown for Agents เป็นก้าวสำคัญที่ทำให้ AI agent ทำงานกับเว็บได้ดีขึ้นมาก — ลด token ได้ถึง 80% ใช้ content negotiation มาตรฐาน ไม่ต้องแก้ไข origin server และมี Content Signal ให้เจ้าของเว็บควบคุมสิทธิ์การใช้งาน ถ้าเว็บของคุณอยู่บน Cloudflare Pro ขึ้นไป ลองเปิดใช้ดูได้เลย เพราะในอนาคตอันใกล้ AI agent จะกลายเป็นผู้เข้าชมเว็บไซต์กลุ่มสำคัญที่ไม่ควรมองข้าม

อ้างอิง: Cloudflare Blog — Markdown for Agents, Cloudflare Developer Docs