# As a condition of accessing this website, you agree to abide by the following
# content signals:

# (a)  If a content-signal = yes, you may collect content for the corresponding
#      use.
# (b)  If a content-signal = no, you may not collect content for the
#      corresponding use.
# (c)  If the website operator does not include a content signal for a
#      corresponding use, the website operator neither grants nor restricts
#      permission via content signal with respect to the corresponding use.

# The content signals and their meanings are:

# search:   building a search index and providing search results (e.g., returning
#           hyperlinks and short excerpts from your website's contents). Search does not
#           include providing AI-generated search summaries.
# ai-input: inputting content into one or more AI models (e.g., retrieval
#           augmented generation, grounding, or other real-time taking of content for
#           generative AI search answers).
# ai-train: training or fine-tuning AI models.

# ANY RESTRICTIONS EXPRESSED VIA CONTENT SIGNALS ARE EXPRESS RESERVATIONS OF
# RIGHTS UNDER ARTICLE 4 OF THE EUROPEAN UNION DIRECTIVE 2019/790 ON COPYRIGHT
# AND RELATED RIGHTS IN THE DIGITAL SINGLE MARKET.

# BEGIN Cloudflare Managed content

User-Agent: *
Content-signal: search=yes,ai-train=no
Allow: /

User-agent: Amazonbot
Disallow: /

User-agent: Applebot-Extended
Disallow: /

User-agent: Bytespider
Disallow: /

User-agent: CCBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: Google-Extended
Disallow: /

User-agent: GPTBot
Disallow: /

User-agent: meta-externalagent
Disallow: /

# END Cloudflare Managed Content

# This virtual robots.txt file was created by the Virtual Robots.txt WordPress plugin: https://www.wordpress.org/plugins/pc-robotstxt/
# XML Sitemap
Sitemap: https://detailedmanual.net/sitemap_index.xml

# ===================================================================
# 모든 로봇에 대한 일반 규칙 (검색 엔진 포함)
# 일반 검색 엔진은 아래 명시적으로 차단된 봇을 제외하고 접근이 허용됩니다.
# ===================================================================
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Disallow: /wp-includes/
Allow: /wp-includes/js/
Allow: /wp-includes/images/
Disallow: /trackback/
Disallow: /wp-login.php
Disallow: /wp-register.php
# Disallow: /readme.html    # 선택 사항: 워드프레스 버전 정보 등 노출 방지
# Disallow: /license.txt    # 선택 사항: 라이선스 정보 노출 방지

# ===================================================================
# AI · 대규모 데이터 수집 · 주요 SEO 분석 크롤러 차단 목록
# ===================================================================

# --- OpenAI / ChatGPT 관련 ---
User-agent: GPTBot # OpenAI: ChatGPT 모델 학습용 크롤러
Disallow: /
User-agent: ChatGPT-User # OpenAI: ChatGPT 플러그인/Action 등 사용자 요청 기반 브라우징
Disallow: /
User-agent: ChatGPT-User/2.0 # OpenAI: ChatGPT 브라우징 최신 버전 추정
Disallow: /
User-agent: OAI-SearchBot/1.0 # OpenAI: 검색 관련 기능 봇 추정
Disallow: /

# --- Google AI / Vertex AI ---
User-agent: Google-Extended # Google: Vertex AI 등 AI 모델 학습 데이터 수집 (Google 검색 색인과는 무관)
Disallow: /

# --- Anthropic / Claude ---
User-agent: ClaudeBot # Anthropic: Claude AI 모델 관련 봇
Disallow: /
User-agent: Claude-Web # Anthropic: Claude 웹 브라우징 기능 관련 봇 (추정)
Disallow: /
User-agent: anthropic-ai # Anthropic: 일반적인 봇 식별자
Disallow: /

# --- Perplexity AI ---
User-agent: PerplexityBot # Perplexity AI: AI 검색엔진 크롤러
Disallow: /
User-agent: Perplexity-User/1.0 # Perplexity AI: 사용자 요청 기반 브라우징 (추정)
Disallow: /

# --- Cohere AI ---
User-agent: cohere-ai # Cohere: AI 모델 관련 봇
Disallow: /
User-agent: cohere-training-data-crawler # Cohere: 명시적인 학습 데이터 수집 크롤러
Disallow: /

# --- Wrtn AI ---
User-agent: WrtnBot
Disallow: /

# --- Mistral AI ---
User-agent: MistralAI-User/1.0 # Mistral AI: 사용자 요청 기반 브라우징 (추정)
Disallow: /

# --- You.com ---
User-agent: YouBot # You.com: AI 기반 검색엔진 크롤러
Disallow: /

# --- DeepSeek AI ---
User-agent: DeepSeek-Crawler # DeepSeek AI: AI 모델 관련 크롤러
Disallow: /

# --- BrightEdge (SEO+AI Platform) ---
User-agent: Brightbot/1.0 # BrightEdge: SEO 및 AI 분석 플랫폼 크롤러
Disallow: /

# --- Allen Institute for AI (Semantic Scholar) ---
User-agent: AI2Bot/1.0 # Allen Institute for AI: Semantic Scholar 학술 검색 관련 봇
Disallow: /

# ===================================================================
# 플랫폼·국가 기반 대규모 수집 크롤러
# ===================================================================
User-agent: CCBot # Common Crawl: 비영리 웹 아카이빙 및 AI 학습 데이터셋 구축
Disallow: /
User-agent: Bytespider # ByteDance: TikTok 모회사, 데이터 수집 및 AI 학습용
Disallow: /
User-agent: MetaBot # Meta: Facebook, Instagram 등 메타 플랫폼용 봇
Disallow: /
User-agent: meta-externalagent # Meta: 외부 링크 처리 등 관련 봇 (추정)
Disallow: /
User-agent: meta-externalfetcher # Meta: 외부 데이터 가져오기 관련 봇 (추정)
Disallow: /
User-agent: FacebookBot # Meta: 구 버전 또는 특정 목적의 Facebook 봇
Disallow: /
User-agent: Applebot # Apple: Siri, Spotlight 제안 등 Apple 서비스용 데이터 수집
Disallow: /

# ===================================================================
# 웹 데이터 수집 · 집계 · 분석 서비스 크롤러
# ===================================================================
User-agent: Omgilibot # 웹 콘텐츠 집계 서비스
Disallow: /
User-agent: Omgili # Omgili의 다른 User-agent
Disallow: /
User-agent: Diffbot # 웹 페이지 구조화 및 데이터 추출 서비스
Disallow: /
User-agent: DataForSeoBot # SEO 데이터 제공 서비스 크롤러
Disallow: /
User-agent: BLEXBot # WebMeUp: 웹 분석 및 데이터 수집 서비스
Disallow: /

# ===================================================================
# 주요 SEO 분석 도구 크롤러 (리소스 사용량 높음)
# ===================================================================
# ※ 사용 중인 도구 봇은 주석 처리('# ')하거나 해당 블록을 삭제하세요.
User-agent: AhrefsBot # Ahrefs: SEO 분석 도구 크롤러
Disallow: /
User-agent: AhrefsSiteAudit # Ahrefs: 사이트 감사 도구용 크롤러
Disallow: /
User-agent: SemrushBot # Semrush: SEO 분석 도구 크롤러 (다양한 변형 존재)
Disallow: /
User-agent: SemrushBot-SA # Semrush: 사이트 감사 도구용 크롤러
Disallow: /
User-agent: SemrushBot-BA # Semrush: 백링크 감사 도구용 크롤러
Disallow: /
User-agent: SemrushBot-SEO # Semrush: 기타 SEO 분석 관련 크롤러
Disallow: /
User-agent: MJ12bot # Majestic: 백링크 분석 전문 도구 크롤러
Disallow: /
User-agent: DotBot # Moz: SEO 분석 도구 크롤러
Disallow: /

# ===================================================================
# 기타 잠재적 데이터 수집·과도한 크롤링 봇
# ===================================================================
User-agent: Cotoyogi # 상세 불명, 공격적 크롤링 사례 보고됨
Disallow: /
User-agent: Crawlspace # 상세 불명 크롤러
Disallow: /
User-agent: FirecrawlAgent # AI 애플리케이션용 웹사이트 데이터 변환 서비스 추정
Disallow: /
User-agent: FriendlyCrawler # 이름과 달리 공격적 크롤링 사례 보고됨
Disallow: /
User-agent: Factset_spyderbot # FactSet: 금융 데이터 수집 봇
Disallow: /
User-agent: PetalBot # Huawei: 화웨이 검색 서비스(Petal Search) 크롤러
Disallow: /
User-agent: Operator # 상세 불명 크롤러
Disallow: /
User-agent: PanguBot # 상세 불명 크롤러
Disallow: /
User-agent: NovaAct # 상세 불명 크롤러
Disallow: /
User-agent: VelenPublicWebCrawler # 상세 불명 크롤러
Disallow: /
User-agent: Kangaroo Bot # 상세 불명 크롤러
Disallow: /
User-agent: Webzio-Extended # AI용 웹 데이터 피드 서비스 추정
Disallow: /
User-agent: Amazonbot/0.1 # Amazon: 상품 정보, Alexa 등 아마존 서비스 관련 봇
Disallow: /