AhrefsBot

Ahrefsを強化するWebクローラーについて学ぶ。

バージョン
7.0
Botタイプ
Good(自らを識別し、公式な呼称を持っている)
カテゴリ
マーケティング
robots.txtに従います
はい
クロール遅延に従います
はい
User-agent 文字列
Mozilla/5.0 (compatible; AhrefsBot/7.0; +http://ahrefs.com/robot/)
リバースDNSサフィックス
ahrefs.com
IPアドレスの範囲

Webサイトステータス

ウェブサイトのステータスと、クロール可能かどうかを確認

AhrefsBotとは?

AhrefsBot は、オンラインのデータツールセットである Ahrefs と、収益分配型 Web検索エンジンであるYep両方のデータベースを強化するウェブクローラー です。これはGoogleとBingに次いで3番目に活発なクローラーであり、24時間ごとに 80億以上のWeb ページにアクセスし、15~30分ごとにインデックスを更新します。

当社のbotは、Webサイトとそのコンテンツ、およびWebサイト間のリンク方法に関する、新鮮で正確な情報のインデックスを作成します。 このデータは非常に便利で、さまざまな方法で活用できます。

  • Yepで検索すると、よいコンテンツ作成者に収益を渡すことを目的とした代替検索エンジンをサポートしながら、最高品質のコンテンツと必要なすべての情報が見つけられるでしょう。

  • あなたがWebサイト所有者であれば、Ahrefsを使用してWebサイトの構造、コンテンツ、被リンクを分析し、そのパフォーマンスに関するインサイトを提供します ー つまり、あなたはインサイトを確認した後にWebサイトを最適化して、ユーザーエクスペリエンスを高めることで、検索エンジンで上位にランクされやすくなり、より多くのトラフィックを獲得できるようになります。

  • ウェブ規模の調査に関しては、Ahrefsを使用すると、ウェブサイトや特定トピックの人気が時間経過とともにどう変化したか、どのウェブサイトがどのような種類のコンテンツにリンクしているか、ブランドが最近何回言及されたか、などを詳しく調べることができます。

/

Rank

Bot

Owner

Category

1

GoogleBot

Google

Search Engine Crawler

2

BingBot

Microsoft

Search Engine Crawler

3

DataDog Synthetic Bot

DataDog

Monitoring & Analytics

4

AhrefsBot

Ahrefs

Search Engine Optimization

5

Qualys

Qualys

Search Engine Crawler

6

YandexBot

Yandex

Search Engine Crawler

7

PetalBot

Huawei

Search Engine Crawler

8

Google AdsBot

Google

SAdvertising & Marketing

9

Google Image Proxy

Google

Page Preview

10

Google Images

Google

Search Engine Crawler

Botをリクエスト数でランキング。2023年4月時点のデータ提供

質問がありますか?私たちがお答えします

  • AhrefsBotはrobots.txtファイルを尊重しますか?

    はい。もちろんです。robots.txtのdisallowとallowの両方のルールを厳密に尊重しています。

  • 自分のウェブサイトでAhrefsBotを制御するにはどうすればよいですか?

    AhrefsBotはお客様のウェブサイトのrobots.txtファイルに厳密に従いますので、AhrefsBotが行うことを完全にコントロールすることができます。AhrefsBotがサイトを訪問する頻度を変更するには、robots.txtファイルに2つの連続したリクエスト間の、許容できる最小の遅延を指定するだけです:
    User-agent: AhrefsBotCrawl-Delay: [value](Crawl-Delayの値は秒単位です。)
    AhrefsBotのサイト訪問を止めたい場合は、サーバのrobots.txtファイルに以下の2行を追加してください:
    User-agent: AhrefsBotDisallow: /
    AhrefsBotがrobots.txtファイルの変更を認識するのに、時間がかかる場合があることに注意してください。この作業は次回クロールの前に行われます。また、robots.txtにエラーが含まれていると、AhrefsBotはコマンドを認識できず、以前と同じようにウェブサイトをクロールし続けます。robots.txtの詳細については、www.robotstxt.orgを参照してください。AhrefsBotがあなたのウェブサイトで誤動作をしていると思われる場合、または質問がある場合は、 [email protected] までご連絡ください。

他にご質問はありますか?

質問がある場合は、
お問合せしてください。お手伝いします。

© 2024 Ahrefs Pte. Ltd. (201227417H) 16 Raffles Quay, #33-03 Hong Leong Building, Singapore 048581