dh memoranda

徒然なるままに日暮らしブログに向かいて...

ping.bloggers.jp

メンテナンスのおしらせ (Apr/30-May/1)

2006/4/30 の夜から、2006/5/1 早朝までの間で数時間ほど、メンテナンスのため、ping.bloggers.jp, moblog.uva.ne.jp など、すべてのサービスを停止します。また、このブログの閲覧もできない状態になります。ご迷惑をおかけしますが、ご理解とご協力、よろしくお願いいたします。

ping.bloggers.jp のメンテナンスを行います

今週 2/14-2/17 の深夜帯(1am-5am)、不定期に ping.bloggers.jp を停止させながらメンテナンスを行います。今回の目的はデータベースサーバの強化で、今後のトラフィックの増加に対応できる体制を目指して行います。

仕事のほうも忙しくなっているため、メンテナンスウインドウをあまり明確に出来なくてすみません。最大で数時間ほどの停止が発生するかもしれませんが、ご理解いただけると助かります。

ping.bloggers.jp に blacklist を適用しました

ping.bloggers.jp への ping spam 対策として、blacklist を適用することにしました。個人的には、filtering とかやりたくないのですが、あまりに酷いなあ、と思うものが増えてきまして、しかたなく対応した次第です。現在は、主に更新を伴わずに大量の ping を送ってくる IP アドレスなどからの受けつけを遮断しました。ライブドアやエキサイトなどの大規模なブログホスティングからの ping については、手を付けないようにしたつもりですが、もしかすると誤って遮断してしまったかもしれないので、ping の送信ができなくなってしまった、という方がいらっしゃれば、ご連絡ください。

blacklist については、定期的にメンテナンスをしていかないと意味がないと思っています。もし、運営にご協力いただける方がいらっしゃれば、参加いただけるような仕組みも整えたいと思いますので、ご連絡ください。

サーバがダウンしていました。(2005/10/3 2:57am-8:09am)

今日の未明 2:57am から 8:09am まで、うちのサーバ機の一台が故障したため停止していました。ping.bloggers.jp, moblog など、すべてのサービスが停止していました。準備していたサーバの予備機を使ってサービスを立ち上げました。予備機といっても後で購入したので、スペックは高いのですが...。

ご愛用の皆様には大変ご迷惑をおかけしましたが、今後もよろしくお願いいたします。

ping server の高負荷対策

ping.bloggers.jp へのping、いつのまにか、一日あたり、10万を突破していました。夜間ピーク時の負荷があがってきたので、負荷対策を行っています。

とりあえずのところとして

  • アクセス頻度の高いサイトへの更新情報の配信制限
  • トップページの総blog数、総ping数の更新を5分置きに変更

を行いました。配信制限は、前回のメンテナンス時にも行っているのですが、もうすこし具体的に説明します。

ping server の仕様をちょっと変更

ping.bloggers.jp のグラフが、先日から伸びてきていますが、「ウェブリブログが対応!」とか「雑誌でブログ特集」という理由だけではないようです。夜の時間帯は、ちょっとパフォーマンスが落ちてきていることもあって、ちょっとだけ手をいれました。

  • 一部のURLを登録前に変換
    weblogUpdate.ping で送信する url はサイトの url のはずなのですが、いわゆる permalink が送信されるブログ・システム、サービスがいくつかあります。作者に連絡が取れたものについては、修正をお願いしたりしていますが、すべて連絡がとれたわけではないので、勝手ながら、こちらで受信時に変換するようにしてみました。心あたりのあるシステムの管理者の方は、ご修正いただきますよう、お願いいたします。
  • BBS からの大量 ping の掲載を一時的にフィルタリング
    ping.bloggers.jp の通常のメインページと changes.xml などから、BBS の更新情報とおぼしき更新情報の掲載をフィルタリングするようにしました。データは保持していますので、API のフィルタリングオプションを利用すれば、閲覧は可能にしています。
  • changes.xml, index.rdf を頻繁に取得するサイトへの送出制限
    changes.xml はデータを即時反映していますので、基本的には頻繁に取っていただいて構わないのですが、一部、度を超えていると思われる特定のサイト(5-10秒間隔で3600秒分の更新情報を取得するとか、ひたすら毎秒取得するとか...)について、一度に送信するデータの送出量や、送信間隔に制限を加えました。短期間に取得する場合は、last=N のオプションを設定して、取得するデータ量を取得間隔に合わせていただけると助かります。詳しくは、ping.bloggers.jp API をご覧ください。
    心あたりのあるシステム管理者の方は、ぜひ、節度ある取得をお願いいたします。

今後も継続した安定運用のため、皆様のご理解とご強力をお願いします。

ping1000万件を突破

先程19時10分頃、ping.bloggers.jp で受信した更新通知が運営開始後の累計で1000万を突破しました。とりあえず作ってみたのが 2002年の12月です。なんとなく公開したのが 2003年の5月ですから、それから18ヶ月ほどで到達したことになります。この間、39万を超えるブログからの更新情報を受信しました。もちろん、spam っぽいのや誤送信なども含んでいますから、正しい数字とは思っていませんが、それにしても、大きな数字です。現在は一日6万pingくらいを受信しています。

今後も安定運用を心掛けます。はい。

ping.bloggers.jp に最終 ping 時刻の取得 API を追加

最近、RSS リーダーの更新確認のトラフィックが増加している、という話をよく耳にします。bloglines に webservice api が追加されたのも、問題が意識されていることの表れだと思います。

そこで、RSS リーダーなどが更新タイミングを簡単に知ることができるように ping.bloggers.jp に特定のウェブログの更新時刻や経過時刻を取得するための API を追加しました。

ping.bloggers.jp の API 解説 ページを作ってみたので、詳しくはそちらをご覧ください。仕様については、エイヤって作ってみたところなので、ご意見をいただきながら、より使いやすいものに変更していきたいところです。

また、この API を使うとどういうことができるか、という例として、FOAF ファイルから friendroll を作るための MT-Plugin foafroll.pl を作ってみました。rebuild の時に、更新されているかどうか上記 API を利用してチェックしています。rebuild 毎なので、いまいち、という説もありますが、それはそれ、サンプルですから。

ping.bloggers.jp 復旧

ping.bloggers.jp を復旧しました。気がつくのが遅れてしまいましたが、現在は順調に動いております。

原因は、自分のところの Movable Type 3 への移行作業中、ついでにとデータベースの設定をちょっと変更していたためでした。ごめんなさい...。

ご心配をおかけしましたが、今後は気合いをいれなおして運用を続けてまいりますので、今後もよろしくです。

楽天から Ping が飛んでくるまえに...

楽天日記の運営の方から ping.bloggers.jp のほうへ、TrackBack 対応とともに、ping も送信するからヨロシク、という主旨の連絡をいただきました。メールには「会員20万人以上」と明記されていますので「はてな」さんから来たときのピークを越えることが予想されます(されないと、さびしいですよね) ので、ping.bloggers.jp に以下の変更を加えました。トップページの転送量の増加を抑えるのが目的です。

  • 棒グラフの縦幅を圧縮
    200 pings /1 pixel にしてみました。
  • 新着ブログの表示を24時間から、最大200件までに変更

よろしくおねがいします。

(追記: 楽天からの ping を省いてみたい人は http://ping.bloggers.jp/?filter=^plaza.rakuten.co.jp なんて設定で見ていただけるとよろしいかと。)

ping.bloggers.jp: ちょっとした設定変更

JUGEM につづいて、DiaryNote さんからいきなり ping が送られてくるようになりました。なんか半端でない量です。日本の日記サービスの歴史の深さを改めて思いつつ、サーバ増強しておいてよかったと思いました。

といいつつも、ページが大きくなってしまったので、グラフの高さを以前の半分にした他、トップページに表示する期間を8時間から4時間にしてみました。また、検索エンジンなどから取得する際に設定できる時間も24時間まで減らしてみました。なんか問題があったら、おしえてください。

また、たまに「RSSがつかないよー」って質問などいただくのですが、RSS Autodiscovery を利用して調べていますので、ウェブログのトップページ、ヘッダタグに

<link rel="alternate" type="application/rss+xml" title="RSS" href="http://uva.jp/dh/mt/index.rdf" />

などと設定されているかどうか、ご確認いただけると助かります。RSS がいいかどうか、それは別問題ですが :-)。

JUGEM がはじまったようですね

今日、JUGEM がオープンしました。さっそくこっそり試してみたところ、送出先 ping サーバに、ping.bloggers.jp が設定できるようになっていました。ありがとうございます。

ということで、今日一日だけですが「新着JUGEM」を ping.bloggers.jp に表示してみます。まだあまり数は多くないようですが、これからでしょうか。博多のみなさん、がんばってください。

ping.bloggers.jp を RSS と OPML 対応

日本版 Blogrolling ? の BlogPeople が始まりましたね。今後の展開を楽しみにしています。で、早速、更新チェックに ping.bloggers.jp のデータを使ってもらおうと思ったら、手抜きが判明...。直しました。

で、直したついでに、RSS と OPML に対応させておきました。よかったら使ってください。一応、20回以上 ping を送ってくれたサイトの情報を OPML にしています。RSSアグリゲーターを使っている人はご活用ください。

また、livedoor Blog が ping 送信に対応したようです。記事を見ると、どうやら、うちも送信先に入っているようです。ありがとうございます。

おまけに、最近30日間のトータル ping 数でランキングを表示するようにしてみました。ちなみに、わたしの10月のエンリー数は....。みなさん、ハイレベルすぎます。:-)

ping.bloggers.jp

Weblog の更新情報を集めているサイトを ping サイトというようですが、一つ作ってみました。ping.bloggers.jp です。先に、メーリングリストで案内して試していただいたのですが、問題は片付いたようなので、とりあえず公開します。ping 先は http://ping.bloggers.jp/rpc/ です。