curl コマンド使って、Webサイトの挙動を確認する

年末に流れた、以下の tweet。

確かに、Google の検索結果に表示されるリンクをクリックすると、新しい URL へ転送されるので、旧サイト→新サイトへの転送は正しく設定されていることはわかるのだけど、どうやら Google などのクローラが望む形での転送設定ではないようなので、どうなっているのかを調べてみた。
サイト自体は10月までに新しい URL に移行しているそうで、

未だに旧サイトしか検索結果に上がってこないのは如何なものか、という事もあったりするんですけど。

こういう時、Web ブラウザだけでは挙動を追いきれないので、自分は curl コマンドを使って確認することがほとんど。
curl コマンドは、URL 形式で表現( http://〜 や ftp://〜 のような表記のやつ)されるサーバのロケーションへのアクセスしてデータを取得するためのものなのだけど、単純にデータを取ってくるだけ以外の用途でも使えるので、今回は Web サイトの挙動をチェックする際の使い方に絞って、簡単に解説してみる。

まずは、手始めに Web アクセスした時のクライアントからのリクエストの内容と、それに対して返ってくるサーバからのレスポンスの内容をチェックする方法。
これは、 -v オプションを付けて curl を実行すれば OK。

soukaku@vhost01:[~]$ curl -v http://law.e-gov.go.jp/htmldata/H11/H11HO042.html
* Trying 2400:4040:5013:b::13...
* TCP_NODELAY set
* Trying 210.232.23.44...
* TCP_NODELAY set
* Connected to law.e-gov.go.jp (210.232.23.44) port 80 (#0)
> GET /htmldata/H11/H11HO042.html HTTP/1.1
> Host: law.e-gov.go.jp
> User-Agent: curl/7.57.0
> Accept: */*
>
< HTTP/1.1 200 OK
< Connection: close
< Cache-Control: no-cache
< Content-Type: text/html; charset=shift_jis
< Pragma: no-cache
< Content-Length: 189
<
* Closing connection 0
<html><head><title>Request Rejected</title></head><body>The requested URL was rejected. Please consult with your administrator.<br><br>Your support ID is: 10052633866947281389</body></html>

行頭に ">" があるのがリクエストヘッダの内容で、"<" があるのがレスポンスヘッダ。この場合の最後の1行が、実際に Web サーバ側から送られてきたコンテンツの中身(= HTML 形式のデータ)というわけなんだけど、そこを見ると "Request Rejected" とあるので、どうも curl でアクセスすると、上手くアクセスがが出来ないようにサーバ側が設定されているっぽい。

VyOS を Rolling Version へとアップデート

VyOS を Rolling Version へとバージョンアップしてみた。
Rolling Verison は、いわゆる開発版、ベータ版とも言えるもので、現行の安定版が Debian squeeze ベースなのに対して jessie がベースになっているため、カーネル含めて色々新しくなっているし、 Debian パッケージを持ってきて機能を追加したい時にも新しいものが使えるというのもありがたいところ。

アップデートすること自体は、それほど難しいことではなく、公式サイトの Wiki に記載されている通りにやれば、既存設定の引継ぎも自動的に行われるので、ISO ファイルのダウンロード時間+αの時間で完了。

ただ、今回は単純に旧バージョンの設定を引き継いだ状態では PPPoE セッションが正しく張られないというのにハマりまして、色々調べてみた結果、PPPoE のセッション自体に固定的に割り当ててた IP アドレスの設定を削除してみたところ、上手く繋がった次第。

旧バージョン時代の設定を比較した(抜粋)のが、以下のもの。

--- /lib/live/mount/persistence/boot/VyOS-1.1.8/live-rw/config/config.boot      2017-12-29 00:30:09.499208506 +0900
+++ /config/config.boot 2017-12-29 03:32:47.239589856 +0900
<<中略>>
@@ -134,17 +134,17 @@
hw-id xx:xx:xx:xx:xx:xx
pppoe 0 {
default-route auto
- local-address 218.219.149.233
mtu 1492
name-server auto
password **********
service-name editnet
user-id ********@218.219.149.232@edit.ne.jp
}
- smp_affinity auto
+ smp-affinity auto
speed auto
}
- loopback lo
+ loopback lo {
+ }
tunnel tun0 {
address 2001:470:23:94::2/64
description "HE.NET IPv6 Tunnel"
<<後略>>

んと、"local-address" の 1 行の有無だもんなぁ。(他にも差分出ているけど、バージョン変わったことで自動的に変更されたところだけど、VyOS 動作自体には影響しない部分。)

VyOSでWebプロキシー

自宅内のネットワークというか、サーバの用途変更を色々やっている中で、ルータとしている VyOS マシンで Web プロキシーを動かしてみたので、それに関して得られた知見など、メモとしてまとめておく。
なお、使用している VyOS のバージョンは 1.1.8 です。

VyOS で Web プロキシーを有効化

単純に動作させるだけだったら、

set service webproxy listen-address 172.16.0.1
commit

と、プロキシーを利用させたいクライアンが繋がっている側のインターフェースの IP アドレスを指定すれば、設定が完了して、Squid が動作を開始。

この状態では、透過プロキシーとして動作しているので、クライアント側の設定を変える必要もなく、導入自体はお手軽、なのだけど、これがちょっと曲者といえば曲者だったのよね…。

我が家のネットワーク構成

ここで、簡単に我が家のネットワーク構成を說明しておく。

我が家のネットワーク構成概要 2017/12/16版

自宅内には、サーバが 2 台。1 台は SMTP サーバがメイン用途で、もう 1 台(図中の内部サーバ)はローカルネット内で DNS キャッシュ兼プロキシー兼仮想環境による実験用として使用。
あと、さくらの VPS に Web サーバ、DB サーバの VPS が 1 台づつ。

実際には、各サーバ複数の用途で使っているので、 自宅側の SMTP サーバは DNS のセカンダリ兼務だし、 Web サーバは DNS 権威サーバであり、 SMTP のセカンダリでもある、いう感じ。

ちょっと前までは、 SMTP サーバに IP Masquerade 設定して外部とローカルネットのゲートウェイにしてて、更にそこに Squid でプロキシー立ててたんだけど、新しくサーバを手に入れたのを契機に用途見直ししたので、現状では上の図のようになっています。

んで、今回内部サーバ上のプロキシーの上位プロキシーとして VyOS 上で動作するプロキシーを指定したところ、ちょっとハマったというわけ…。

格安MVNOに転出して、ほぼ6ヶ月が経過しました

OCNモバイルONE に転出して、ほぼ半年経過したので、簡単に状況など。

使い方自体は、以前書いたとおりで、ターボーモードはほとんど使うことなく過ごしているわけですが、それでもあまり不満なく使えています。

使い方の基本として

  • 平日の自宅―オフィス間の往復時や休日の外出時は、テザリング ON にして iPhone 4S をぶら下げて使う。
  • ターボモードは、必要な時以外 OFF 。
  • 自宅やオフィスでは Wi-Fi 接続。

とゆーのが前提でした。

[From 格安MVNOに転出して一ヶ月経過しました - Soukaku's HENA-CHOKO Blog]

まぁ、ターボモードを必要とするようなアプリやサービスを、ほとんど使っていない、というのは大きい要因かもしれませんが、未だに 110MB/日コースのままで過ごせているのは、お財布的には非常に助かっていますね〜。通話もほどんどしてないというのもあるにせよ、大体月 2,500 円かかっていないので、au 時代の3分の1程度で済んじゃってます。

パケット通信に関しては、この半年で以下のような推移でした。

月間利用量(2017年4〜9月)

7月、8月と仕事の都合で、デザリングを使う機会が多かったので、突出して利用量が多いですけど、そうでなければ 3GB 以下(しかも、九割方ターボモード OFF)ですから、当面110MB/日コースままで過ごせそう。多分、子供たちにスマホを持たせるようになるタイミングで、コースの見直しをしつつ、追加 SIM の手配ってことになるんだろうなぁ。

格安MVNOに転出して一ヶ月経過しました

au から OCN モバイル ONE にMNP 転出して、まるっと一ヶ月経過したので、簡単にまとめとく。

本日、帰宅したら、到着しておりました。>SIMカード

[From SIMが到着したので、いそいそと開通手続きを - Soukaku's HENA-CHOKO Blog]

使い方の基本として

  • 平日の自宅―オフィス間の往復時や休日の外出時は、テザリング ON にして iPhone 4S をぶら下げて使う。
  • ターボモードは、必要な時以外 OFF 。
  • 自宅やオフィスでは Wi-Fi 接続。

とゆーのが前提でした。
でもって 4 月の実績が、こんな感じ。

通信量の実績(4月)

目立って利用量の多い日は、デザリングしている時間が長かった日なので、それ以外はコッチの想定通りかなぁ〜、という結果になりました。

10GB/月コースでスタートして今月から 110MB/日コース(実際には、申し込みした時点のキャンペーンのおかげて 160MB/日になってる)に変更してあるんですが、4 月と同じような使い方であれば、まぁ問題なるようなことはないだろうな、という感じでしょうか?
tommy と iPhone の利用比率を tommy 多めにしてデザリングの時間を減らしたり、積極的に公衆 Wi-Fi を利用するよう心掛けておけば 、そうそう110MB を超えることないでしょうし、そもそも使わかなった分の基本利用量は翌日持ち越しが出来るんで、実際110MB/日コースで不満に感じることはないかなぁ〜。
#多分、23 区内ロウロしている分には、というのはあるかもしれないけど…。

チャイルドフィルターを少し試してみたけど、やっぱりお薦めできなかった…

さて、ここしばらく(表立ってアナウンスされてはいなかったけど)メンテナンスを理由に新規申込みが停止していた、サイバーセキュリティ財団が提供するチャイルドフィルター。どうやら、サービスを提供するためのインフラ部分を作り直していた模様。

それならそれで、ちゃんとアナウンスすればいいのに、と思いつつ、利用申し込みフォームも再び有効になったので、改めて使ってみようということで、申込みをしてみた。

チャイルドフィルター利用申込みフォーム

申し込みの一時停止前は、メールアドレスだけで登録出来たのですけど、メンテナンスのタイミングで変更されていました。
メールアドレス以外に、チャイルドフィルターを利用させたい子供の学年と性別、使わせている iOS デバイスを選択した上での申込みとなります。

MNPその後と、Wiko tommyの使い心地

MNP の手続きの方ですが、前のエントリーを書いた翌日 10:30~10:40 の間ぐらいに、無事手続き完了して、切り替わりました。

んでもって、SIM と同封されてた資料を見ながら、開通手続きをして今に至る、と。手続きのタイミングが悪くて、翌日開通という形になってしまったので、この後は明日の楽しみということになりました。

[From SIMが到着したので、いそいそと開通手続きを - Soukaku's HENA-CHOKO Blog]

切り替わったタイミングで、 iPhone 4S は機内モードに、 tommy 側でデザリング設定をして、そこ経由でネットにアクセス、というかたちにしています。

それと、カスタマーズフロント経由での申込みの場合、10GB/月コースがデフォルトになる模様。ま、利用開始月は無料ですし、利用状況を見ながら月末までにコース変更すればいい話なので、ターボモードの ON/OFF でどう使い勝手が変わってくるのかとか、いろいろ試してみてから、最終的にコースを決めればいいかな〜、と。
SIM 有効になってから、1日半でこんな感じ。

OCNモバイルONEアプリのホーム OCNモバイルONEアプリでの直近3日間の利用状況

自宅と職場は、基本 Wi-Fi ですし、上手く行けば 110MB/日コースに収められるかなぁ、と思ってるだけど、見通し甘いかなぁ。

んでもって、tommy の使い心地

tommy を入手して、そろそろ三週間になろうかとしてるわけですが、

ソフトウェア面に関しては、初めての Android ということもあって他の機種との比較とは出来ないんで、まぁこんなもんなのかなぁ、と思いながら操作している感じですね。iOS との違いにも、戸惑っているところがあるので、慣れるまでちょっと時間かかりそうな感じ。

[From Wiko tommy を入手したので、格安 SIM への乗り換え計画発動です! - Soukaku's HENA-CHOKO Blog]

思ったよりも慣れたかな、という気はします。

購入前の事前情報で、「素の日本語入力はプアだから、Google 日本語入力入れると吉」的なの情報は見ていたので、とりあえす到着直後に Google 日本語入力をインストール。フリック入力基本なんだけど、 iOS とちょっと違う部分があったりして「なんか使いにくいなぁ」と思ってたんですが、ちょっと設定変えてやればよかったに気がついたのは、つい最近。
変換精度には不満がないので、多分このまま使い続けることになりそう。

SIMが到着したので、いそいそと開通手続きを

本日、帰宅したら、到着しておりました。>SIMカード

SIMカードの取り扱いについて

tommy 自体は Micro SIM なのだけど、この先 iPhone SE に乗り換えるつもりなので、その時の SIM の切り替え手続きが面倒なので、最初から Nano SIM で注文。それを、 tommy に付属していたアダプタにセットして、一旦 tommy をシャットダウンした上で、 SIM スロット 1 に装着!

Micro SIMアダプタにNano SIMをセット

続・ボクがチャイルドフィルターをオススメしない理由

質問しても、利用解除申し込んでも、梨の礫だったわけですが、ちょっと動きが出てきたので、その辺をまとめておきます。

とにかく、利用する上で機能面でも運営面でも規約面でも不明な点、不安な点が多すぎる、ということで、オススメできないと思った次第。

[From ボクがチャイルドフィルターをオススメしない理由 - Soukaku's HENA-CHOKO Blog]

まず、既にエントリーに書いていた、解除申込みのその後ですが、

解除申込みすると「通常3営業日以内にご連絡いたします。」と表示され、「入力された内容を確認しだい、削除用のプロファイルをこのメールアドレス宛てにお送りします。」という内容の確認メールも届くのですが、それ以降は音沙汰がありません。とりあえず、このまま督促しないでいたらどうなるか試してみますけど、自力でプロファイル削除できないユーザだと、解除申込みからプロファイル削除までの間、アクセスログ抜かれ放題になるんですけど、それで善しと思ってるんですかね…。

[From サイバーセキュリティ財団って、実際どうなのよ?というお話 - Soukaku's HENA-CHOKO Blog]

結局、10 営業日(実際に解除申し込みしたのが 3 月 11 日の夜なので、 2 週間も)放置されたままだったんですが、痺れを切らしてしまいまして、 26 日のお昼過ぎに再度解除申し込みをしてみたところ、27 日の朝に解除プロファイルが添付されたメールが送られてまいりました。
#おまけに、そのメール、SPAMに分類されてたという…。

メール本文には「ご連絡が遅くなり申し訳ありません。」とありました、一応…。
多分、再度解除申し込みしていなかったら、そのまま放置状態が続いていたんじゃないかと思うと、ちょっとねぇ…。

ボクがチャイルドフィルターをオススメしない理由

子を持つ親として、またIT技術者として、自分の子供達に PC やスマホを与える時にどうしよう、って結構悩みどころ。世の中には同じように悩んでいる方も多いと思うんですが、そこにそういう話が流れてきた。

子どもがインターネットの交流サイトなどを通じて犯罪に巻き込まれるのを防ごうと、福岡市のIT企業などで作る財団が、子どものスマートフォンにダウンロードすれば有害なサイトへの接続を制限できる「フィルタリング」サービスを開発し、無料で提供を始めました。

[From 無料で有害サイト接続を制限 - NHK 福岡 NEWS WEB]

当財団が提供するフィルタリングサービスは全ての通信を暗号化しフィルタリングを行いますので、特定のアプリを使う必要はありません。
また、利用するための費用は一切かかりません。

[From 一般財団法人 サイバーセキュリティ財団]

フィルタリングについては、法律でも「保護者の責務」として規定されてますんで、それを無視するのもアレですし、

(保護者の責務)
第六条  保護者は、インターネットにおいて青少年有害情報が多く流通していることを認識し、自らの教育方針及び青少年の発達段階に応じ、その保護する青少年について、インターネットの利用の状況を適切に把握するとともに、青少年有害情報フィルタリングソフトウェアの利用その他の方法によりインターネットの利用を適切に管理し、及びその青少年のインターネットを適切に活用する能力の習得の促進に努めるものとする。
2  保護者は、携帯電話端末及びPHS端末からのインターネットの利用が不適切に行われた場合には、青少年の売春、犯罪の被害、いじめ等様々な問題が生じることに特に留意するものとする。

[From 青少年が安全に安心してインターネットを利用できる環境の整備等に関する法律]

まぁ、どんなもんかと思って申し込んだり、色々と調べてみたりしたんですが、使い始める前「こりゃダメだ」って結論に至ったので、その辺をまとめておく。