Zabbix 4.0 LTS リリース!

ここ数年の飯のネタとなってる Zabbix 。
いよいよ長期サポート版としての 4.0 がリリースとなりました。(パチパチ)

2.0 から使い始めて、仕事では 2.2 から 3.4 へと(さらに 4.0 にすることを見据た上で)移行が進みつつあり、自宅でも時々ハマりながら、

実際、 Zabbix がそうだったんですが、 Zabbix が公式に用意している Zabbix 3.4 / pre-4.0 のパッケージを sid にインストールするために stretch 対応のものでよかったのですけど、 sid の curl のバージョンが上がったことで libcurl3 から libcurl4 への変更が発生。

[From Debian sidに公式配布版のZabbixパッケージがインストールできなかったので - Soukaku's HENA-CHOKO Blog]

順次バージョンアップしなから使い続けてきているわけで、当然のことながら 4.0 へのアップデートをしたわけですよ…。

Debian sidに公式配布版のZabbixパッケージがインストールできなかったので

Debian sid 使っていると、 Debian のリポジトリ以外からインストールするパッケージのインストールやアップデートが出来なくなるので「困ったな〜」となることがあったりします。

実際、 Zabbix がそうだったんですが、 Zabbix が公式に用意している Zabbix 3.4 / pre-4.0 のパッケージを sid にインストールするために stretch 対応のものでよかったのですけど、 sid の curl のバージョンが上がったことで libcurl3 から libcurl4 への変更が発生。

# dpkg -i /tmp/zabbix-release_3.4-1+stretch_all.deb
以前に未選択のパッケージ zabbix-release を選択しています。
(データベースを読み込んでいます ... 現在 155180 個のファイルとディレクトリがインストールされています。)
.../zabbix-release_3.4-1+stretch_all.deb を展開する準備をしています ...
zabbix-release (3.4-1+stretch) を展開しています...
zabbix-release (3.4-1+stretch) を設定しています ...
# apt update
ーーー 中略 ーーー
# apt install zabbix-server-mysql zabbix-frontend-php
パッケージリストを読み込んでいます... 完了
依存関係ツリーを作成しています
状態情報を読み取っています... 完了
インストールすることができないパッケージがありました。おそらく、あり得
ない状況を要求したか、(不安定版ディストリビューションを使用しているの
であれば) 必要なパッケージがまだ作成されていなかったり Incoming から移
動されていないことが考えられます。
以下の情報がこの問題を解決するために役立つかもしれません:

以下のパッケージには満たせない依存関係があります:
zabbix-server-mysql : 依存: libcurl3 (<= 7.28.0) しかし、インストールされようとしていません
E: 問題を解決することができません。壊れた変更禁止パッケージがあります。

その影響で libcurl3 に依存していた公式配布版のZabbixパッケージがインストール/アップデートができなくなってしまう、と…。
libcurl3 → libcurl4 になる前に公式配布版の Zabbix パッケージをインストールしていたので、 libcurl4 に依存する apache2 関連のパッケージのアップデートを libcurl3 に依存する Zabbix パッケージが邪魔をするという状態になってしまったというのが、自分のところで起こっていた状況だったわけです。

Debian buster/sid で玄人志向の USB3.1 インタフェースボードを動かしてみる[性能編]

前のエントリーから、時間が空いてしまいましたが、簡単にパフォーマンステストをしてみた結果をまとめておきます。

測定対象の HDD について

まず、内蔵 SATA インターフェースに繋がっている方。

root@vhost01:~# smartctl --info /dev/sda -d sat
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.17.0-rc7-amd64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Hitachi Deskstar E7K1000
Device Model: Hitachi HDE721010SLA330
Serial Number: STN****S0UWL1K
LU WWN Device Id: 5 000cca 35ecbc4d1
Firmware Version: ST6OA3AA
User Capacity: 1,000,204,886,016 bytes [1.00 TB]
Sector Size: 512 bytes logical/physical
Rotation Rate: 7200 rpm
Device is: In smartctl database [for details use: -P show]
ATA Version is: ATA8-ACS T13/1699-D revision 4
SATA Version is: SATA 2.6, 3.0 Gb/s
Local Time is: Thu Jul 19 22:50:48 2018 JST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

今回増設した USB3.1 インタフェースボード経由で接続した HDD 増設スタンドに挿した方が、こちら。

root@vhost01:~# smartctl --info /dev/sdb -d sat
smartctl 6.6 2016-05-31 r4324 [x86_64-linux-4.17.0-rc7-amd64] (local build)
Copyright (C) 2002-16, Bruce Allen, Christian Franke, www.smartmontools.org

=== START OF INFORMATION SECTION ===
Model Family: Hitachi Ultrastar 7K3000
Device Model: Hitachi HUA723020ALA640
Serial Number: MK0****FJ4XZVA
LU WWN Device Id: 5 000cca 223de6d56
Firmware Version: MK7OAA10
User Capacity: 2,000,398,934,016 bytes [2.00 TB]
Sector Size: 512 bytes logical/physical
Rotation Rate: 7200 rpm
Form Factor: 3.5 inches
Device is: In smartctl database [for details use: -P show]
ATA Version is: ATA8-ACS T13/1699-D revision 4
SATA Version is: SATA 2.6, 6.0 Gb/s (current: 6.0 Gb/s)
Local Time is: Thu Jul 19 22:50:41 2018 JST
SMART support is: Available - device has SMART capability.
SMART support is: Enabled

どちらも、回転数 7200rpm 、セクタサイズ 512byte のもので、違いは容量と SATA のリンクスピード。
測定を厳密にやるのであれば、同じ型番の HDD 2 台用意して、内蔵 SATA と USB3.1 にそれぞれを繋ぐのが良いのでしょうけど、機材を揃える時間もなかったので、大体の傾向だけつかめれば良いことにします。

Debian buster/sid で玄人志向の USB3.1 インタフェースボードを動かしてみる

Mac mini などのバックアップを TimeMachine でやっているですけどね。そのバックアップ先にしてたサーバの HDD がお亡くなりになったようで、OS レベルで認識されなくなりまして…。

まあ、 HDD 買ってきて載せ替えて、ちょいと設定修正すれば話は終わりなんですが、それじゃ面白くないよねぇ(誰が?)ということで、いろいろと考えて「USB 3.1 のボード載せてみるか?」ということに。
最初は、サーバに HDD 内蔵してしまうと、なにかあったときに交換するが面倒だから、いわゆる「お立ち台」タイプの HDD 増設スタンドを USB 経由で繋ぐだけでいっかな〜、と思ってたんですけど、ちょっと調べてみたら USB3.1 Type-C コネクタ付きのカードで比較的お安いの見つけることができたので、それに合わせて HDD 増設スタンドの方も、 USB3.1 Type-C コネクタを持つものにして一緒に Amazon でポチッと…。

カードを増設して、 OS からの認識状態を確認

でモノが届いたので、早速取り付け~。
バックアップサーバとして使っているのは、1年ほど前に手に入れた Express5800/53Xg 。こいつ、スリムタイプの筐体なのだけど、3.5 インチ HDD を 2 台搭載可能、PCI Express スロットとも x16 と x4 ぞれぞれフルハイトのカードが使えるというのがちょっと嬉しかったり…。

久しぶりに自分用のノート PC を手に入れた

久しぶりに、持ち出し用にノートPCを買うなどしてみた。ま、買ったと言っても、ヤフオクで競り落とした中古なんですけど。
モノは、マウスコンピューターの m-Book E シリーズの2つぐらい前のエントリーモデル。付属してたマニュアルとか見ると Windows 10 入ってたみたいで、終売になって1年程度のモデルの模様。(すでに、公式サイトには情報がないので、詳細は不明ですが…。)

14型 m-Book E シリーズ [ノートパソコン(PC)]|BTOパソコンの通販ショップ マウスコンピューター【公式】

エントリーモデルなだけあって、14 インチディスプレイ、 Celeron N3060(デュアルコア 1.6GHz)、メモリ 4GB、内蔵SSD 32GB というスペックですけど、メモリスロットが2スロットあって、うち 1 が空き。2.5 インチ HDD/SDD の搭載スペースもあるので、ちょっとリソース不足かな、と思ったら追加できる余裕はあるので、そこそこ使えそうな感じ。
実際、裏蓋開けての確認はしてないんですけど、型番をキーにググると、2.5 インチ SSD を増設したというレポートを見つけることができるので、あまりそのへんは心配していなかったり…。

そもそも、勉強会に参加したりするときにテキストベースでメモ取れればいいかな、ぐらいの用途しか想定してないので、スペックが低めなところは、使い方を工夫することでカバーできる範囲かな〜、と。(データはできる限り、Google ドライブの方に置いてしまうとか。)

NTPsec その2 :ntpviz で統計情報を取得する

んで、前エントリーの続き。
NTPsec に変えた一番の目的は、 ntpviz という ntp に関する統計情報を出力するコマンドがある、ってことなので、それを含む ntpsec-ntpviz パッケージをインストールして、統計情報が取れることを確認します。

まずは、 aptitude コマンドに -s オプションつけて、依存関係を確認。

root@vhost01:~# aptitude -s install ntpsec-ntpviz
以下の新規パッケージがインストールされます:
aglfn{a} gnuplot{a} gnuplot-data{a} gnuplot-qt{a} libwxbase3.0-0v5{a} libwxgtk3.0-0v5{a}
ntpsec-ntpviz
更新: 0 個、新規インストール: 7 個、削除: 0 個、保留: 24 個。
アーカイブの 6,863 kB を取得する必要があります。展開後に 24.3 MB のディスク領域が新たに消費されます。

注意: 'シミュレーション' モードを使用します。
先に進みますか? [Y/n/?] y
パッケージのダウンロード/インストール/削除を行います。

削除されるものはないようなので、このままインストールするなら、-s を外して、aptitude を実行すれば、完了。

ntpviz コマンドを実行してみる

細かい使い方とかオプションは、 "man ntpviz" するか、NTPsec サイトに有るドキュメントを参照してもらうとして、実際に特定に NTP サーバとの Offset に関する統計情報を出力するには、以下のようにコマンドを実行します。

root@vhost01:~# ntpviz --peer-offsets ntp-a2.nict.go.jp
set grid
set autoscale xfixmin
set autoscale xfixmax
set xdata time
set xlabel "Time UTC"
set xtics format "%d %b\n%H:%MZ"
set timefmt "%s"
set lmargin 10
set rmargin 10
set terminal png size 1340,720
set title "vhost01.local.downtown.jp: Peer Offset ntp-a2.nict.go.jp"
set ylabel ""
set ytics format "%.1f ms" nomirror
set yrange [-0.8955:3.5569]
set key top right
plot 0.3909 title '50th percentile', '-' using 1:($2*1000.0) title 'ntp-a2.nict.go.jp' with line, \
'-' using 1:(($2+$3/2)*1000.0) title 'offset+rtt/2' with line, \
'-' using 1:(($2-$3/2)*1000.0) title 'offset-rtt/2' with line

1520082169.9069996 0.000877718 0.006074248
1520082171.9029999 0.000886769 0.005951494
1520082173.9040003 0.001002837 0.006294607
1520082175.9029999 0.000845034 0.006395244
1520082177.9029999 0.000154835 0.006268685
1520082179.9029999 0.000068847 0.006168117
1520082238.9029999 0.000573531 0.006166704
1520082305.9029999 0.001171861 0.006490722
1520082371.9029999 0.001739808 0.006436721
1520082437.9029999 0.002143953 0.006363756
1520082506.9029999 0.002659486 0.006837424
1520082574.9029999 0.000615921 0.006515450
1520082641.9029999 -0.000142259 0.006613719
1520082710.9029999 -0.000232807 0.006154115
1520082778.9029999 -0.000240509 0.006034757
1520083317.9020004 0.000009325 0.005811048
1520083857.9029999 0.000189473 0.006146113
1520083994.9029999 0.000548237 0.006358728
1520084467.9029999 0.000307157 0.006439212
1520084737.9020004 0.000390939 0.005914518
1520085779.9029999 0.000421743 0.006194988
1520085908.9029999 0.000345647 0.006118246
1520086307.9029999 0.000400457 0.005986258
1520086571.9020004 0.000375874 0.005964945
1520086835.9020004 0.000262098 0.005901524
1520088949.9029999 0.000424563 0.005911586
1520089471.9029999 0.000545216 0.006119386
1520090532.9029999 0.000681996 0.006185292
1520091598.9029999 0.000646152 0.006545365
1520092139.9029999 0.000566383 0.006364219

-- snip --

NTPsec その1 :既存のntpパッケージを置き換える

ほぼ、日課と化しているパッケージのアップデートチェック。
NTPsec というパッケージに目を引かれたので、実際にインストールしてみた。

サーバの運用をしていると、各サーバの時刻同期しておくのが当たり前というか、サーバ間で時刻にズレが有ると、トラブルの原因調査する際のログの突き合わせがめんどくさくなったり、デーモンによっては正しい動作をしてくれなかったりと、割と重要。
そんなわけで、ntp の実装もオリジナル以外にも幾つか存在してるわけですが、 NTPSec もその一つのようです。Debian だと、今回紹介する NTPsec とオリジナルの ntp 以外に OpenNTPD のパッケージが提供されてますね。

root@vhost01:~# aptitude show ntpsec
パッケージ: ntpsec
バージョン: 1.0.0+dfsg1-3
状態: インストールされていません
優先度: 任意
セクション: net
メンテナ: Richard Laager
アーキテクチャ: amd64
展開サイズ: 750 k
依存: adduser, lsb-base (>= 3.2-13), netbase, python3 (>= 3.3), python3-ntp, tzdata (>=
2015d-1), libc6 (>= 2.15), libcap2 (>= 1:2.10), libssl1.1 (>= 1.1.0)
推奨: systemd | cron | cron-daemon
提案: apparmor, ntpsec-doc, ntpsec-ntpviz
競合: ntp, time-daemon
破損: apparmor-profiles-extra (< 1.8)
置換: ntp, time-daemon
提供: time-daemon
説明: Network Time Protocol daemon and utility programs
NTP, the Network Time Protocol, is used to keep computer clocks accurate by synchronizing them
over the Internet or a local network, or by following an accurate hardware receiver that
interprets GPS, DCF-77, or similar time signals.

This package contains the NTP daemon and utility programs. An NTP daemon needs to be running
on each host that is to have its clock accuracy controlled by NTP. The same NTP daemon is also
used to provide NTP service to other hosts.

This is the NTPsec version of NTP. NTPsec is a secure, hardened, and improved implementation derived from the original NTP project.

For more information about the NTP protocol and NTP server configuration and operation, install
the package "ntpsec-doc".
ホームページ: https://www.ntpsec.org

havp を我が家の Web アクセスの経路に組み込んでみた

ということで、前エントリーからの続き。

我が家のネットワーク環境については、さらにちょっと前のエントリーで既出なわけですが

我が家のネットワーク構成概要 2017/12/16版

概略としては上の図の通りで、 Web アクセスの流れだけを抜き出してみたのが、下の図。

Webアクセス時の経路

まぁ、まんまこの図の通り、家中の PC やスマホからの Web アクセスを内部サーバ上で動いている Squid に集約して、更にそれを VyOS で有効にした webproxy (これも Squid なわけだが)を上位プロキシにしている、というわけ。
で、内部サーバで動いてる Squid 周りの設定を変更して、インストール済みの havp を更に挟み込む、というのが今回の内容。

HAVP (HTTP Anti Virus Proxy) を利用してWebアクセスにもアンチウィルス

多分、自分が見落としていただけなのだと思うのだけど、 Web アクセス時のアンチウィルスを実現するためのものとして、 HAVP というのがあるのに気がついた。

Short Description

HAVP (HTTP Antivirus Proxy) is a HTTP proxy with an antivirus scanner. It supports the free ClamAV , but also commercial solutions e.g. Kaspersky, Sophos and F-Prot.

[From HAVP – HTTP Anti Virus Proxy – The Free HTTP Anti Virus Proxy]

プロキシとして機能して、ウィルスチェックについては ClamAV などを呼び出して実行するというもの、だそうで。

「子供たちにネット使わせるには、Web アクセスのタイミングでもウィルスチェックしたほうがいいんだろうなぁ…。」と漠然と考えていたんですが、どう実現させるかというとこまでは至っていなかったので、コレは渡りに船とばかりに試してみた次第。

インストールは、コマンド一発!

インストールはそんなに難しいものではなくて、 Debian の場合( jessie 以降)であればコマンドラインから "aptitude install havp" 一発で関連パッケージまで含めてインストール完了。

root@vhost01:~# aptitude install havp
以下の新規パッケージがインストールされます:
clamav{a} clamav-base{a} clamav-freshclam{a} havp libclamav7{a}
更新: 0 個、新規インストール: 5 個、削除: 0 個、保留: 0 個。
アーカイブの 2,100 kB を取得する必要があります。展開後に 4,666 kB のディスク領域が新たに消費されます。
先に進みますか? [Y/n/?]
取得: 1 http://debian-mirror.sakura.ne.jp/debian sid/main amd64 libclamav7 amd64 0.99.3~beta1+dfsg-4 [936 kB]
取得: 2 http://debian-mirror.sakura.ne.jp/debian stable/main amd64 havp amd64 0.92a-4+b2 [135 kB]
取得: 3 http://debian-mirror.sakura.ne.jp/debian sid/main amd64 clamav-base all 0.99.3~beta1+dfsg-4 [303 kB]
取得: 4 http://debian-mirror.sakura.ne.jp/debian sid/main amd64 clamav-freshclam amd64 0.99.3~beta1+dfsg-4 [362 kB]
取得: 5 http://debian-mirror.sakura.ne.jp/debian sid/main amd64 clamav amd64 0.99.3~beta1+dfsg-4 [364 kB]
2,100 kB を 0秒 秒で取得しました (3,778 kB/s)
パッケージを事前設定しています ...
以前に未選択のパッケージ libclamav7:amd64 を選択しています。
(データベースを読み込んでいます ... 現在 381379 個のファイルとディレクトリがインストールされています。)
.../libclamav7_0.99.3~beta1+dfsg-4_amd64.deb を展開する準備をしています ...
libclamav7:amd64 (0.99.3~beta1+dfsg-4) を展開しています...
.../havp_0.92a-4+b2_amd64.deb を展開する準備をしています ...
havp (0.92a-4+b2) を展開しています...
以前に未選択のパッケージ clamav-base を選択しています。
.../clamav-base_0.99.3~beta1+dfsg-4_all.deb を展開する準備をしています ...
clamav-base (0.99.3~beta1+dfsg-4) を展開しています...
以前に未選択のパッケージ clamav-freshclam を選択しています。
.../clamav-freshclam_0.99.3~beta1+dfsg-4_amd64.deb を展開する準備をしています ...
clamav-freshclam (0.99.3~beta1+dfsg-4) を展開しています...
以前に未選択のパッケージ clamav を選択しています。
.../clamav_0.99.3~beta1+dfsg-4_amd64.deb を展開する準備をしています ...
clamav (0.99.3~beta1+dfsg-4) を展開しています...
clamav-base (0.99.3~beta1+dfsg-4) を設定しています ...
libclamav7:amd64 (0.99.3~beta1+dfsg-4) を設定しています ...
libc-bin (2.25-6) のトリガを処理しています ...
havp (0.92a-4+b2) を設定しています ...
グループ `havp' (グループ ID 138) を追加しています...
完了。
There is already /var/lib/havp/havp.loop, maybe from an earlier or custom installation, not building loopback-device
Job for havp.service failed because the control process exited with error code.
See "systemctl status havp.service" and "journalctl -xe" for details.
invoke-rc.d: initscript havp, action "start" failed.
● havp.service - LSB: HAVP virus-scanning HTTP proxy
Loaded: loaded (/etc/init.d/havp; generated; vendor preset: enabled)
Active: failed (Result: exit-code) since Wed 2018-01-03 15:49:19 JST; 14ms ago
Docs: man:systemd-sysv-generator(8)
Process: 26029 ExecStart=/etc/init.d/havp start (code=exited, status=1/FAILURE)

1月 03 15:49:19 vhost01 systemd[1]: Starting LSB: HAVP virus-scanning HTTP proxy...
1月 03 15:49:19 vhost01 havp[26029]: Cleaning up /var/spool/havp... done
1月 03 15:49:19 vhost01 havp[26029]: Starting havp: Starting HAVP Version: 0.92
1月 03 15:49:19 vhost01 havp[26029]: LibClamAV Error: cli_loaddbdir(): No supported database files found in /var/lib/clamav
1月 03 15:49:19 vhost01 havp[26029]: One or more scanners failed to initialize!
1月 03 15:49:19 vhost01 havp[26029]: Check errorlog for errors.
1月 03 15:49:19 vhost01 havp[26029]: Exiting..
1月 03 15:49:19 vhost01 systemd[1]: havp.service: Control process exited, code=exited status=1
1月 03 15:49:19 vhost01 systemd[1]: havp.service: Failed with result 'exit-code'.
1月 03 15:49:19 vhost01 systemd[1]: Failed to start LSB: HAVP virus-scanning HTTP proxy.
E: Error starting service (could be due to port 8080 already in use), ignoring...
systemd (236-2) のトリガを処理しています ...
man-db (2.7.6.1-4) のトリガを処理しています ...
clamav-freshclam (0.99.3~beta1+dfsg-4) を設定しています ...
Created symlink /etc/systemd/system/multi-user.target.wants/clamav-freshclam.service → /lib/systemd/system/clamav-freshclam.service.
clamav (0.99.3~beta1+dfsg-4) を設定しています ...
systemd (236-2) のトリガを処理しています ...

と、インストール時に表示されるメッセージ、 havp のインストール後の起動のところで、エラーが出ている。

VyOSでWebプロキシー

自宅内のネットワークというか、サーバの用途変更を色々やっている中で、ルータとしている VyOS マシンで Web プロキシーを動かしてみたので、それに関して得られた知見など、メモとしてまとめておく。
なお、使用している VyOS のバージョンは 1.1.8 です。

VyOS で Web プロキシーを有効化

単純に動作させるだけだったら、

set service webproxy listen-address 172.16.0.1
commit

と、プロキシーを利用させたいクライアンが繋がっている側のインターフェースの IP アドレスを指定すれば、設定が完了して、Squid が動作を開始。

この状態では、透過プロキシーとして動作しているので、クライアント側の設定を変える必要もなく、導入自体はお手軽、なのだけど、これがちょっと曲者といえば曲者だったのよね…。

我が家のネットワーク構成

ここで、簡単に我が家のネットワーク構成を說明しておく。

我が家のネットワーク構成概要 2017/12/16版

自宅内には、サーバが 2 台。1 台は SMTP サーバがメイン用途で、もう 1 台(図中の内部サーバ)はローカルネット内で DNS キャッシュ兼プロキシー兼仮想環境による実験用として使用。
あと、さくらの VPS に Web サーバ、DB サーバの VPS が 1 台づつ。

実際には、各サーバ複数の用途で使っているので、 自宅側の SMTP サーバは DNS のセカンダリ兼務だし、 Web サーバは DNS 権威サーバであり、 SMTP のセカンダリでもある、いう感じ。

ちょっと前までは、 SMTP サーバに IP Masquerade 設定して外部とローカルネットのゲートウェイにしてて、更にそこに Squid でプロキシー立ててたんだけど、新しくサーバを手に入れたのを契機に用途見直ししたので、現状では上の図のようになっています。

んで、今回内部サーバ上のプロキシーの上位プロキシーとして VyOS 上で動作するプロキシーを指定したところ、ちょっとハマったというわけ…。