Mikeforce server downed again.

今月初めは平成30(2018)年9月1日に発生したサーバ障害は、その週明けにはなんとか復旧できたのだけれど、残念ながら未だ「致命的な問題」が残っていたようで再びダウンしてしまった。正確にはHDD故障で重要なパーティションをマウントできなくなり、ウェブサービスは勿論、システムサービスの類が軒並み停止してしまったという次第 :$

最初の障害でサーバが強制Shutdownした際、HDD内のLVMである /var パーティションで何か処理していたのだろうか。リモートからサーバにログインできないことに気づいた時はなんとなく嫌な予感がしたが :|
で帰宅して調べてみると、案の定、朝まで動いていたサーバは最後にアクセスしてから数時間後に突然、次のようなHDD読み取りエラーが発生していた:

[711805.660457] sd 25:0:0:0: [sdh] FAILED Result: hostbyte=DID_ERROR driverbyte=DRIVER_SENSE
[711805.660465] sd 25:0:0:0: [sdh] Sense Key : Hardware Error [current]
[711805.660468] sd 25:0:0:0: [sdh] Add. Sense: No additional sense information
[711805.660471] sd 25:0:0:0: [sdh] CDB: 
[711805.660473] Read(10): 28 00 0f a9 6b 10 00 00 10 00
[711805.660484] blk_update_request: I/O error, dev sdh, sector 262761232
[711822.460908] sd 25:0:0:0: [sdh] FAILED Result: hostbyte=DID_ERROR driverbyte=DRIVER_SENSE
[711822.460916] sd 25:0:0:0: [sdh] Sense Key : Hardware Error [current]
[711822.460919] sd 25:0:0:0: [sdh] Add. Sense: No additional sense information
[711822.460922] sd 25:0:0:0: [sdh] CDB: 
[711822.460924] Read(10): 28 00 0f a9 6b 10 00 00 10 00
[711822.460936] blk_update_request: I/O error, dev sdh, sector 262761232
[711822.460982] XFS (dm-0): metadata I/O error: block 0xfa1bb10 ("xlog_recover_do..(read#2)") error 5 numblks 16
[711822.478620] XFS (dm-0): log mount/recovery failed: error -5
[711822.478680] XFS (dm-0): log mount failed
[711827.723684] XFS (dm-0): Mounting V4 Filesystem
[711827.866409] XFS (dm-0): Starting recovery (logdev: internal)
[711830.994951] sd 25:0:0:0: [sdh] FAILED Result: hostbyte=DID_ERROR driverbyte=DRIVER_SENSE
[711830.994959] sd 25:0:0:0: [sdh] Sense Key : Hardware Error [current]
[711830.994962] sd 25:0:0:0: [sdh] Add. Sense: No additional sense information
[711830.994965] sd 25:0:0:0: [sdh] CDB: 
[711830.994967] Read(10): 28 00 0f a9 6b 10 00 00 10 00
[711830.994979] blk_update_request: I/O error, dev sdh, sector 262761232
[711847.817378] sd 25:0:0:0: [sdh] FAILED Result: hostbyte=DID_ERROR driverbyte=DRIVER_SENSE
[711847.817386] sd 25:0:0:0: [sdh] Sense Key : Hardware Error [current]
[711847.817390] sd 25:0:0:0: [sdh] Add. Sense: No additional sense information
[711847.817393] sd 25:0:0:0: [sdh] CDB: 
[711847.817395] Read(10): 28 00 0f a9 6b 10 00 00 10 00
[711847.817406] blk_update_request: I/O error, dev sdh, sector 262761232
[711847.817480] XFS (dm-0): metadata I/O error: block 0xfa1bb10 ("xlog_recover_do..(read#2)") error 5 numblks 16
[711847.839055] XFS (dm-0): log mount/recovery failed: error -5
[711847.839111] XFS (dm-0): log mount 

このI/OエラーによってLVMの /var パーティションが読み込めなくなった。このパーティションが読み込めなくなるのはシステムとして致命的である :$。例えばゲートウェイ+ルータ機能、ブログなどのDBシステム、SSHなどランタイムサービスの他、apt パッケージシステムが動かない等、かなり厳しい状況だった。
特にHDD内にあるブログやウェブのデータが逝ってしまったことで、最初は心が折れそうになってしまった ;(

1日ほど塞ぎこんでしまったが、ゲートウェイ機能を復旧させないと、いつまでたってもインターネットに接続できないので、ひとまずHDDを新調してシステムの全復旧を行うことにした。それに、かなり古いけどブログのDBのバックアップが残っていた ;) ので、時間はかかるけどブログの方は再び書いていけば、いつか元に戻るであろうと前向きに考えることにした :D

ということで、まずは新規のSSD(120GB)とHDD(3TB)を注文、到着するまでの間は既存のHDDからデータの吸い上げ。この時、I/OエラーがでていたHDDについては重要なデータがストアされており、色々試すことで結局は負荷をかけてハードウェアの寿命が縮んでしまいそうなので、GNU Ddrescue なるツールでddイメージを安全かつ堅実に抜き出すことにした。これは本当に素晴らしいツール

  • 不良セクタをスキップして、良好データをまず先に復旧する
  • これによりHDDに不必要な負荷をかけることがないため、最終的に復旧できるデータ量が大きい
  • 不良セクタはログに記録できる
  • 別ツールであるddrescureviewを使うとGTK+ベースの GUI 上にセクタのマップを表示することができる

I/OエラーがでたパーティションはLVMボリュームで容量は 500GB であったが、Ddrescue は特に問題なかった。このサイズのrawイメージを保存できる空きHDDを用意して、玄人志向のHDDスタンド経由でDdrescureを実行した:

$ sudo ddrescue -n -v /dev/mikeforce-vg/vgroup-var_lv ./back-vgroup-var_lv.img back-vgroup-var_lv.log 
GNU ddrescue 1.19
About to copy 536870 MBytes from /dev/mikeforce-vg/vgroup-var_lv to ./back-vgroup-var_lv.img.
 Starting positions: infile = 0 B, outfile = 0 B
 Copy block size: 128 sectors Initial skip size: 128 sectors
Sector size: 512 Bytes

Press Ctrl-C to interrupt
rescued: 536870 MB, errsize: 12288 B, current rate: 1686 B/s
 ipos: 268691 MB, errors: 3, average rate: 16525 kB/s
 opos: 268691 MB, run time: 9.02 h, successful read: 0 s ago
Finished 

500GBのrawイメージを9時間ほどかけて取得、不良セクタは12KBと予想外に少なかった ;)。この後、XFSのfschkであるxfs_repairでファイルシステムを補修してからloopbackでマウントしてみたら、見事にパーティションを読み込むことができた:

$ sudo xfs_repair -L -f /opt/back-vgroup-var_lv.img
Phase 1 - find and verify superblock...
Cannot get host filesystem geometry.
Repair may fail if there is a sector size mismatch between
the image and the host filesystem.
Phase 2 - using internal log
 - zero log...
ALERT: The filesystem has valuable metadata changes in a log which is being
destroyed because the -L option was used.
 - scan filesystem freespace and inode maps...
out-of-order bno btree record 46 (98638 1) block 1/4
block (1,98638-98638) multiply claimed by bno space tree, state - 1
out-of-order bno btree record 47 (225432 1) block 1/4
block (1,225432-225432) multiply claimed by bno space tree, state - 1
out-of-order bno btree record 48 (292435 2) block 1/4
block (1,292435-292435) multiply claimed by bno space tree, state - 1
out-of-order bno btree record 174 (324055 3) block 1/4
block (1,324055-324055) multiply claimed by bno space tree, state - 1
out-of-order bno btree record 175 (324059 2) block 1/4
block (1,324059-324059) multiply claimed by bno space tree, state - 1
out-of-order bno btree record 176 (324096 5) block 1/4
block (1,324096-324096) multiply claimed by bno space tree, state - 1
agf_freeblks 27730912, counted 27730884 in ag 1
agf_freeblks 28437926, counted 28437911 in ag 3
block (2,5220537-5220537) multiply claimed by cnt space tree, state - 2
agf_freeblks 26476336, counted 26476369 in ag 2
agi_freecount 51, counted 52 in ag 3
agi_freecount 64, counted 65 in ag 2
agi_freecount 139, counted 142 in ag 0
sb_ifree 368, counted 335
sb_fdblocks 106740156, counted 106773627
 - found root inode chunk
Phase 3 - for each AG...
 - scan and clear agi unlinked lists...
 - process known inodes and perform inode discovery...
 - agno = 0
data fork in ino 137948 claims free block 4822
data fork in ino 137948 claims free block 4823
correcting nblocks for inode 10686304, was 1 - counted 0
 - agno = 1
Metadata corruption detected at block 0xfa1bb10/0x2000
(...)
Metadata corruption detected at block 0xfa1bb10/0x2000
Metadata corruption detected at block 0xfa1bb10/0x2000
data fork in ino 536882165 claims free block 33555077
Metadata corruption detected at block 0xfa03108/0x1000
corrupt block 0 in directory inode 536896076
 will junk block
no . entry for directory 536896076
no .. entry for directory 536896076
problem with directory contents in inode 536896076
cleared inode 536896076
bad magic number 0x0 on inode 537097760
bad version number 0x0 on inode 537097760
(...)
Phase 4 - check for duplicate blocks...
 - setting up duplicate extent list...
 - check for inodes claiming duplicate blocks...
 - agno = 0
 - agno = 1
 - agno = 2
 - agno = 3
(...)
Phase 5 - rebuild AG headers and trees...
 - reset superblock...
Phase 6 - check inode connectivity...
 - resetting contents of realtime bitmap and summary inodes
 - traversing filesystem ...
(...)
Phase 7 - verify and correct link counts...
resetting inode 61515 nlinks from 20 to 19
resetting inode 512221 nlinks from 16 to 15
Metadata corruption detected at block 0x8058/0x1000
libxfs_writebufr: write verifer failed on bno 0x8058/0x1000
Metadata corruption detected at block 0x3fe90/0x1000
libxfs_writebufr: write verifer failed on bno 0x3fe90/0x1000
Metadata corruption detected at block 0x3fe90/0x1000
libxfs_writebufr: write verifer failed on bno 0x3fe90/0x1000
Metadata corruption detected at block 0x8058/0x1000
libxfs_writebufr: write verifer failed on bno 0x8058/0x1000
done
$ sudo mount -o loop /opt/back-vgroup-var_lv.img ./mnt
$ 

こちらがddrescueviewで表示させたもの。赤色が不良セクタ:

ddrescueviewの結果

不良セクタのサイズが少なかったことが不幸中の幸いだった。これらのセクタはMySQLのデータであったけどブログには影響が無くて安心した 0:)

思えば、今夏の酷暑がHDDに与えていた影響は少なくない[a]加えて、筐体も普通のPCのタワー型だし。として、HDD間の配置を変更し、RootfsはSSDにして発熱を抑えることにした。そして、今さらながらHDDの寿命と故障率について身にしみたのでバックアップを励行することにした。

ということで、全復旧までお金と一週間ほどの時間を要したけど、素晴らしいツールと教訓を得ることができて良しとする。

この後は、自動バックアップシステムを構築し、S.M.A.R.Tで温度を監視しつつサーバを運用することにする。

参照   [ + ]

a. 加えて、筐体も普通のPCのタワー型だし。

Mikeforce server downed.

この記事をアップできている現在は復旧済みで、ことの顛末は次のような次第:

先週は平成30(2018)年9月1日[a]週末の土曜日で仏滅だった。朝、歯医者に行くために少し早めに起きて天気予報を確認しようと Web を開いたら「インターネットに接続できません」なるメッセージが表示された。日頃、常時接続な環境なので、モデムかハブか何かが落ちたかと思って見てみたが特に問題はない。あれ!?っとPCを見てみるとケースにある青色の電源ランプが点いていなかった :|。う〜m。
たしか昨晩寝る前、部屋の照明を消した時に扇風機の電源ランプ[b]これも青い色。暗い部屋では赤色と共に最も視認しやすく目につく色である。が消えていることを確認したが、同時にその背後にPCの電源ランプが見えていたのを記憶していたので、その時までは確かに動いていた。

で、ケースの電源ボタンを押してみたが全く動かない。何もしていないのに電源が落ち、さらに電源が入らないということで、まず最初に昨年春に取り替えた電源ユニットのCoolerMaster V650 Semi-Modular[c]昨年、突然 PC の電源モジュールからカラカラ音が鳴り出したので、調べたらファンの羽が折れ曲がっていた。最初は叩いたら収まっていたが、段々と音も大きくなってきたので電源ユニット本体を取り替えたと云う次第。を疑った。

ケースを開けて、歯医者に出かけるギリギリまで調べてみたが、ハードウェアが故障したような「臭い」は無く、特に電源ユニット回りに至っては焦げた跡など異常は見当たらず。加えて電源ユニットを ON するとマザーボードのP9X79上にあるStandby Power LEDが点灯するので電源ユニットからマザーボードへは通電しているっぽい。しかしケースの電源ボタンを押してもマザーボード上のChassis LEDやCPUファンは動かないし、何より電源ユニットが動いていない :$

今まで見たことの無い症状。
その昔、Windows系OSが載ったPCが立ち上がらなかった時があったが、その時はCMOSの電池切れだったり、DIMMがキチンと差さっておらず少し浮いていたのが原因だった。一応、今回は起動中に落ちているぽいので関係は無いとは思うが、念の為、予備の電池のCR2032に交換したり、メモリを挿し直したが特に変化なし:

グラフィックスボードを外したところ

これにあまり時間を割いていられないし、外(インターネット)に気安く出られないのも不便[d]このサーバはWifiなどの自宅内ネットワークのGWでもある。だし、なにより電源ユニットが問題ということであれば5年保証を要求するところだけど、そこまで原因が確定できていない。メーカーとやりとりしていたら復旧が来週一杯までかかってしまいそう。なので、ここは翌日までに入手できそうな電源ユニットをスマフォから Amazon で注文。いろいろ迷ったが昨年購入したユニットの廉価版っぽいCoolerMaster MW Semi-Modular 650Wにした。値段は半額ほど。まぁ買い捨て覚悟。

そして翌朝の日曜日、ありがたいことに午前中の早い時間に受け取ることができたので、早速マザーボードと電源ユニットを接続してみたが、一回目はケースや CPU ファンが少しだけ動いたものの、結果は同じで電源は立ち上がらない :|。 う〜m。いやはや困った。もしかしてマザーボードか!?なんて、思わず最悪な状況を想像してしまった :(

ここでPCI Expressに装着していたグラフィックスボードの陰に隠れていたLEDを確認しようと、一旦取り外して電源を入れてみると、ピポッと音がなるやいなやCPUファンが回りだして、POSTまで動き出した :O
なんと原因はグラフィックスボードだった:

これが問題の NVIDIA GeForce GTX 660Ti (2GB)

この二枚差しDuallボード、てっきりボード上部に付いていたPCI Expressコネクタに電源ケーブルを指していなければ電源は供給されないものと思っていたが、どうやら間違い。マザーボードからも電源は供給されているようだ(二枚差しだから)。以前はデスクトップとして使っていたPCを今はサーバとして使っている。なので2枚差しのグラフィックスパワーを使う機会は全く無い :D

ということで、今の時間から Amazon を利用しても無駄なので、単にVGAとして利用できる安価なグラフィックスボードを電車に乗ってヨドバシで購入して挿してみたら、あっけなく起動した:

NVIDIA GEFORCE GT710 (2GB)

購入したのはNVIDIA GEFORCE GT710(5,510円/当時)。サーバならば、この程度で十分すぎるスペック。原則的にリモート操作で、どうせ起動時のログを確認する程度にしか使わないし。

ということで、あとでsyslogのログを確認してみたら、PCが落ちたのは9月1日 05:39:16だった。早朝のクロン・ルーチン中に落ちたっぽいがKernelログには異常は無いのでハードウェア故障だ。復旧までに24時間くらいかかってしまった。初動調査で電源が怪しいと見てしまったのが原因だけど、まさかグラフィックスボードが原因で起動しないなって。だって、なくても起動するし :/

ということで不要な電源が一つできてしまった。欲しい方がいれば譲ります =)

参照   [ + ]

a. 週末の土曜日で仏滅だった。
b. これも青い色。暗い部屋では赤色と共に最も視認しやすく目につく色である。
c. 昨年、突然 PC の電源モジュールからカラカラ音が鳴り出したので、調べたらファンの羽が折れ曲がっていた。最初は叩いたら収まっていたが、段々と音も大きくなってきたので電源ユニット本体を取り替えたと云う次第。
d. このサーバはWifiなどの自宅内ネットワークのGWでもある。

駅弁と空弁 − Ekiben and Soraben that I ate recently.

先週は平成30(2018)年のお盆休みは久しぶりの帰省。ついでに道南まで足をのばして城攻めも。併せて、美味しい地元飯をいろいろと食べてきたし、意外なのは駅弁やら空弁やらを食す機会も多かったということ。もちろん美味しい「実家飯」もちゃんと堪能してきたけど :)

今回は松前城へ行くために前日から函館入りしたが、その際に札幌駅で購入しJR特急スーパー北斗の中で食べた駅弁。「海鮮えぞ賞味」(1,080円):

「海鮮えぞ賞味」(1,080円)

この手の弁当は箱の絵と実物が一致しない場合が多い。ちなみに箱には「カニ・イクラ・ウニが入った贅沢な海鮮ちらし寿し駅弁です。」と書かれていた:

カニ・イクラ・ウニが入った贅沢な海鮮ちらし寿し駅弁

ウニは生ではなく蒸したもの。この減点は大きい。サーモン酢漬けは薄いのが一切れ。蟹の酢漬けとボイルホタテが弁当の半分以上を占めていた。どこか贅沢なのか :|

錦糸卵の上には北海道の形をした昆布

酢飯の量も少ないし物足りなさが残る駅弁。少なくとも贅沢さは感じなかった :/

次は、前回の帰省の折に函館旅行してきたが、その時初めて食べた函館名物の「鰊みがき弁当」(980円)。なんと当時から3年たった今は値段が100円も上がっていた :O:

函館駅名物「鰊みがき弁当」(980円)

これは城攻めする当日の朝に宿泊先の部屋の中で頂いた。濃い味の身欠き鰊(ニシン)と、薄味の数の子、そして奥に隠れている茎わかめの醤油漬けは良いアクセントにだった。逆に、たくあんは余計かも。年々、値段が高くなっていくのが心配なところ:

分厚い数の子とニシンでお腹も満足

最後は、帰りの新千歳空港で頂いた空弁。本当はカレーライスとビールにしようと決めていたのだけれど、この空港の出発ロビーには軽喫茶みたいなものが無かったので、仕方なく空弁に。で、いつもなら定番の「石狩鮨」にするところだけれど、自分の前に買っていた人になぜか釣られて自分も同じのを購入してしまった:

鮭のルイベ漬盛り海鮮弁当(1,380円)とサッポロ・北海道生ビール(246円)

そういうことで全く期待していなかったのだが弁当を持ち上げた時の感覚が重くて、食べごたえあるかもと云う期待にかわった :D

濃い味付のルイベと鮭トロやイクラが載っている

ルイベがなかなか美味しく、ちょっと醤油は余計かなぁと思ったが、酢飯と相まって美味しく頂けた。もしかしたら「石狩鮨」よりも好きかも 8)

ぶつ切りのルイベが旨い

同じ海鮮ものでも「海鮮えぞ賞味」とは段違いの美味しさだった。


ここからはオマケ。

まず行きの羽田空港第一旅客ターミナルの最上階にある展望デッキからの眺め。
こちらは空港の北方面で、管制塔の右手に小さくスカイツリーが見えた。時刻は夕方5時半くらい:

空港中央の管制塔(拡大版)

こちらは空港の東方面で、第二ターミナルビル、東京湾の眺め:

空港東の眺望(拡大版)

そして空港の南方面で、多摩川の河口、浮島の眺め:

空港南の眺望(拡大版)

こちらは滑走路を含む空港西側の眺め:

空港西の眺望(拡大版)

この日の関東は高気圧に包まれて青空が広がる快晴だった:

展望デッキから見上げる青空

そして札幌から函館へ向かう際に乗車した特急スーパー北斗:

特急スーパー北斗12号

スーパー特急ながら所要時間は4時間近くかかる :$

札幌駅にて

そして、これから行く先の函館は大荒れの天気だった:

特急スーパー北斗

特急スーパー北斗

こちらは初めてのった道南いさりび鉄道のワンマン車両(キハ40形):

道南いさりび鉄道・木古内行き

函館駅にて:

道南いさりび鉄道

道南いさりび鉄道

第三セクター鉄道である道南いさりび鉄道のキハ40形:

道南いさりび鉄道

こちらが北海道最南端の駅である道南いさりび鉄道の木古内駅:

道南いさりび鉄道の木古内駅

道の駅から眺めた道南いさりび鉄道とJR北海道新幹線の木古内駅:

二つの木古内駅

これは松前城の復興天主で、中は博物館になっている:

松前城の復興天守(拡大版)

城攻めのあとは再び木古内へ戻り、北海道新幹線に一駅分だけ乗車した。
これは木古内駅のホーム。まだ、この季節は良いけど、冬はどんな感じなんだろうと想像してしまった:

木古内駅ホーム

木古内駅ホーム

木古内駅に到着したはやぶさ:

はやぶさ@木古内

木古内からひと駅先の新函館北斗へ向かう途中、函館山を観ることが出来た:

はやぶさから見えた函館山(拡大版)

そして新函館北斗駅のホームでのはやぶさ:

はやぶさ@新函館北斗

はやぶさ@新函館北斗

最後は札幌円山動物園。帰省の最終日、帰りはバスで新千歳空港へ向かった:

札幌円山動物園

今回の三年ぶりの帰省は懸念だった城を攻めることが出来たし、北海道新幹線に乗れたし、地元であった人達は元気そうで色々と思い出になった  8)。皆さん、お元気で。

北前食堂 − MATSUMAE Style Seafood-don.

先週は平成30(2018)年のお盆休み、帰省がてら道南まで足をのばして松前城を攻めてきた。実家がある札幌から日帰りの日程は無理だったので、前日に函館入りし、翌日の早朝から木古内経由で松前へ移動するプランを立てた。

感覚的には函館からそれほど遠くないと云う印象があった北海道最南端の町、松前。しかしながら、車でも函館からだと2時間以上かかる。ということで、今回は函館から木古内までは道南いさりび鉄道を利用し、木古内からは函館バスで松前城近くまで移動することにした。と云うか、これしか交通手段がない :O

朝6時半過ぎに宿をチェックアウトし、函館駅から7時ちょっと過ぎの道南いさりび鉄道(片道大人1,110円/当時)に乗って、一時間ほどで木古内へ。木古内駅前から乗る函館バスがくるまで1時間近く空いていたので、札幌へ帰る切符を予め購入することに。その時、夜中の大雨で始発から道南へ向かう電車は軒並み運休になっていることを知った。え〜、もしかしたら帰れないかも!? :$、なんて不安もよぎったが、城攻めを終えて再び木古内へ戻ってくるのが夕方4時くらいだから、その頃にはさすがに復旧しているだろうと前向きに考えることにした :D。だいたい昨夜の雨雲はどこへやら、前日とはうってかわって、この日は暑いほどの晴天の予報だったし。

それから道の駅・きこない[a]ここ道の駅にあるコインロッカーは大小全て100円のうえ、開けると100円が戻ってくるので実質的には無料。素晴らしい。周辺をブラブラしたり、木古内といえば寒中みそぎ祭で知られる「みそぎ浜」まで行ったりして時間を潰した。

朝9時発、松前ターミナル行きの函館バスに乗って松前城近くの「松城」なるバス停に着いたのが10時半過ぎ(片道大人1,250円/当時):

松前橋から眺めた松前城の復興天守(拡大版)

松前に着いた時には青空が広がり、少し暑かったが、なかなかの城攻め日和になってくれた 8)。それからたっぷり3時間ほどかけて城跡や天守閣(博物館)、寺町などを巡ってきた。

そして城攻めを終えて帰る前に道の駅・北前船・松前にある北前食堂でお昼をいただくことに:

道の駅・北前船・松前

食堂ということでメニューは豊富だった。ここでウニ丼にしようか海鮮丼にしようか、かなり悩んだが、最終的には「大漁くん丼ぶり」(2,980円)と「もりそば」(550円)を選択し、食券を購入した:

北前食堂・お品書き(拡大版)

そして、松前湾を眺望できるテラスを目の前にできるカウンター席に座り、食券を持って厨房口へ。昼時から少しずれていたこともあって、お客はそれほど多く無かった。眼前に広がる松前湾を眺めながら、番号が呼ばれるまでセルフサービスのお茶を飲んでまったりとしていた:

松前湾、

津軽海峡、

松前湾、

津軽海峡

10分ほどして番号が呼ばれたので、先ほどの厨房口まで取りに行く。こちらが北前食堂おすすめの海鮮丼「大漁くん丼ぶり」。香の物と味噌汁つき:

大漁くん丼ぶり(2,980円)

ウニやアワビも載っていた。エビはニ尾ひ。そして松前のマグロも(小さかったが厚切り)、蟹も。さらにイクラとトビッコも。ホントに丼ぶりの上は大漁だった :D

てんこ盛りの海鮮丼

そして「もりそば」(550円)。麺がボロボロだった〜:|

もりそば(550円)

まぁ、なんだかんだ云っても新鮮なので、関東で食べるよりは断然、美味しかった。

北前食堂
北海道松前郡松前町字唐津379番地(国道228号沿い)


ここからはオマケ。

こちらは木古内駅。手前が道南いさりび鉄道の駅舎、右奥が北海道新幹線の駅舎:

木古内駅

そして道の駅・みそぎの郷・きこない。ただし、この時は朝9時前だったので、まだ開いていなかったが:

道の駅・みそぎの郷・きこない

道の駅・みそぎの郷・きこない

目の前に新幹線があるから、道内はもとより本州からも、木古内町の人口を越える人数の客が押し寄せてくるんだろうな。

これは木古内町のマスコットキャラクターであるキーコ。「はこだて和牛」をモチーフにしたそうで、津軽海峡をイメージした青い目がチャームポイントなのだとか:

キーコ(♂)

このあとは徒歩10分ほどのところにある「みそぎ浜」まで散歩してきた。その途中、みそぎ公園で開催していた「きこない・咸臨丸まつり」の後片付け現場を目撃した:

咸臨丸まつり会場

みそぎ祭りのトーチ

咸臨丸(かいりんまる)は幕府海軍が保有していた蒸気式軍艦。箱館戦争後、明治4(1871)年、北海道小樽へ輸送中に木古内町泉沢沖で暴風雨により遭難、サラキ岬で沈没し、現在も海の中に眠っているのだとか。

みそぎ浜には寒中みそぎ祭で有名な佐女川(さめがわ)神社の鳥居が建っていた。なお、この神社の拝殿は、こことは反対方向のJR北海道新幹線駅よりもさらに北にあるらしい:

みそぎ浜に建つ佐女川神社の鳥居

神社守が『御神体を清めよ』とのお告げを受けたのが寒気肌さす1月15日の早朝だったとか。身を切るような冷水で自身を清め、御神体を抱いて海岸に臨むと、河口に大きな鮫が泳ぎ、その背中に美しい女性が乗っていた。これを見た神社守は、彼女を神の使者と崇めて御神体をさらに沐浴させると、鮫は上流にある沼に消えたと云う。そこから佐女沼(さめぬま)と呼ばれるようになった。すると、その年から豊漁、豊作に恵まれ、これに感謝する行事として始まったのが「みそぎ祭」なのだとか:

寒中みそぎ祭の場所

みそぎ浜から眺めた函館山:

函館山

これは松前城へ向かう途中、函館バスの中から目撃した福島町の青函トンネル記念館。また、ここ福島町は千代の富士/千代の山といった横綱力士でも有名:

福島町の青函トンネル記念館

そして松前城本丸跡に建つ本丸御門(現存で重要文化財)と模擬天守(内部は有料博物館):

本丸御門と模擬天守(拡大版)

昭和35(1960)年に外観復元された三重櫓(天守):

外観復元された三重櫓

こちらは現存で重要文化財の本丸御門:

本丸御門

最後は、松前城址で見かけた動物たち(?):

蝉の抜け殻

寺町で見かけた鳥

ということで、この時のフォト集はこちら:

See Also松前城攻め (フォト集)
See Also松前氏菩提寺・墓所と寺町 (フォト集)

参照   [ + ]

a. ここ道の駅にあるコインロッカーは大小全て100円のうえ、開けると100円が戻ってくるので実質的には無料。素晴らしい。

たつみ食堂 − A HAKODATE Local Delicacy with Famous Owner.

先週は平成30(2018)年のお盆休み、帰省がてら松前城を攻めてきた。ただ前回帰省時の五稜郭攻めとは異なり、実家がある札幌から日帰りの日程は無理だったので、前日に函館へ移動しておいて、翌日の早朝から松前へ移動するプランを立てた。

このプランは正解であったのだけれど、当時の北海道、特に函館を含む道南地方の天気は大荒れ。そんな大雨の中を札幌から4時間ほどかけて[a]「スーパー」が付く特急でも4時間はかかる長旅。正直、他なら新幹線や飛行機で移動すべき距離である。函館入り。そんなことでロクに函館観光は出来なさそうと諦めていたが、夕飯は美味しいものを食べようと考えていたので、予め調べておいた幾つかのお店から第一候補のたつみ食堂と云う豚一家も完食した地元函館では有名な定食屋を選択した。早めに行けばお客も少ないだろうし、大雨に遭遇する確率も少ないだろうということで :)

宿を出て、たつみ食堂へ向かう前に、宿近くにあった土方歳三最後の地に寄ってきた。こちらは前回の五稜郭攻めで寄ってこれなかった名跡。

それから函館駅前まで歩き、そこから谷地頭(やちがしら)行きの市電に乗って宝来町なる電停で下車(片道200円/当時)。そこから5分ほど歩くとたつみ食堂が見えてきた(東川店へのアクセス詳細):

定食の店「たつみ食堂」

朝10時半から夜9時半までずっと営業中と云う、なんともローカルな食堂。このお店の自慢の一つが休まず営業中なのだとか。年中無休で営業継続中の看板がおもしろい:D

年中無休のたつみ食堂

暖簾をくぐって店内に入ると客は自分一人だった。時刻は確か夕方5時半くらい。夕飯には少し早い時間か。これならば待たされることなくササッと食べて、大雨になる前にササッと帰って来れそう。ここまでは予定どおり。

でカウンター席に座り、メニューに目を通すことなく、店の前の看板に書いてあった「ジャンボとり定食」[b]一羽丸ごとではなく、これは半身。おやじさん曰く、一羽丸ごとの定食は10倍の12,000円だとか。勿論、冗談だろうけど。を注文した。しかし、この日はジャンボ鶏は無いとのこと。目の前で準備していた名物おやじさんから、「明日来ればよかったのに〜」とまで云われてしまった :O。えっ、でも店の前に看板が・・・・ :$

ここは仕方が無いので、メニューを眺めて一番人気の「鶏唐揚げ」定食(640円)と、なんとも言えないこの残念な気持ちの昂ぶりを鎮めるために瓶ビール(500円)を注文することに。

それでもビールを飲みながら名物おやじさんと楽しい会話ができて良かった。気持ちが湿っぽくなったら美味しくないし:

限定ラベルのサッポロ黒ラベル(500円)

そして登場した鶏唐揚げ定食(640円)。納豆(50円)をあとから追加した。ライスはこれが普通らしい。少しホロ酔いだったので大盛りライスにしようと迷ったけど止めておいてよかった。おばさんによると、てんこ盛りになるらしい:

鶏唐揚げ定食(640円)+納豆(50円)

この値段で、このボリューム。流石にローカルな定食屋。素晴らしい 8):

ザンギではなく鶏唐揚げ

にんにく醤油に漬け込んで揚げた鶏唐揚げは「ざんぎ」ではないらしい。というか、おやじさんはザンギと唐揚げの違いは知らないのだとか :D。まぁ、美味しければどっちでも良いけど。濃い口の味付で、多めの御飯をパクパクいけた。

次回は、是非ともジャンボとり定食を食べたい。

たつみ食堂(東川店)
北海道函館市東川町6-1


ここからはオマケ。

たつみ食堂へ向かう前に寄ってきた「土方歳三最期の地」の碑と、復元されていた一本木関門跡:

「土方歳三最期の地」碑

往時は一本木関門だった

ということで、この時のフォト集はこちら:

See Also土方歳三最期の地巡り (フォト集)

参照   [ + ]

a. 「スーパー」が付く特急でも4時間はかかる長旅。正直、他なら新幹線や飛行機で移動すべき距離である。
b. 一羽丸ごとではなく、これは半身。おやじさん曰く、一羽丸ごとの定食は10倍の12,000円だとか。勿論、冗談だろうけど。