Sender | Message | Time |
---|---|---|
18 Mar 2024 | ||
Sutou Kouhei | あれ、検索時にまだ反映されていなかったら検索をブロックしてレプリケーションして終わってから検索を再開するようにしていたはずですけどねぇ。 | 01:46:37 |
Sutou Kouhei | まぁ、近い将来Custom WAL Resource Managers https://www.postgresql.org/docs/current/custom-rmgr.html というやつに対応する予定なので、そうしたらもっといい感じになります! (PostgreSQLのWAL適用処理内でPGroongaのWALも適用できるようになる。) | 01:47:25 |
askdkc |
多分、ブロックされて待機中にアプリ側でのタイムアウト(サービス次第ですが、デフォルトだと30秒くらい?)が発生してエラーとして処理されてる予感です。 タイムアウト値が長い場合、かつ大量のリクエストが来る環境の場合、リクエストの滞留セッション数分のメモリを消費されてサーバごと落ちそう(もしくはoom-killer?):と言っても昔のサーバと違って今のサーバだと192GBとかメモリ積んでる環境とかもありそうだから、そういうスペックガチ盛りなところは平気そう | 03:13:58 |
Sutou Kouhei | なるほど! https://pgroonga.github.io/ja/reference/modules/pgroonga-standby-maintainer.html を導入するとバックグラウンドでWALを適用するので SELECT でタイムアウトしにくくなるはずです! | 05:21:39 |
askdkc | In reply to @ktou:matrix.orgstandby側のpostgresql.confに設定されてたのですが、これってマスター側のconfに書くべきでしたでしょうか? | 11:05:47 |
Sutou Kouhei | standby側だけであっていますよ。 | 11:32:09 |
askdkc | あれ、、、設定入ってるけど遅かったことになってしまった。 何だろう?謎のIOボトルネックがどこかにいるのだろうか。 | 11:45:59 |
20 Mar 2024 | ||
Sutou Kouhei | standby-maintainer は一定時間ごとにシーケンシャルにWALを適用するのでたくさん未適用のWALがある場合は普通のリクエストが待たされることもありえます。(並列に適用することもできます。) | 12:37:54 |
askdkc | なるほど。 メイン側でデータ&インデックス更新→レプリケーションにWAL反映 | 19:57:25 |
Sutou Kouhei | そうっすね。 バルクインサート後だとそうなってもおかしくないです。 | 23:50:31 |
24 Mar 2024 | ||
askdkc | メイン側のDBでPGroonga使っているデータのダンプを復元している時に、レプリケーション側がデータ量半分くらい(10GB程度なので5〜6GB)のところで進まなくなって使えない状態になることがあるのですが、原因不明です。 レプリケーションサーバを再起動すると起動後に残りを処理しだして、終わると上手く動くようになったりします。 実はサーバではなくサービスのみの再起動でも行ける? | 20:47:53 |
Sutou Kouhei | うーん、どこかで詰まっているということですよねぇ。
サービスの再起動で十分だと思います。 | 21:03:42 |
askdkc | 次回同じような不具合が出たらサービス再起動を試してみたいと思います👍 | 22:38:52 |
25 Mar 2024 | ||
takoyaki-nyokki | takoyaki-nyokki: sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpmApache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら Time flies when you’re having fun. | 06:26:52 |
takoyaki-nyokki | * AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、 sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpmApache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら Time flies when you’re having fun. | 06:27:14 |
Sutou Kouhei | いやぁ、ちょうど今そのリポジトリーが壊れているんですよ。。。 | 06:27:25 |
takoyaki-nyokki | * AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、 しょっぱなの以下コマンドでエラーがでてしまいます。 以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。 何かご存知の方はいらっしゃるでしょうか? sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';') 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら 「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。 Time flies when you’re having fun. Your 14-day trial may be over, but you have options! Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you. | 06:27:40 |
Sutou Kouhei | 数日中には直ると思うんですけどねぇ。。。 | 06:27:43 |
takoyaki-nyokki | * AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、 しょっぱなの以下コマンドでエラーがでてしまいます。 以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。 何かご存知の方はいらっしゃるでしょうか? コマンド:sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';') 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら 「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。 Time flies when you’re having fun. Your 14-day trial may be over, but you have options! Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you. | 06:27:51 |
takoyaki-nyokki | * AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、 しょっぱなの以下コマンドでエラーがでてしまいます。 以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。 何かご存知の方はいらっしゃるでしょうか? コマンド:sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm 結果: Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';') 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら 「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。 Time flies when you’re having fun. Your 14-day trial may be over, but you have options! Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you. | 06:28:04 |
takoyaki-nyokki | お早いお返事ありがとうございます。 そういうことあるんですね……。 気長に待つことといたします、本当にたすかりました……。 | 06:28:47 |
Sutou Kouhei | 直ったら https://github.com/apache/arrow/issues/40756 に直ったよーというのがコメントされるはずです。 | 06:29:22 |
takoyaki-nyokki | ご丁寧にありがとうございます! 確認させていただきます! | 06:30:01 |
askdkc | なんだか3日前にもこちらで報告あがってましたね。 https://github.com/groonga/groonga/issues/1607#issuecomment-2015664506 | 06:30:13 |
Sutou Kouhei | 私、このApache Arrowの開発にも関わっているんですが、これインフラ側の問題で開発している側はなんにもできないんですよねぇ。 | 06:30:31 |
Sutou Kouhei | そうっすね。 同じ話です。 | 06:30:46 |
askdkc |
毎年同じことやってるのだろうか。。。 | 06:30:59 |
takoyaki-nyokki | 確認してみたら、以前私がこの問題に直面したのも去年の3月でした。 意識しておいた方がいいのかもしれません。 | 06:36:12 |
Sutou Kouhei | 今回の対策で今後は起こらなくなるといいんですけどねぇ。。。 | 06:36:49 |
askdkc | ドメイン更新し忘れて奪われちゃうなんて事件がGoogleでもあったけど、割とこの手のトラブル心配になる。 | 06:37:56 |