!rZemGiqmyMCWkAxURV:gitter.im

groonga/ja

157 Members
4 Servers

Load older messages


SenderMessageTime
18 Mar 2024
@ktou:matrix.orgSutou Kouheiあれ、検索時にまだ反映されていなかったら検索をブロックしてレプリケーションして終わってから検索を再開するようにしていたはずですけどねぇ。01:46:37
@ktou:matrix.orgSutou Kouheiまぁ、近い将来Custom WAL Resource Managers https://www.postgresql.org/docs/current/custom-rmgr.html というやつに対応する予定なので、そうしたらもっといい感じになります! (PostgreSQLのWAL適用処理内でPGroongaのWALも適用できるようになる。)01:47:25
@askdkc:gitter.imaskdkc

あれ、検索時にまだ反映されていなかったら検索をブロックしてレプリケーションして終わってから検索を再開するようにしていたはずですけどねぇ。

多分、ブロックされて待機中にアプリ側でのタイムアウト(サービス次第ですが、デフォルトだと30秒くらい?)が発生してエラーとして処理されてる予感です。

タイムアウト値が長い場合、かつ大量のリクエストが来る環境の場合、リクエストの滞留セッション数分のメモリを消費されてサーバごと落ちそう(もしくはoom-killer?):と言っても昔のサーバと違って今のサーバだと192GBとかメモリ積んでる環境とかもありそうだから、そういうスペックガチ盛りなところは平気そう
(うんともすんともレスポンス返って来ないとユーザ側には不具合なのか重たいだけなのか判別不能ですが)

03:13:58
@ktou:matrix.orgSutou Kouhei なるほど!
https://pgroonga.github.io/ja/reference/modules/pgroonga-standby-maintainer.html を導入するとバックグラウンドでWALを適用するのでSELECTでタイムアウトしにくくなるはずです!
05:21:39
@askdkc:gitter.imaskdkc
In reply to @ktou:matrix.org
なるほど!
https://pgroonga.github.io/ja/reference/modules/pgroonga-standby-maintainer.html を導入するとバックグラウンドでWALを適用するのでSELECTでタイムアウトしにくくなるはずです!
standby側のpostgresql.confに設定されてたのですが、これってマスター側のconfに書くべきでしたでしょうか?
11:05:47
@ktou:matrix.orgSutou Kouheistandby側だけであっていますよ。11:32:09
@askdkc:gitter.imaskdkc あれ、、、設定入ってるけど遅かったことになってしまった。
何だろう?謎のIOボトルネックがどこかにいるのだろうか。
11:45:59
20 Mar 2024
@ktou:matrix.orgSutou Kouhei standby-maintainerは一定時間ごとにシーケンシャルにWALを適用するのでたくさん未適用のWALがある場合は普通のリクエストが待たされることもありえます。
(並列に適用することもできます。)
12:37:54
@askdkc:gitter.imaskdkc

なるほど。
CSVでごそっとデータ投入後の時は少し時間かかるかもですね。

メイン側でデータ&インデックス更新→レプリケーションにWAL反映

19:57:25
@ktou:matrix.orgSutou Kouheiそうっすね。 バルクインサート後だとそうなってもおかしくないです。23:50:31
24 Mar 2024
@askdkc:gitter.imaskdkc

メイン側のDBでPGroonga使っているデータのダンプを復元している時に、レプリケーション側がデータ量半分くらい(10GB程度なので5〜6GB)のところで進まなくなって使えない状態になることがあるのですが、原因不明です。

レプリケーションサーバを再起動すると起動後に残りを処理しだして、終わると上手く動くようになったりします。

実はサーバではなくサービスのみの再起動でも行ける?

20:47:53
@ktou:matrix.orgSutou Kouhei

うーん、どこかで詰まっているということですよねぇ。
standby-maintainerのプロセスが死んでしまっているか、単に次のWAL同期のタイミング待ちなだけかもしれないですね。たとえば、↓みたいな感じ。

  1. メイン側で半分くらいのデータがリストアされたくらいのタイミングでstandby-maintainerが動く(時間をみて定期的に動いているだけなのでWALが溜まったら動くとかではない)
  2. メイン側のリストアが終わる
  3. レプリケーション側のstandby-maintainerが終わる(1.のタイミングで残っていたWALだけ適用するので2.で増えた分は次の定期起動のタイミングに持ち越し)
  4. レプリケーション側には未適用のWALが残っている
  5. レプリケーション側を再起動するとstandby-maintainerがすぐに動いて3.で持ち越した残りを処理する

サービスの再起動で十分だと思います。

21:03:42
@askdkc:gitter.imaskdkc次回同じような不具合が出たらサービス再起動を試してみたいと思います👍22:38:52
25 Mar 2024
@takoyaki-nyokki:gitter.imtakoyaki-nyokki

takoyaki-nyokki:
AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、
しょっぱなの以下コマンドでエラーがでてしまいます。
以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。
何かご存知の方はいらっしゃるでしょうか?

sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm

Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02
エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';')

試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら
「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。

Time flies when you’re having fun.
Your 14-day trial may be over, but you have options!
Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you.

06:26:52
@takoyaki-nyokki:gitter.imtakoyaki-nyokki *

AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、
しょっぱなの以下コマンドでエラーがでてしまいます。
以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。
何かご存知の方はいらっしゃるでしょうか?

sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm

Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02
エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';')

試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら
「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。

Time flies when you’re having fun.
Your 14-day trial may be over, but you have options!
Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you.

06:27:14
@ktou:matrix.orgSutou Kouheiいやぁ、ちょうど今そのリポジトリーが壊れているんですよ。。。06:27:25
@takoyaki-nyokki:gitter.imtakoyaki-nyokki * AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、 しょっぱなの以下コマンドでエラーがでてしまいます。 以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。 何かご存知の方はいらっしゃるでしょうか? sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';') 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら 「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。 Time flies when you’re having fun. Your 14-day trial may be over, but you have options! Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you. 06:27:40
@ktou:matrix.orgSutou Kouhei数日中には直ると思うんですけどねぇ。。。06:27:43
@takoyaki-nyokki:gitter.imtakoyaki-nyokki * AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、 しょっぱなの以下コマンドでエラーがでてしまいます。 以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。 何かご存知の方はいらっしゃるでしょうか? コマンド:sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';') 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら 「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。 Time flies when you’re having fun. Your 14-day trial may be over, but you have options! Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you. 06:27:51
@takoyaki-nyokki:gitter.imtakoyaki-nyokki * AlmaLinux9のGroongaのインストール手順通りに実施しようとおもったのですが、 しょっぱなの以下コマンドでエラーがでてしまいます。 以前も同じようなことがあったのですが、その時はいつのまにか通るようになっていました。 何かご存知の方はいらっしゃるでしょうか? コマンド:sudo dnf install -y https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm 結果: Apache Arrow for AlmaLinux 9 - x86_64 5.1 kB/s | 11 kB 00:02 エラー: repo 'apache-arrow-almalinux' のメタデータのダウンロードに失敗しました : repomd.xml parser error: Parse error at line: 1 (EntityRef: expecting ';') 試しに「https://apache.jfrog.io/artifactory/arrow/almalinux/9/apache-arrow-release-latest.rpm」に直接ブラウザでアクセスしてみたら 「https://landing.jfrog.com/reactivate-server/apache」にリダイレクトしてしまい、以下のように表示されます。 Time flies when you’re having fun. Your 14-day trial may be over, but you have options! Need help choosing the right subscription or additional time on your trial? Just let us know and a DevOps expert will reach out to assist you. 06:28:04
@takoyaki-nyokki:gitter.imtakoyaki-nyokkiお早いお返事ありがとうございます。 そういうことあるんですね……。 気長に待つことといたします、本当にたすかりました……。06:28:47
@ktou:matrix.orgSutou Kouhei直ったら https://github.com/apache/arrow/issues/40756 に直ったよーというのがコメントされるはずです。06:29:22
@takoyaki-nyokki:gitter.imtakoyaki-nyokkiご丁寧にありがとうございます! 確認させていただきます!06:30:01
@askdkc:gitter.imaskdkcなんだか3日前にもこちらで報告あがってましたね。 https://github.com/groonga/groonga/issues/1607#issuecomment-201566450606:30:13
@ktou:matrix.orgSutou Kouhei私、このApache Arrowの開発にも関わっているんですが、これインフラ側の問題で開発している側はなんにもできないんですよねぇ。06:30:31
@ktou:matrix.orgSutou Kouheiそうっすね。 同じ話です。06:30:46
@askdkc:gitter.imaskdkc

every year when its JFrog plan expires.

毎年同じことやってるのだろうか。。。

06:30:59
@takoyaki-nyokki:gitter.imtakoyaki-nyokki確認してみたら、以前私がこの問題に直面したのも去年の3月でした。 意識しておいた方がいいのかもしれません。06:36:12
@ktou:matrix.orgSutou Kouhei今回の対策で今後は起こらなくなるといいんですけどねぇ。。。06:36:49
@askdkc:gitter.imaskdkcドメイン更新し忘れて奪われちゃうなんて事件がGoogleでもあったけど、割とこの手のトラブル心配になる。06:37:56

Show newer messages


Back to Room ListRoom Version: 6