logを取ってなかったので雑にでも残すようにしようと思いましてfluent-bitを入れた。 割と何も考えずに入れてもそれっぽくログ取れるようになったのでハッピーになった。
コマンド
helm repo add fluent https://fluent.github.io/helm-charts
helm upgrade --install -f ../values/fluentbit/values.yaml \
fluent-bit fluent/fluent-bit \
--namespace fluentbit --create-namespace
values/fluentbit/values.yml
config:
## https://docs.fluentbit.io/manual/pipeline/outputs
outputs: |
[OUTPUT]
Name es
Match kube.*
Host elasticsearch.infra.svc.cluster.local
Logstash_Format On
Retry_Limit False
Replace_Dots On
[OUTPUT]
Name es
Match host.*
Host elasticsearch.infra.svc.cluster.local
Logstash_Format On
Logstash_Prefix node
Retry_Limit False
Replace_Dots On
fluentbit側がなんか「 [ warn] [engine] failed to flush chunk 」というエラーが出てて上手くes側にログ出力できていなかったので以下のオプションを追加した
Replace_Dots On
追加してもまだ出たり出なかったりしていて、おかしかったので調べてたらes側に古いフォーマットのログが残っててなんか上手くいってなかったらしい
一度インデックスを削除して再度fluentbitを起動したらいい感じになった。
参考: https://github.com/fluent/fluent-bit/issues/5145#issuecomment-1362508414