「米アラスカ最北端の都市の気候観測データ、平均値との差が大きすぎてシステムがエラーと判定」記事へのコメント

エラーのしきい値

[Sukoya (33993)]

エラーデータを弾く処理はともかく、エラーが頻発していたら警告を出すような処理があっても良さそうなもんでありますが。
でも、後からデータを確認出来たということは、エラーデータとして横に避けておいて、手で確認する前提なんですかね。

国内だと、エラー判定したら大胆にそのままログを消し去るあるいは短期間しか残さないシステムが多くて、恐ろしい……

Re:エラーのしきい値

[st1100 (45287)]

気象観測データは、異常があっても捨てないでしょう。
通常は、観測値に対して品質管理Quality Controlを行い、品質管理情報を付加する。
このQC情報をもとに統計情報としての採否を決める。
QCの作業のコストを下げれば、統計に上がらない、日の目を見ないデータが増えることでしょう。

気象庁のQC
気象観測統計の解説 [jma.go.jp]→
「気象観測統計指針」抜粋 第３章　品質と均質性 [jma.go.jp]

文献
測候時報第82巻 2015、観測データの品質管理強化と高度化の現状－気温に関する自動品質管理機能，対話的品質管理ツール，観測所運用記録情報の業務への利用－ [jma.go.jp]
日本では、リアルタイムで自動の管理AQCを施し、その後準リアルタイムで人による対話的な品質管理HQCで洗い出す。
いずれのQCでも、閾値、検出ロジック、現業ツール等の検討課題は多く、PDCAで改善に取り組んでいる。
この報告では、航空機のブラスト、野焼き等のノイズの検出事例が示されている。

Re:エラーのしきい値

[Sukoya (33993)]

やはり、しっかりエラーも考慮した上で、人員を割いてデータ検証しているんでありますねぇ。

Re:エラーのしきい値

[nnnhhh (47970)]

ロギング用のシステムでエラーと判定したらそこをわざわざ消す作りにしてるもんなんて見たことないですが、
どこで使われてるんですかね。

Re:エラーのしきい値

[Sukoya (33993)]

そういうのは修正されている(した)から、今は問題ないと思いたいものでありますが。

ハード構成がチープすぎて、データ退避用の領域不足対策で、
片っ端から不要データとして消していた……りする様な会社はありませんね。うん。

Re:エラーのしきい値

[nnnhhh (47970)]

まぁどこにあるかは言えませんよねぇ

ほとんどが正常値でたまにエラー、ならこうぱっと考えると
正常値用のストレージにそのまま残してフラグ立てるだけジャン的な気がするんですが
わざわざ別に領域とってエラー値だけ移したうえでそこが狭くて困るなんてことがあるんですねぇ
なんかいろんな背景があるんだろうな

Re:エラーのしきい値

[hjmhjm (39921)]

想定外の値はフィルタアウトしたり、サマリの対象外にしたり、いろいろ考えられそうだけどな。
サーバーログなんかだといちいちそんなことはしないと思うけど、サンプル値収集系なら不思議でもないような。