Physical AI Lab // 第 3.6 話 // 小テスト
最前線を読む:数字の確かめ方
毎日のレーダーで、論文の鍵になる数字を計算し直す
01
ある報告は、ファインチューニングで「約 96% の改善」と言っています。確かめてみると、評価に使ったエピソードの一部が学習データにも入っていました。最も妥当な判断は?
重なりはわずかなので影響は無視でき、96% はそのまま使える
著者のねつ造なので、報告全体が信用できず、使わない
持ち込み可の試験と同じで高めに出る。厳密に分けた数字を見る
GPU を増やして学習し直せば、96% は安定して再現できる
02
同じ「成功率 90%」が、メーカーのプレスリリース、arXiv のプレプリント、テック系メディアの記事に出ています。レーダーの証拠レベルに従うと、正しい読み方は?
三か所とも90%と書いているので互いに裏づけられ、確定とみなせる
メディアの記事がいちばん新しいので、M の数字が最も信用できる
O・R・M で重みが違う。一次情報に戻って物差しを確かめる
レベルは品質の点数なので、O の数字は必ず R より正確だ
03
「このデータセットは 500 エピソード」という前提で学習スクリプトを書いたら、途中でインデックス範囲外のエラーになりました。まず何をすべきですか?
元のメタデータで、実際のエピソード数を数える
バッチサイズを下げてメモリの負担を減らし、やり直す
サンプルが足りなくならないよう、もっと大きいデータセットに替える
エラーの出たエピソードを飛ばし、500 になるまで埋めて続ける
04
ある報告で、二つの手法の順位はほんのわずかしか違わず、数字は最初の 5 つの取り置きエピソードだけの平均です。確認メモにはどう書きますか?
「手法 A は手法 B より有意に優れている」と書く
サンプルが小さく、わずかな差はノイズの範囲なので、順位の結論は出さない
取り置きが 5 つしかないので、結果全体を無効とする
学習データから 20 エピソードを取って計算し直せば、サンプルは足りる
05
「動作の誤差が約九割減った」という数字を確かめるとき、記録として最もふさわしいのはどれですか?
数字「約 90%」と、論文のタイトルとリンク
論文のおもな貢献を自分の言葉でまとめた要約
要旨にある「性能を大きく向上させた」という一文と、リンク
数字と、直接支える原文の一文、条件・レベル・リンク
答えを見る