トレンドの定義

「すべてのモデルは間違っているが、間違っていることを知っている一部のモデルは有用である」- Balaji Lakshminarayanan（※訳註18）（NeurIPS 2020）

【画像】東京高専に爆破予告、急遽登校が中止に ⇒ 「スイスのサーバーから送信で学生がやった可能性が高い」・・・情報がネットで拡散される

事件・事故

【画像】東京高専に爆破予告、急遽登校が中止に ⇒ 「スイスのサーバーから送信で学生がやった可能性が高い」

SNSでの反応をまとめました

【事故】北海道江別市向ヶ丘で事故 80代男性が70代男性の運転する軽乗用車にはねられ重傷 事故原因は？・・・現地の情報がtwitterで拡散される

80代男性が70代男性の運転する軽乗用車にはねられ重傷 北海道江別市（HBCニュース） - Yahoo!ニュース 16日、北海道江別市で、道路を横断していた80代の男性が軽乗用車にはねられ、足の骨を折る重傷を負いました。 16.

【飛び降り】東京都台東区 蔵前駅付近のビルで飛び降りか 緊急車両集結で現地騒然・・・情報がtwitterで拡散される

【道路交通情報】東名高速 横浜町田IC付近で車両火災発生 渋滞状況は？・・・現地の情報がtwitterで拡散される

【事故】東京 板橋区徳丸で事故が発生 建物に車が突っ込む 現地騒然・・・現地の情報がtwitterで拡散される

東大受験生殺傷事件 刺された男子高校生は重傷 現地騒然、衝撃走る・・・情報がtwitterで拡散される

東武東上線 森林公園〜小川町駅間で運転を見合わせ、電車遅延 落雷による車両故障か・・・現地の情報がネットで拡散される

【事件・事故】神奈川県小田原市 米神漁港 カヤックで出港した、西村良太郎さんが行方不明 カヤックのみ見つかる・・・現地の情報がtwitterで拡散される

【坂井市 不祥事】小学教諭の男（３２）を逮捕、量販店で女性のスカートの下にスマホ差し入れ動画撮影 どこの小学校？ 顔、名前は？ 余罪はある？？・・・情報がtwitterで拡散される

小学教諭、量販店で女性のスカートの下にスマホ差し入れ動画撮影（読売新聞オンライン） - Yahoo!ニュース 女性のスカート内を盗撮したとして、福井県警福井署などは１日、坂井市立小教諭の男（３２）（福井市）を県迷惑防止条例違反（ひわい.

2021年のコンピュータビジョンにおける5つのトレンド

（※訳註6）キャプションから画像を生成するモデルで代表的なものは、OpenAIが発表したDALL·Eである（DALL·Eについては、AINOW翻訳記事『DALL·E を5分以内で説明してみた』を参照）。GitHubレポジトリで示されているモデルは、OpenAIが発表した画像認識モデルCLIPとSiren（Sinusoidal representation networksの略称）を使って開発された画像生成モデルdeep-dazeのこと。同モデルを使うと、「緑の丘にかかる霧（mist over green hills）」というキャプションに対して以下のような画像が出力される。DALL·Eがリアルな画像なのに対して、deep-dazeは幻想的な画像を生成する。

モデル実装までの行動計画

トレンドの定義
• 以上のような製品を研究し、実行してみる。このステップは省略しても構わない。
• エンド・ツー・エンドのプロジェクトを開発する。
• 生成系ディープラーニングで使われている要素を改良してみると、もしかしたら何か新しい発見があるかも知れない。

トレンドIII：自己教師あり学習

教師あり学習の限界

• パフォーマンスを上げるためには、膨大な量のラベル付きデータが必要。
• ラベル付きのデータは準備にコストがかかるうえに、偏りが生じる可能性もある。
• このような大規模なデータの場合、トレーニングの時間は非常に長くなる。

ラベルなしデータでの学習

• 同じ画像の異なるビュー（見え方）に対してモデルが不変であることを求める。
• 直感的に言えば、このモデルは2つの画像（例えば猫と山）を視覚的に異なるものにするための内容を学習する。
• ラベルのないデータセットを用意した方が、はるかに安上がりだ！
• コンピュータビジョンの分野では、SEER (self-supervised model ) は、オブジェクト検出やセマンティックセグメンテーションにおいて、教師あり学習のモデルよりも優れた性能を発揮する（※訳註8）。

（※訳註8）Facebookは2021年3月4日、自己教師あり学習モデルSEERを発表した。同モデルの学習データには、10億枚のラベルのないInstagram画像が使われた。同モデルはImageNetの分類で84.2%を達成し、発表当時には自己教師あり学習モデルでトップの性能を実現した。

自己教師あり学習の難点

• 自己教師あり学習は、画像分類のような実世界のタスクでうまく機能するためには、非常に大きなデータ領域が必要。
• 対照的な自己教師あり学習は、やはり計算量が多い。

トレンドIV：TransformerとSelf-Attentionの活用

トレンドとなる理由

• Attentionは、対となるエンティティの相互作用を定量化することで、ネットワークがデータ内の重要なコンテクストを揃えることを学習する。
• Attetionというアイデアは、コンピュータビジョンでは様々な形で存在する。GCブロック、SEネットワークなど。しかし、その成果はわずかなものであった。
• Self-Attentionブロックは、Transformerの土台となる。

Transformerを活用する長所と短所

• 事前的帰納性（※訳註10）が低いため、さまざまな学習タスクのための一般的な計算プリミティブと捉えられる。
• パラメータの効率化により、CNNと同等の性能を得られる。

（※訳註10）この記事における事前的帰納性（inductive priors）とは、AIモデルが学習に先立って有しているネットワーク構造を意味している。例えば、CNNは画像認識に特化するために事前に2次元的構造を有している。対してVision TransformerのようなTransformerを活用する画像認識モデルは、事前に2次元的構造を有していない。

• TransformerはCNNのように明確な事前的帰納性を持たないため、大規模データの組成が事前学習の際に最も重要となる。

Vision Transformerの探求

トレンドV：堅牢なビジョンモデル

ビジョンモデルが直面する問題

• ディープモデルは、入力データのわずかな変化にも脆い。
• （摂動に起因する誤認のせいで）歩行者が誰もいない道路と予測された場合を想像してみよう！

• ディープモデルは、高周波領域（※訳註13）に容易に固定されてしまうため、ブラー、コントラスト、ズームなどの一般的な破損に対して脆い。

3.分布外（Out of Distribution）データ

1. ドメインシフトしてもラベルはそのまま – モデルには、学習内容に応じて一貫した性能を発揮することが望まれる。
トレンドの定義
2. 例外的なデータポイント – 例外的データポイントに直面した時には、モデルには（例外的なデータに応じて）低信頼度な予測が望まれる。

堅牢にするには

• 敵対的訓練：ビザンチンフォールトトレランス性に類似しており、基本的には絶対的な最悪の条件に直面したときに、システムが自分自身を処理できるように準備する。

（※訳註14）ビザンチンフォールトトレランス性（Byzantine Fault トレンドの定義 Tolerance：略して「BFT」
）とは、分散コンピューティングにおいて生じる故障を許容するアルゴリズムのこと。代表的なBFTの実用例として、ブロックチェーンがある。
引用された論文「敵対的な事例が画像認識を改善する」では、学習データにあえて敵対的なデータを加えることで画像認識モデルの性能を向上できることが論じられている。この論文がBFTに似ていると言われるのは、BFTでは故障という敵対的な現象を許容するからである。

• 整合的正則化 – ノイズの多い入力に対してモデルが整合性を持つようにしたい。
• 整合的正則化を実装した事例：RandAugment、Noisy Student Training、FixMatch

• RandAugment：モデルやデータセットのサイズに合わせて正則化の強度を調整。
• Noisy Student Training：知識蒸留実行時にノイズを加えることで、生徒モデルの汎化を向上させる。
• FixMatch：一貫性のある正則化（consistency regularization）と疑似ラベル付けを活用して半教師あり学習（Semi-supervised learning）を実行。

• 例外的なデータポイントをすぐに検出。 （※訳註16）

（※訳註16）以上に引用された論文「ODINの一般化：分布外データからの学習なしで分布外画像を検出する」では分布外データを検出する新手法として、信頼性スコアの分解と入力時の前処理方法の変更を提案したうえで、これらの新手法を使うと分布外データの検出能力が向上することを報告している。

「すべてのモデルは間違っているが、間違っていることを知っている一部のモデルは有用である」- Balaji Lakshminarayanan（※訳註18）（NeurIPS 2020）

（※訳註17）George Boxはイギリス出身の統計学者で、アメリカに渡って活躍した。「20世紀における偉大な統計学者の一人」と呼ばれている。彼の残した名言で「すべてのモデルは間違っているが、いくつかは役に立つ」というものがある。

【画像】東京高専に爆破予告、急遽登校が中止に ⇒ 「スイスのサーバーから送信で学生がやった可能性が高い」・・・情報がネットで拡散される

事件・事故

【画像】東京高専に爆破予告、急遽登校が中止に ⇒ 「スイスのサーバーから送信で学生がやった可能性が高い」

SNSでの反応をまとめました

【動画】 トラック児童5人死傷事故 「昼食の時に酒を飲んだ」と梅沢洋容疑者が供述 常習の可能性・・・情報がtwitterで拡散される

【動画】 トラック児童5人死傷事故 「昼食の時に酒を飲んだ」と梅沢洋容疑者が供述 常習の可能性 ２８日、千葉県八街市で、下校中の小学生の列にトラックが突っ込み児童５人が死傷した事故で、逮捕された男が「昼食の時に酒を飲んだ」など.

【動画】台東区・蔵前駅近くで飛び降り騒動で騒然 ⇒ ツイッターでエグい予告がされていた・・・現地の情報がtwitterで拡散される

【火事】岡山市北区谷万成 自宅アパートで知人の胸を刺して殺害しようとした疑い 末続忠之容疑者を逮捕 どこのアパート？・・・現地の情報がtwitterで拡散される

知人の胸を刺して殺害しようとした疑い 69歳の男を逮捕 岡山市（KSB瀬戸内海放送） - Yahoo!ニュース 21日、岡山市で知人の胸を刺して殺害しようとしたとして69歳の男が逮捕されました。刺された男性は病院で治療を受けています。.

京急本線 馬堀海岸～浦賀駅間で信号関係点検 運転見合わせ、電車遅延・・・現地の情報がtwitterで拡散される

【殺人未遂】熊本市北区の住宅で事件 隣人トラブルか ナタで切り付け 谷 勝容疑者（６９）を逮捕・・・現地の情報がtwitterで拡散される

【速報】熊本市北区で隣人トラブルか トレンドの定義 ナタで切り付け男を殺人未遂で現行犯逮捕（TKUテレビ熊本） - Yahoo!ニュース ４日朝、熊本市北区の住宅で、この家に住む男性を近くに住む男がナタで頭などを切り付け殺そうとしたとして、殺人未遂の.

【事故】さいたま市大宮区で事故 救急車に小学女児はねられ頭蓋骨を骨折する重傷 どこの小学校？ トレンドの定義 事故原因は？・・・現地の情報がtwitterで拡散される

【動画・水難事故】東京都奥多摩町氷川・多摩川で9歳男児が流され行方不明 母親らと６人で川遊び 現地騒然・・・情報がtwitterで拡散される

【通り魔事件】広島県呉市宝町「ゆめタウン呉」で通り魔 女性が刺され死亡 犯人逃走中 現地騒然・・・情報がtwitterで拡散される

【事故】大阪市住之江区 大阪メトロ・コスモスクエア駅付近 USJのラッピングバスが保育園に突っ込む どこの保育園？ ケガ人は？・・・現地の情報がtwitterで拡散される

「ゆっくり茶番劇」問題の柚葉「警察が来て事情聴取を受けた」と明かす ⇒ 「全ての案件で被害届を出します」・・・情報がネットで拡散される

「ゆっくり茶番劇」問題の柚葉「警察が来て事情聴取を受けた」と明かす ⇒ 「全ての案件で被害届を出します」 ・柚葉 / Yuzuha【祝！ゆっくり茶番劇 トレンドの定義 商標登録】 @Yuzuha_YouTube ✅ご報告 本日、東京の私の家に警.

長期変化傾向（トレンド）の解説

ひとつの季節の中でも暑い日や寒い日があるように、年によっても暑い年や寒い年があります。このような年ごとの違いは、地球温暖化やヒートアイランド現象といった人為的な影響の有無にかかわらず起こりうる自然の変動です。自然変動には、地球の気候がもともと持つ変動する性質（年ごとの違いのほか、エルニーニョ・ラニーニャ現象といった数年の周期を持つものや、太平洋十年規模振動などの十年から数十年の周期を持つものが知られています）によるものと、火山活動や太陽活動の変化のような気候以外の自然の影響によるものがあります。観測で得られる各年の値は、このような様々な周期の自然変動と人為起源の気候変動を含んだものとなります。
このため、観測結果を用いて人為起源の気候変動を監視するためには、観測値から様々な周期の自然変動の成分をなるべく除去する必要がありますが、地球温暖化やヒートアイランド現象は、それらの監視に影響を及ぼすような自然変動よりもゆっくり変化しているので、観測結果から短い周期の変動を取り除き数十年から百年を超える長期的な変化傾向を算出することで、人為起源の気候変動の指標として用いることができます。
これらを図1の各線に大まかにあてはめると、この期間の平均的な人為起源の気候変動が直線（赤）、これに数年から数十年の自然変動を加えたものが太線（青）、更に年ごとの自然変動を加えたものが細線（黒）とみなすことができます（図2）。

図2 様々な周期の自然変動と人為起源の気候変動の重ね合わせ
上段左は図1の直線（赤）、上段中は数年から数十年の自然変動の例、上段右及び下段左は図1の太線（青）、下段中は年ごとの自然変動の例、下段右は図1の細線（黒）を示します。観測で得られた各年の値（下段右）は、この期間の平均的な人為起源の気候変動（上段左）に、様々な周期の自然変動（上段中、下段中）を重ね合わせたものとみなすことができます。

長期変化傾向の算出方法とその評価について

長期変化傾向の変化の割合は、前述のように年々の値の回帰直線の傾きとして算出します。具体的には最小二乗法という方法を用いて、年ごとの値と、ある直線上におけるその年の値との差（図3の緑矢印）を2乗し、これを期間にわたって合計した値が最小となるように、直線の傾きと縦軸との交点を定めます。これが回帰直線であり、その傾きが変化の割合となります。
そして、この変化が統計的に意味のあるものかどうかを確認します（有意検定）。これは、自然変動により毎年バラバラな値となる観測値は、人為起源の気候変動などによる「現れやすい値の変化」がなかったとしても、たまたま大きい値や小さい値が続いたりすることで、「偶然」に長期変化傾向があるように見えることがあるため、その偶然性を評価する必要があるからです。気象庁ではこの偶然に現れる確率を計算し、これが10%以下（信頼水準が90%以上）の場合に統計的に意味のある変化として、上昇している・下降しているなどの表現を用いるとともに、経年変化を示したグラフに回帰直線を赤色で示しています。
また、一部の刊行物やホームページでは、5%以下（信頼水準が95%以上）や1%以下（信頼水準が99%以上）についても偶然性の評価を行っており、表1のように記述を区別してより詳細に示しています。

図3 最小二乗法で用いる各値
細線（黒）が各年の値、直線（黒）が仮の直線、両矢印（緑）が年ごとの差を示します。両矢印を2乗したものを全期間にわたって合計したものが最小になるように直線を決めます。

【画像】東京高専に爆破予告、急遽登校が中止に ⇒ トレンドの定義 「スイスのサーバーから送信で学生がやった可能性が高い」・・・情報がネットで拡散される

事件・事故

【画像】東京高専に爆破予告、急遽登校が中止に ⇒ 「スイスのサーバーから送信で学生がやった可能性が高い」

SNSでの反応をまとめました

【道路交通情報】関越道 トレンドの定義 鶴ヶ島IC付近で事故が発生 渋滞状況は？・・・現地の情報がtwitterで拡散される

JR京都駅 リュックにスマホ仕込みスカート下へ 京都市の短大生、菅武尊容疑者（20）を現行犯逮捕 顔は？余罪は？？・・・現地の情報がtwitterで拡散される

リュックにスマホ仕込みスカート下へ・・・２０歳短大生男現行犯逮捕（関西テレビ） - Yahoo!ニュース トレンドの定義 JR京都駅のエスカレーターで20歳の男が女性のスカートの中を盗撮しようと、スマートフォンのカメラを差し向けた現行犯で逮捕されまし.

【道路交通情報】新名神高速 信楽IC付近で事故が発生 渋滞状況は？・・・現地の情報がtwitterで拡散される

【画像】TBS社員がウクライナ避難女性に暴行疑惑、正体を特定 ⇒ 局は否定も隠滅工作 誰なのか？・・・情報がネットで拡散される

【画像】TBS社員がウクライナ避難女性に暴行疑惑、正体を特定 ⇒ 局は否定も隠滅工作 誰なのか？ ＴＢＳ男性社員が取材を通して知り合ったウクライナ避難民女性に不適切な言動を取ったという話が出回り、ＳＮＳを中心に騒然となっている。「ネッ.

【画像】 元警視庁捜査1課さん、山梨・道志村で今まで見つからなかったのは捜索の見落しかと質問され 「そういうことだよ」・・・情報がtwitterで拡散される

【画像】 元警視庁捜査1課さん、山梨・道志村で今まで見つからなかったのは捜索の見落しかと質問され 「そういうことだよ」 キャンプ場近くの沢で行われたきょうの捜索では新たな遺留品は見つからず、警察はあすも捜索を続ける。 3.

湘南新宿ライン 宇都宮線 土呂駅で発生した線路内立入の影響で電車遅延・・・現地の情報がネットで拡散される

【爆破予告】熊本市役所と県内８つの大学に爆破予告 ２月１０日に爆弾を設置 衝撃走る・・・情報がtwitterで拡散される

【運行情報】東武東上線 下板橋～大山駅間で踏切内点検を行った影響で電車遅延「何があったのか？」・・・現地の情報がネットで拡散される

【火事】千葉県旭市の火災 寝たきりの大橋芳男さんと息子の芳人さんが死亡死亡 放火し殺害か 妻の大橋とし子容疑者を逮捕 長年の介護疲れから犯行か 衝撃走る・・・現地の情報がtwitterで拡散される

寝たきりの父子死亡 放火し殺害か 妻逮捕（日本テレビ系（NNN）） - Yahoo!ニュース １７日、千葉県旭市の住宅で起きた火災で、この家に住む大橋芳男さんと息子の芳人さんが死亡しました。警察は、この家に火をつけて２人を殺害した.

【ひき逃げ】愛媛・西条市東町の市道交差点で事故 ひき逃げ事件 中学生が大ケガ どこの中学校？・・・現地の情報がtwitterで拡散される

西条市で昨夜ひき逃げ事件 中学生が大けが【愛媛】（南海放送） - Yahoo!ニュース ６日夕方、西条市で、部活動中の中学生が乗用車にはねられ、足の指を骨折する大けがをしました。生徒をはねた車は現場から立ち去っていて、警察が、ひき逃げ.

関連記事