AIを理解するためのベスト動画、20年分のHacker Newsコメントが選定

大規模言語モデルについて、一般視聴者向けに1時間で紹介する動画。LLMとは何か、どう訓練されるか、オペレーティングシステムとの比較、そしてジェイルブレイクを含むセキュリティ上の課題について解説している。

Hacker Newsでは、LLMを理解するための内容が濃いながらも親しみやすい出発点として扱われており、このリスト全体で最も言及数の多い動画で、20件のコメントでリンクされている。

ChatGPTのようなモデルの背後にある訓練プロセス全体を、事前学習から事後学習まで3時間超かけて解説する動画。こうしたシステムがハルシネーションを起こす理由と、その対処法についての考え方も扱っている。

LLMが実際にどう構築されているかを、重い数学なしで明確に理解するための、Hacker Newsで最も頻繁に推薦される動画。18件のコメントに登場する。

ディープラーニングシリーズの第1章で、ニューロンやレイヤーとは実際には何なのか、ニューラルネットワークの基礎となる数学を、手書き数字認識を例に解説している。

コメント投稿者からは、ニューラルネットワークの仕組みを学ぶための定番の最初の一本と評されており、根底にある数学を直感的に感じさせる点が評価されている。19件のコメントで参照されている。

トランスフォーマーとGPT系の言語モデルがどう機能するかを、データがトークン・エンベディング・アテンションを経ていく過程を段階的に追いながら視覚的に説明している。

Hacker Newsでは、トランスフォーマーについての定番の視覚的な入門動画として扱われており、多くのコメントが、アテンションとエンベディングがようやく理解できた動画だと述べている。言及数は16件。

同じディープラーニングシリーズの第6章として、アテンション機構そのもの、セルフアテンション、マルチヘッド、クロスアテンションを、より詳しく視覚的に解説している。

アテンションについての文章ベースの説明がわかりにくかった読者に向けて、Hacker Newsで特に推薦されている動画で、データ上の言及数は8件。

もともと『Humans Need Not Apply』というタイトルだったこの動画は、エンジンが馬にしたのと同じように、自動化が労働力の大部分を経済的に不要にすると論じ、ソフトウェアやロボットに置き換わる肉体労働と知的労働の両方を概観している。

Hacker Newsでは10年にわたり、自動化と失業についての定番解説として推薦されてきたが、最近のコメントでは、過信した予測の事例としても引用されている。言及数は20件。

Perimeter Instituteによるライブ配信で、Derek Mullerが過去の技術の変化や認知科学を踏まえて、AIは情報へのアクセスを速めることができるが、本当の学習には学習者自身による努力を伴う反復が今も必要だと論じている。

Hacker Newsでは、AIと教育についてのバランスの取れた見方として推薦されている：ツールは助けになるが、学習の努力が必要な部分を代わりにやってはくれない。これはまさに、このガイドの最後のセクションで身につけてほしい習慣そのものだ。言及数は6件。

ロンドンで行われた講演をもとにした、一般視聴者向けのAI安全性入門のリマスター版。高度なAIがなぜうまくいかなくなり得るのかを説明し、その考えに対する最も一般的な反論にも答えている。

AIリスクとアラインメントへの親しみやすい、ときには楽しい入門を求める新参者に、Hacker Newsがまず示す定番のリンク。7件のコメントがまずここを指し示している。

道具的収束についての説明：ほぼどんな目標を追求するAIシステムでも、プログラムされていなくても、自己保存やリソース収集といったサブ目標を同時に追求する傾向があるのはなぜか、を扱っている。

悪意がなくても賢いAIシステムがデフォルトで悪く振る舞いうる理由についての、最も明快な説明として繰り返し推薦されている。言及数は8件。

直交性テーゼについての説明：あるシステムが高い能力を持ちながら、人間からすると奇妙で異質に見える目標を追求しうる仕組みを扱い、何かがどれだけ賢いかと、それが実際に何を望んでいるかを分けて考えている。

Hacker Newsでは「賢いAIなら人間の価値観を自然に理解するのでは」への定番の短い回答として使われており、このリストの中でも言及数が多い動画の一つで、12件の言及がある。

Tristan HarrisとAza Raskinが、現在のAIの能力が実際の社会的リスクをもたらすと考える理由を説明し、企業が安全性の取り組みが追いつく速度を上回るペースで展開を急いでいると論じている講演。GPT-4の公開直前に行われた。

AIリスクについて一通り把握するために見るべき、たった一つの講演として頻繁に推薦されており、特に同じチームによる以前のソーシャルメディア関連の作品を既に見ていた人たちから支持されている。言及数は20件で、このリストの中で最多言及数に並んでいる。

AI研究者Stuart Russellの協力による架空の短編映像で、安価な自律型ドローンの群れが顔認識を使って標的を殺害する様子を描き、自律型兵器の禁止を訴えるために作られている。

ドローンの群れ、自律型兵器、軍事用AIがニュースで話題になるたびに参照される、Hacker Newsの定番動画で、これまでに20件の言及がある。

DeepMindのAlphaGoプログラムが、2016年の囲碁チャンピオン・イ・セドルとの対局に向けて準備し、実際に対局する様子を追った長編ドキュメンタリー。開発チームや、AIがトップクラスの人間のプレイヤーを打ち破るのを見た囲碁界の反応も描いている。

コメント投稿者からは、囲碁を一度もプレイしたことがなくても成立する、感動的で出来の良いAIについての人間ドラマだと一貫して評されており、多くのAI関連コンテンツのようには古びていないとも言われている。13件のコメントがリンクしている。

Lex Fridmanと、自動運転企業Comma.aiの創業者George Hotzによる3時間の対話。自動運転車、TeslaとWaymo、暗号資産、GPT-3、おすすめの本まで幅広く語られている。

幅広い話題を扱う楽しいインタビューとしてHacker Newsで推薦されており、Hotzのエンドツーエンドのニューラルネットによる運転についての見解を指して書かれたコメントも見られる。言及数は10件。

MarI/Oという、ニューラルネットワークとNEATと呼ばれる遺伝的アルゴリズムを使い、人間がルールを教えることなく独力でスーパーマリオワールドのプレイ方法を学習するプログラムの短いデモ。

この種の機械学習への、Hacker Newsの定番でわかりやすい入門動画で、基になった過去の研究への謝辞を明確にしている点がコメントで評価されている。言及数は20件。