LEARN
知識ゼロから完全に理解するLLM
全100回の動画シリーズに連動した学習ページです。動画を見たあとに、同じ仕組みを自分の手で動かし、自分の言葉を書きこんで確かめられます。
第1部全体像をつかむ
第2部文字をトークンにする
- #9トークン化とは?文字・単語・サブワードの違い公開中
- #10BPE(バイトペアエンコーディング)入門①:ペアをマージする公開中
- #11BPE入門②:トークナイザーの語彙を学習する公開中
- #12トークナイザーのエンコードとデコード:文章をトークンIDに準備中
- #13日本語のトークン数はなぜ多い?LLMと言語ごとのトークン化公開中
- #14特殊トークンとチャットテンプレート:LLMが会話を読む形式準備中
- #15コンテキストウィンドウとは?LLMが一度に読める長さ準備中
- #16LLMが文字数や計算を間違える理由:トークン化の落とし穴準備中
第3部意味を数の並びにする
- #17ベクトルとは?LLMが言葉を表す数の並び準備中
- #18内積とコサイン類似度:LLMが意味の近さを測る方法準備中
- #19one-hotベクトルとその限界:埋め込みが必要な理由準備中
- #20埋め込み(Embedding)とは?トークン埋め込み表の仕組み準備中
- #21単語埋め込みの意味空間:似た言葉が近くに集まる理由準備中
- #22単語ベクトルの足し算:王−男+女=女王(word2vec)準備中
- #23行列とは?LLMの計算を支える線形変換準備中
- #24高次元ベクトル空間:LLMの埋め込みが何百次元もある理由準備中
- #25LLMは語順をどう知るのか:位置情報の問題準備中
第4部学習する仕組み
- #26ニューロンとは?ニューラルネットワークの重みとバイアス準備中
- #27活性化関数(ReLU・GELU):ニューラルネットに非線形を入れる準備中
- #28多層パーセプトロン(MLP):層を重ねるニューラルネットワーク準備中
- #29ソフトマックス関数:ロジットを確率に変える準備中
- #30損失関数と交差エントロピー:LLMの間違いを測る準備中
- #31勾配とは?ニューラルネットワーク学習の方向準備中
- #32勾配降下法を手で計算する:機械学習の基本アルゴリズム準備中
- #33誤差逆伝播法(バックプロパゲーション)①:連鎖律準備中
- #34誤差逆伝播法②:計算グラフと自動微分準備中
- #35ミニバッチと学習率:ニューラルネット学習の歩幅準備中
- #36過学習と汎化:機械学習モデルが丸暗記する問題準備中
- #37ニューラル言語モデルを作る:埋め込み+MLPで次トークン予測準備中
第5部アテンション
- #38アテンションとは?LLMが文脈を読む仕組み準備中
- #39Query・Key・Value:アテンション機構の3つの役割準備中
- #40アテンションを手で計算する:Scaled Dot-Product Attention準備中
- #41アテンションのスケーリング:√dで割る理由とソフトマックス準備中
- #42因果マスク(Causal Mask):GPTが未来のトークンを見ない仕組み準備中
- #43自己アテンション(Self-Attention)を行列で計算する準備中
- #44マルチヘッドアテンション:複数の視点で文脈を読む準備中
- #45アテンションヘッドは何を見ているか:LLMの注意の可視化準備中
- #46位置エンコーディング(Positional Encoding):Transformerがsinとcosで位置を表す準備中
- #47RoPE(回転位置埋め込み):最新LLMの位置表現準備中
- #48アテンションの計算量:長い文脈でLLMが重くなる理由準備中
- #49アテンションだけの言語モデルを作る:1層Transformer準備中
第6部Transformer を組み立てる
- #50残差接続(Residual Connection):深いTransformerが学習できる理由準備中
- #51レイヤー正規化(Layer Normalization):Transformerを安定させる準備中
- #52フィードフォワード層(MLP層):Transformerのもう半分準備中
- #53Transformerブロックを組み立てる:アテンション+MLP+残差準備中
- #54Transformerの層を積む:LLMの深さは何を生むか準備中
- #55残差ストリーム:Transformerの中を流れる情報準備中
- #56ロジットと出力層(Unembedding):ベクトルを次のトークンに戻す準備中
- #57LLMのパラメータ数を数える:GPTの重みはどこにあるか準備中
- #58GPTの仕組みを一周する:入力から次トークン予測まで準備中
第7部学習させる
- #59LLMの学習データ:自己教師あり学習と次トークン予測準備中
- #60損失曲線(Loss Curve)の読み方:LLMの学習を診断する準備中
- #61最適化アルゴリズム:SGDからAdam・AdamWへ(LLMの学習)準備中
- #62学習率スケジュールとウォームアップ:LLM学習の定番準備中
- #63重みの初期化:ニューラルネットの勾配消失と勾配爆発を防ぐ準備中
- #64ドロップアウトと重み減衰:ニューラルネットの正則化準備中
- #65ブラウザでミニGPTを学習する:Transformerをゼロから訓練準備中
- #66LLMは学習中に何を覚えるのか:訓練の進み方準備中
- #67スケーリング則:LLMはなぜ大きいほど賢いのか準備中
- #68パープレキシティ(Perplexity):言語モデルの性能を測る準備中
第8部文章を生成する
- #69貪欲法(Greedy Decoding):LLMのテキスト生成の基本準備中
- #70Temperature(温度)とは?LLMのランダムさを調整する準備中
- #71top-kとtop-p(Nucleus Sampling):LLMのサンプリング手法準備中
- #72Repetition Penalty:LLMの繰り返しを防ぐ準備中
- #73ビームサーチ(Beam Search):先読みするLLMのテキスト生成準備中
- #74KVキャッシュ:LLMの推論を高速化する仕組み準備中
- #75EOSトークンとmax tokens:LLMはいつ生成をやめるか準備中
- #76構造化出力とJSONモード:LLMの出力を文法で制約する準備中
第9部予測機からアシスタントへ
- #77事前学習(Pre-training)とは?LLMの基盤モデルができるまで準備中
- #78ファインチューニングとは?LLMを追加学習する準備中
- #79指示チューニング:LLMがチャットAIになる仕組み準備中
- #80RLHF(人間のフィードバックによる強化学習)とLLMのアライメント準備中
- #81LoRAとは?少ないパラメータでLLMをファインチューニング準備中
- #82システムプロンプトと文脈内学習(In-Context Learning):LLMの指示準備中
- #83few-shotプロンプト:プロンプトエンジニアリングの仕組み準備中
- #84Chain of Thoughtと推論モデル:LLMが考えてから答える準備中
第10部中身をのぞく
- #85ロジットレンズ:LLMの途中の層を読む(機械論的解釈可能性)準備中
- #86アテンションの可視化はどこまで信じられるか:LLMの解釈可能性準備中
- #87重ね合わせ(Superposition)と特徴:LLMとスパースオートエンコーダ準備中
- #88LLMの回路(Circuits):機械論的解釈可能性で計算をたどる準備中
- #89ハルシネーション(幻覚)はなぜ起きるのか:LLMの仕組みから準備中
- #90LLMの記憶と汎化:Grokkingで見る丸暗記と理解準備中
第11部速く・小さく・実用へ
- #91量子化(Quantization)とは?LLMを小さく軽くする準備中
- #92知識蒸留(Distillation):小型言語モデル(SLM)の作り方準備中
- #93ローカルLLMをCPUで動かす:llama.cppとGGUFの仕組み準備中
- #94RAG(検索拡張生成)の仕組み:LLMに知識を渡す準備中
- #95AIエージェントとツール呼び出し(Function Calling):LLMが道具を使う準備中
- #96マルチモーダルLLM:画像と音声をトークンにする準備中
- #97ロングコンテキスト:LLMが長い文章を扱う工夫準備中
第12部総まとめ
- #98LLMの評価とベンチマーク:性能の測り方と読み方準備中
- #99LLMの限界とAI安全性:仕組みからわかる注意点準備中
- #100ゼロからGPTを作る総まとめ:LLMの全工程を自分の手で準備中