+课程资料            2.6 MB
| GLUVariantsImproveTransformer.pdf             108.0 KB
| inference.py             8.1 KB
| LLaMA.pdf             731.0 KB
| model.py             10.2 KB
| params.json             102 Byte
| RoFormerEnhancedTransformerwithRotaryPositionEmbedding.pdf             585.0 KB
| RootMeanSquareLayerNormalization.pdf             537.0 KB
| Self-AttentionwithRelativePositionRepresentations.pdf             230.0 KB
| test_top_p.ipynb             9.4 KB
| tokenizer.model             488.0 KB
课时01 01_LLaMA概述_ev.mp4            24.6 MB
课时02 02_训练LLaMA使用的数据集_ev.mp4            40.6 MB
课时03 03_LLaMA大模型整体架构_ev.mp4            39.1 MB
课时04 04_InputEmbedding模块_ev.mp4            26.7 MB
课时05 05_为什么要去进行归一化_ev.mp4            26.7 MB
课时06 06_深入理解归一化对于大模型的重要性_ev.mp4            22.5 MB
课时07 07_BatchNorm_ev.mp4            11.1 MB
课时08 08_LayerNorm_ev.mp4            18.8 MB
课时09 09_RMSNorm_ev.mp4            28.2 MB
课时10 10_绝对位置编码_ev.mp4            15.7 MB
课时11 11_相对位置编码_ev.mp4            31.8 MB
课时12 12_RoPE_ev.mp4            43.8 MB
课时13 13_SwiGLU_ev.mp4            34.6 MB
课时14 14_语言模型的本质与MaskedSelfAttention_ev.mp4            22.5 MB
课时15 15_KVcache是如何计算提高效率的_ev.mp4            18.3 MB
课时16 16_MQA和GQA_ev.mp4            26.0 MB
课时17 17_代码实战之ModelArgs_ev.mp4            24.0 MB
课时18 18_代码实战之构建Transformer_ev.mp4            49.9 MB
课时19 19_代码实战之提前计算RoPE需要的mθ_ev.mp4            43.0 MB
课时20 20_代码实战之将x按照2个值一组进行分组_ev.mp4            27.9 MB
课时21 21_代码实战之对token的向量应用旋转矩阵_ev.mp4            37.8 MB
课时22 22_代码实战之RMSNorm_ev.mp4            23.3 MB
课时23 23_代码实战之EncoderBlock_ev.mp4            23.0 MB
课时24 24_代码实战之SelfAttention类的初始化_ev.mp4            27.7 MB
课时25 25_代码实战之SelfAttention中应用RoPE和对KV进行缓存_ev.mp4            25.9 MB
课时26 26_代码实战之应用公式计算SelfAttention_ev.mp4            35.7 MB
课时27 27_代码实战之为了实现GQA需要对KV进行拷贝_ev.mp4            25.5 MB
课时28 28_代码实战之计算FFN中隐藏层节点数量_ev.mp4            25.2 MB
课时29 29_代码实战之FFN中三个矩阵以及SwishGLU的运算实现_ev.mp4            15.0 MB
课时30 30_代码实战之加载checkpoint文件_ev.mp4            36.5 MB
课时31 31_代码实战之加载分词器、model模型及模型参数_ev.mp4            35.6 MB
课时32 32_代码实战之测试模型加载_ev.mp4            20.2 MB
课时33 33_代码实战之模型推理预测_ev.mp4            22.1 MB
课时34 34_代码实战之准备模型推理需要的输入tokens张量_ev.mp4            57.2 MB
课时35 35_代码实战之模型生成与解码得到response文本_ev.mp4            49.6 MB
课时36 36_代码实战之运行结果展示_ev.mp4            22.8 MB
课时37 37_什么是推理的策略_ev.mp4            11.3 MB
课时38 38_GreedySearch_ev.mp4            9.1 MB
课时39 39_BeamSearch_ev.mp4            16.4 MB
课时40 40_Temperature_ev.mp4            13.7 MB
课时41 41_RandomSampling_ev.mp4            4.4 MB
课时42 42_基于TopK的随机采样_ev.mp4            9.2 MB
课时43 43_基于TopP的随机采样_ev.mp4            14.5 MB
课时44 44_代码实战之增加TopP采样策略_ev.mp4            44.0 MB
课时45 45_代码实战之测试TopP采样策略_ev.mp4            41.1 MB