Chen Mengzhuo's Site
Info 介绍
Initializing search
    • Home
      • Make LLM a Testing Expert
      • Testing the limits
      • CultureLLM
        • MiniTorch Info
        • MiniTorch Setup
          • Assignment 作业
          • Contributting 提交要领
          • Propery Testing 属性测试
          • Modules 模块
          • Functional 功能函数
          • Visualization 可视化工具
          • Assignment 作业
          • Derivative 求导
          • Scalar 标量
          • Autodifferentiation 自动求导
          • BackPropagate 反向传播
        • Info 介绍
        • Preperation 环境准备
        • Data 数据准备
        • Tokenizer 训练
        • Pretrain 预训练
      • MkDocs
        • Jump Server
    • About

    Info 介绍

    本文档记录了从 0 复现 中文对话0.2B小模型 ChatLM-Chinese-0.2B 的全过程

    使用的硬件为 8*A800 单机八卡的配置,系统为 Ubuntu 20.04.5 LTS

    Made with Material for MkDocs