petals 是一个运行极大型(100B以上)语言模型的去中心化平台,通过与互联网上的人联合计算资源,运行推理或微调大型语言模型,如 BLOOM-176B。不需要拥有高端 GPU。
justheuristic 902bf6400a [temp workaround] create alibi | 2 年之前 | |
---|---|---|
cli | 2 年之前 | |
src | 2 年之前 | |
.gitignore | 2 年之前 | |
README.md | 2 年之前 |
Early dev prototype for decentralized bloom. Not for public eyes yet.
if you.read(this) and you.name not in '@timdettmers @borzunov @mryab @greenfatguy'.split():
you.go("away")
conda create -y --name bloom-demo python=3.8.12 pip
conda activate bloom-demo
conda install -y -c conda-forge cudatoolkit-dev==11.3.1 cudatoolkit==11.3.1 cudnn==8.2.1.32
pip install torch==1.11.0+cu113 torchvision==0.12.0+cu113 -f https://download.pytorch.org/whl/torch_stable.html
pip install bitsandbytes-cuda113==0.26.0
pip install https://github.com/learning-at-home/hivemind/archive/dac8940c324dd612d89c773b51a53e4a04c59064.zip
pip install https://github.com/huggingface/transformers/archive/224bde91caff4ccfd12277ab5e9bf97c61e22ee9.zip