代码
注册 登录
简体中文
简体中文 English
openoker
/
chatgpt_academic
1
0
收藏 0
文件 工单管理 0 Wiki
分支: master
分支列表 标签列表
binary-husky 074b3c9828 explicitly declare default value 1 周之前
..
embed_models 8b91d2ac0a add milvus vector store 1 月之前
README.md 480516380d re-format code to with pre-commit 9 月之前
bridge_all.py b8e8457a01 关于o1系列模型无法正常请求的修复，多模型轮询KeyError: 'finish_reason'的修复 (#1992) 1 周之前
bridge_chatglm.py c3140ce344 merge frontier branch (#1620) 7 月之前
bridge_chatglm3.py dd66ca26f7 Frontier (#1958) 1 月之前
bridge_chatglmft.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_chatglmonnx.py c3140ce344 merge frontier branch (#1620) 7 月之前
bridge_chatgpt.py 074b3c9828 explicitly declare default value 1 周之前
bridge_chatgpt_vision.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_claude.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_cohere.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_deepseekcoder.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_google_gemini.py f9384e4e5f Add Support for Gemini 1.5 Pro & Gemini 1.5 Flash (#1926) 2 月之前
bridge_internlm.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_jittorllms_llama.py bdd46c5dd1 Version 3.74: Merge latest updates on dev branch (frontier) (#1621) 6 月之前
bridge_jittorllms_pangualpha.py bdd46c5dd1 Version 3.74: Merge latest updates on dev branch (frontier) (#1621) 6 月之前
bridge_jittorllms_rwkv.py bdd46c5dd1 Version 3.74: Merge latest updates on dev branch (frontier) (#1621) 6 月之前
bridge_llama2.py c3140ce344 merge frontier branch (#1620) 7 月之前
bridge_moonshot.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_moss.py bdd46c5dd1 Version 3.74: Merge latest updates on dev branch (frontier) (#1621) 6 月之前
bridge_newbingfree.py 7ab379688e format source code 9 月之前
bridge_ollama.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_openrouter.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_qianfan.py bff87ada92 添加对ERNIE-Speed和ERNIE-Lite模型的支持 (#1821) 5 月之前
bridge_qwen.py 0c6c357e9c revise qwen 3 月之前
bridge_qwen_local.py c3140ce344 merge frontier branch (#1620) 7 月之前
bridge_skylark2.py 1b3c331d01 dos2unix 5 月之前
bridge_spark.py bdd46c5dd1 Version 3.74: Merge latest updates on dev branch (frontier) (#1621) 6 月之前
bridge_stackclaude.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_taichu.py 2262a4d80a taichu model fix 4 月之前
bridge_tgui.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
bridge_zhipu.py 5fcd02506c version 3.75 (#1702) 5 月之前
chatglmoonx.py c3140ce344 merge frontier branch (#1620) 7 月之前
com_google.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
com_qwenapi.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
com_skylark2api.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
com_sparkapi.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
com_taichu.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
com_zhipuglm.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
edge_gpt_free.py 7ab379688e format source code 9 月之前
key_manager.py c3140ce344 merge frontier branch (#1620) 7 月之前
local_llm_class.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
oai_std_model_template.py a01ca93362 Merge Latest Frontier (#1991) 2 周之前
queued_pipe.py 09857ea455 解除本地模型的若干并发问题 11 月之前
requirements_chatglm.txt 480516380d re-format code to with pre-commit 9 月之前
requirements_chatglm_onnx.txt 8c7569b689 修复protobuf版本错误 10 月之前
requirements_jittorllms.txt 480516380d re-format code to with pre-commit 9 月之前
requirements_moss.txt 480516380d re-format code to with pre-commit 9 月之前
requirements_newbing.txt cf085565a7 rename folder 1 年之前
requirements_qwen.txt 480516380d re-format code to with pre-commit 9 月之前
requirements_qwen_local.txt 480516380d re-format code to with pre-commit 9 月之前
requirements_slackclaude.txt 480516380d re-format code to with pre-commit 9 月之前

README.md

P.S. 如果您按照以下步骤成功接入了新的大模型，欢迎发Pull Requests（如果您在自己接入新模型的过程中遇到困难，欢迎加README底部QQ群联系群主）

如何接入其他本地大语言模型

  1. 复制request_llms/bridge_llama2.py，重命名为你喜欢的名字

  2. 修改load_model_and_tokenizer方法，加载你的模型和分词器（去该模型官网找demo，复制粘贴即可）

  3. 修改llm_stream_generator方法，定义推理模型（去该模型官网找demo，复制粘贴即可）

  4. 命令行测试

    • 修改tests/test_llms.py（聪慧如您，只需要看一眼该文件就明白怎么修改了）
    • 运行python tests/test_llms.py

  5. 测试通过后，在request_llms/bridge_all.py中做最后的修改，把你的模型完全接入到框架中（聪慧如您，只需要看一眼该文件就明白怎么修改了）

  6. 修改LLM_MODEL配置，然后运行python main.py，测试最后的效果

如何接入其他在线大语言模型

  1. 复制request_llms/bridge_zhipu.py，重命名为你喜欢的名字

  2. 修改predict_no_ui_long_connection

  3. 修改predict

  4. 命令行测试

    • 修改tests/test_llms.py（聪慧如您，只需要看一眼该文件就明白怎么修改了）
    • 运行python tests/test_llms.py

  5. 测试通过后，在request_llms/bridge_all.py中做最后的修改，把你的模型完全接入到框架中（聪慧如您，只需要看一眼该文件就明白怎么修改了）

  6. 修改LLM_MODEL配置，然后运行python main.py，测试最后的效果