README_ja_JP.md

Xorbits Inference: モデルサービングを簡単に 🤖

English | 中文介绍 | 日本語

Xorbits Inference(Xinference) は、言語、音声認識、マルチモーダルモデルのために 設計された強力で汎用性の高いライブラリです。 Xorbits Inference を使えば、たった 1 つのコマンドで、 あなたや最先端のビルトインモデルを簡単にデプロイし、提供することができます。 Xorbits Inference は、 研究者、開発者、データサイエンティストを問わず、最先端の AI モデルの可能性を最大限に引き出すことができます。

👉 Slack コミュニティにご参加ください！

主な特徴

🌟 モデルサービングを簡単に: 大規模な言語、音声認識、マルチモーダルモデルの提供プロセスを簡素化します。 1つのコマンドで、実験用と本番用のモデルをセットアップしてデプロイできます。

⚡️ 最先端モデル: コマンド1つで最先端のビルトインモデルを実験。 Inference は、最先端のオープンソースモデルへのアクセスを提供します！

🖥 異機種ハードウェアの利用: ggml でハードウェアリソースを最大限に活用しましょう。 Xorbits Inference は、GPU や CPU を含む異種ハードウェアをインテリジェントに利用し、モデル推論タスクを高速化します。

⚙️ 柔軟な API とインターフェース: OpenAI互換のRESTful API（Function Callingを含む）、RPC、コマンドライン、Web UIなど、 多様なインターフェースを提供し、モデルの管理と相互作用を容易にします。

🌐 配布デプロイメント: Excel の分散展開シナリオでは、複数のデバイスやマシンにモデルの推論をシームレスに分散させることができます。

🔌 サードパーティライブラリとの組み込み統合: Xorbits Inference は、LangChain や LlamaIndex のような人気のあるサードパーティライブラリと シームレスに統合されています。

なぜ Xinference を選ぶのか

機能	Xinference	FastChat	OpenLLM	RayLLM
OpenAI 互換の RESTful API	✅	✅	✅	✅
vLLM 統合	✅	✅	✅	✅
その他の推論エンジン（GGML、TensorRT）	✅	❌	✅	✅
その他のプラットフォーム（CPU、Metal）	✅	✅	❌	❌
マルチノードクラスター展開	✅	❌	❌	✅
画像モデル（テキストから画像へ）	✅	✅	❌	❌
テキスト埋め込みモデル	✅	❌	❌	❌
マルチモーダルモデル	✅	❌	❌	❌
より多くのOpenAI機能（関数呼び出し）	✅	❌	❌	❌

入門ガイド

始める前に、GitHubで私たちにスターを付けてください。そうすると、新しいリリースの通知を即座に受け取ることができます！

• ドキュメント
• 組み込みモデル
• カスタムモデル
• デプロイメントドキュメント
• 例とチュートリアル

Jupyter Notebook

Xinferenceを体験する最軽量な方法は、私たちのGoogle Colab上のJupyterノートブックを試すことです]。

Docker

Nvidia GPUユーザーは、Xinference Dockerイメージを使用してXinferenceサーバーを開始することができます。インストールコマンドを実行する前に、システムにDockerとCUDAが設定されていることを確認してください。

クイックスタート

以下のようにpipを使用してXinferenceをインストールします。（他のオプションについては、インストールページを参照してください。）

pip install "xinference[all]"

ローカルインスタンスのXinferenceを開始するには、次のコマンドを実行します：

$ xinference-local

Xinferenceが実行されると、Web UI、cURL、コマンドライン、またはXinferenceのPythonクライアントを介して試すことができます。詳細はドキュメントをご覧ください。

関与する

プラットフォーム	目的
Github イシュー	バグ報告と機能リクエストの提出。
Slack	他のXorbitsユーザーとの協力。
Twitter	新機能に関する最新情報の入手。