LLM

スポンサーリンク
プログラミング

IPEX-LLMを使ってDockerとIntel GPUでローカルLLMを高速に動かしたかったけど諦めて妥協したメモ

この記事はほとんどチラ裏と同じです Intel製CPU/GPUで高速にLLMを動かせるipex-llmというのがある。今回はこれをDockerで動かしていきたい(諦めたのでできず) →ただ単にIntelのドキュメントをなぞる記事になりました...
スポンサーリンク