AI-движок для создания LLM-приложений
Cortex — AI-движок для создания LLM-приложений (поддерживает llama.cpp и TensorRT-LLM)
Cortex — это open-source AI-движок для создания LLM-приложений.
Можно импортировать в виде библиотеки Cortex или использовать как сервер.
В настоящее время Cortex поддерживает:
— Llama.cpp
— TensorRT-LLM
GitHub
Доки
Источник