Ollama官方宣布推出其最新版本Ollama v0.8，为本地运行大型语言模型（LLM）带来了突破性升级。新版本引入了流式传输响应和工具调用功能，支持实时网络搜索等交互场景，显著提升了本地AI的实用性和灵活性。AIbase为您整理了Ollama v0.8的核心亮点及其对AI生态的影响。
流式传输响应:实时交互更流畅
Ollama v0.8最大的亮点之一是新增了流式传输响应功能。用户在使用AI模型进行对话或任务处理时，可实时接收逐步生成的响应，而无需等待完整结果输出。这一功能显著提升了交互体验，尤其在处理复杂查询或长文本生成时，流式传输让用户能够即时查看AI的思考过程，减少等待时间。
例如，在网络搜索场景中，Ollama v0.8可以通过流式传输实时呈现搜索结果的生成过程，使用户能够快速获取最新信息。这一特性不仅提升了效率，还为教育、研究和内容创作等场景提供了更动态的交互方式。
工具调用:本地AI连接外部世界
Ollama v0.8引入的工具调用功能，使本地运行的语言模型能够通过API与外部工具和数据源交互。例如，模型可以通过调用网络搜索API获取实时数据，或连接到其他服务（如数据库或第三方工具）以完成更复杂的任务。这一功能打破了传统本地AI的局限，使其从静态响应升级为动态、实时的智能助手。
官方展示了一个网络搜索示例，Ollama v0.8能够根据用户查询快速调用搜索工具，并在流式传输中逐步呈现结果。尽管当前工具调用不支持语法约束（可能导致高温度设置下模型输出不稳定），但这一功能的加入已为本地AI的扩展性开辟了新可能。
性能优化:更高效的模型运行
Ollama v0.8在性能优化方面也取得了显著进展。新版本修复了Gemma3、Mistral Small3.1等模型运行时的内存泄漏问题，并优化了模型加载速度，尤其在网络支持的文件系统（如Google Cloud Storage FUSE）上表现更佳。此外，新增的滑动窗口注意力优化进一步提升了Gemma3的长上下文推理速度和内存分配效率。
Ollama v0.8还改进了模型导入流程，通过自动选择适合的模板简化了从Safetensors导入Gemma3等模型的操作。同时，新版本支持更灵活的并发请求处理，允许用户通过环境变量（如OLLAMA_MAX_LOADED_MODELS和OLLAMA_NUM_PARALLEL）调整模型加载和并行请求数量，适应不同硬件配置的需求。
开源生态:赋能开发者与社区
作为一款开源框架，Ollama v0.8继续秉承开放共享的理念。官方已在GitHub上发布了完整代码和详细文档，支持包括Llama3.3、DeepSeek-R1、Phi-4、Gemma3和Mistral Small3.1在内的多种主流模型。开发者可以通过简单的命令（如ollama run deepseek-r1:1.5b）在本地运行这些模型，无需依赖云端API，兼顾了隐私性和成本效益。
此外，Ollama v0.8新增了对AMD显卡的预览支持（适用于Windows和Linux），并通过与OpenAI Chat Completions API的初始兼容性，允许开发者使用现有OpenAI工具与本地模型无缝对接。这种开放性和兼容性进一步降低了开发门槛，吸引了更多开发者加入Ollama生态。
行业影响:本地AI的崛起
Ollama v0.8的发布进一步巩固了其在本地AI领域的领先地位。通过流式传输和工具调用功能，Ollama不仅提升了本地模型的交互性，还使其能够与云端模型竞争，尤其在隐私敏感或离线场景中表现突出。业内人士认为，Ollama的持续创新将推动本地AI的普及，特别是在教育、科研和企业级应用中。
然而，部分反馈指出，Ollama v0.8的工具调用在高温度设置下可能出现不稳定问题，且OpenAI兼容端点暂不支持流式传输参数。这些问题表明，技术仍在快速迭代中，未来版本有望进一步优化。
结语:Ollama v0.8开启本地AI新可能
Ollama v0.8以流式传输、工具调用和性能优化的全新特性，为本地运行大型语言模型注入了新的活力。从实时网络搜索到高效模型运行，这款开源框架正在重塑AI的开发与应用方式。
项目地址：https://github.com/ollama/ollama/releases/tag/v0.8.0