技术分享

2025-01-10itmax阅读(321)评论(0)

vLLM 是一款专为大语言模型推理加速而设计的框架，实现了 KV 缓存内存几乎零浪费，解决了内存管理瓶颈问题。 更多 vLLM 中文文档及教程可访问 →https://vllm.hyper.ai/ vLLM 是一个 Python 库，包含预...

2025-01-09news阅读(232)评论(0)

“ 大家好，我是码哥，《Redis 高手心法》作者，本章节选自《Java 面试高手心法 58 讲》专栏。 随着单体应用的拆分，我们面临的首要问题就是采用哪种方式实现服务间的调用，像之前单体应用可能直接在配置或数据库保存调用方的域名 IP 信...

2025-01-09mumupudding阅读(153)评论(0)

开始测试 首先测试 requests 测试代码 import requests # 发起 HTTP GET 请求 url = "http://xxx.xxx.xxx.xxx:8086" response = reques...

2025-01-09itmax阅读(308)评论(0)

介绍 我们在模型开源模型平台下载模型的时候会经常看着这些参数 FP32、FP16、TF32、BF16 等参数。这个其实是指的GGUF模型的量化级别。量化级别决定于模型根据质量和准确性定义的值 （ggml_type）。 在 GGUF 规范中，...

2025-01-08product阅读(262)评论(0)

参考：Nginx Proxy Manager 反代本地服务502错误 我的需求如下： 我有一个需求： 我有一台云服务器，ip 地址为 114.55.xxx.xxx 然后在这个机器上部署了一个 python 服务 http://114.55....

2025-01-07itmax阅读(222)评论(0)

了解到 Ghostty 是通过这篇文章： 最强开源终端模拟器Ghostty正式发布1.0：原生UI体验、采用Zig编写、速度飞快、支持Mac和Linux、支持GPU加速 然后下载用了一下 https://ghostty.org/downlo...

2025-01-06leo阅读(188)评论(0)

1. 前言 大家好，我是若川，欢迎关注我的公众号：若川视野。我倾力持续组织了 3 年多每周大家一起学习 200 行左右的源码共读活动，感兴趣的可以点此扫码加我微信 ruochuan02 参与。另外，想学源码，极力推荐关注我写的专栏《学习源码...

2025-01-06itmax阅读(161)评论(0)

导读 自 2002 年推出以来，乐天积分系统的流量稳步增长，每天发放的积分从数百万到数千万不等。近年来，不仅仅是展示积分，提升用户体验的重要性也日益增加。 随着数据量的不断增加，挑战在于提供灵活的功能的同时保持成本低廉。本文根据 Rakut...

2025-01-03itmax阅读(188)评论(0)

前端请求 vue Axios({ method: 'get', url: 'http://IP地址:端口/previewFileStream', params: { filePath: '/home/NSY1312-02-06-00-00-...

2025-01-03product阅读(202)评论(0)

提到稚晖君，毫无疑问，在科技圈一直是顶流的存在。 不久前，我们刚写文章聊了聊稚晖君在动态里正式官宣智元开启通用机器人商用量产的事情。 这才过去十来天，最近，稚晖君在动态里又来了一波大更新，并且这次又双叒叕带来了一项硬干货，那就是官宣了： 正...