[Bug]:无论使用哪种重排序后端,未安装 vllm 时都无法导入 RankLLMRerank
除非安装了 vllm,否则无法导入 RankLLMRerank。即使所使用的后端与 vLLM 毫无关系,也依然如此。原因:llama_index.postprocessor.rankllm_rerank.base 在模块级别从 rank_llm.rerank 导入了 PromptMode 和 Reranker:在当前版本 0.25.7 中,从 rank_ll… 导入任何内容
run-llama/llama_index
继续探索
同方向条目
[功能]:跟踪 Whisper 功能请求
此问题用于跟踪重复出现的 Whisper 请求以及相关的正在进行中的支持工作的链接(如果有)。当某个功能请求没有关联的 PR 时,如果您愿意帮忙,可以在此处认领该工作! - 相关问题:https://github.com/vllm-project/vllm/issues/19556、https://github.com/vl…
foreach_map 增强
这些增强是为了在使用 foreach_map 时提供更好的用户体验,这在多个地方被建议,但最近一次是在 https://github.com/pytorch/pytorch/issues/158371#issuecomment-3088757068 中。这些增强应允许更便捷的编译器优先的自定义优化器实现。抄送 @chauhang @penguinwu @voznesenskym @EikanW…
NVIDIA Kumo Tabular 为表格预测开辟准确率与效率的新前沿
向表格基础模型的转变 表格数据是企业机器学习的支柱。客户记录、交易、传感器日志、理赔和订单都存在于表格中,从中预测流失、违约、需求或价格是工业界最常见的机器学习任务之一。二十年来,…
tokenizers v1:编码、解码与扩展性的实测
随着模型变得更快、工作负载不断扩展,这种平衡开始发生转变。在超大规模数据集上训练、同时服务大量并发请求,或反复处理长输入,都会对tokenizer施加足够大的压力,以至于使模型得不到数据供给。