LogoThread Easy
  • 探索
  • 撰写 Thread
LogoThread Easy

您的一体化 Twitter 线程助手

© 2025 Thread Easy All Rights Reserved.

探索

最新在前,按卡片方式浏览线程

开启时会模糊预览图,关闭后正常显示

0% fiat on-ramp incoming

0% fiat on-ramp incoming

building @YumeBank - chime backed by stablecoins / prev @magiceden @snapchat @square / built @bruh_bears @web3zer0 / react native OSS

avatar for json
json
Fri Oct 31 23:56:15
好了,之前的EXO可以扔了!来看新的支持跨机器部署的大模型框架——parallax!

这个框架在显卡节点使用SGLang推理,然后Mac上使用MLX,最后跨机使用Lattica缝合。

配置参数其实很简单,启动的时候指定--max-batch-size  ,然后指定 start-layer 0 和 end-layer 14 就能简单分片了。所以这个分片形式是流水线并行,真希望是张量并行,然而无。张量并行对于异构系统支持还是太复杂了。

另外他们还做了一些优化,比如针对 Mac 的动态 KV 缓存管理与连续批处理。

最大的好处其实还是能在单机显存不够,但是总体显存够的情况把你要测试的大模型拉起来。或者把大量低端卡组装到一起干活。

地址:

好了,之前的EXO可以扔了!来看新的支持跨机器部署的大模型框架——parallax! 这个框架在显卡节点使用SGLang推理,然后Mac上使用MLX,最后跨机使用Lattica缝合。 配置参数其实很简单,启动的时候指定--max-batch-size ,然后指定 start-layer 0 和 end-layer 14 就能简单分片了。所以这个分片形式是流水线并行,真希望是张量并行,然而无。张量并行对于异构系统支持还是太复杂了。 另外他们还做了一些优化,比如针对 Mac 的动态 KV 缓存管理与连续批处理。 最大的好处其实还是能在单机显存不够,但是总体显存够的情况把你要测试的大模型拉起来。或者把大量低端卡组装到一起干活。 地址:

A coder, road bike rider, server fortune teller, electronic waste collector, co-founder of KCORES, ex-director at IllaSoft, KingsoftOffice, Juejin.

avatar for karminski-牙医
karminski-牙医
Fri Oct 31 23:56:15
Is dlss jepa it kinda just predicts the next frame right

Is dlss jepa it kinda just predicts the next frame right

Cofounder and Head of Post Training @NousResearch, prev @StabilityAI Github: https://t.co/LZwHTUFwPq HuggingFace: https://t.co/sN2FFU8PVE

avatar for Teknium (e/λ)
Teknium (e/λ)
Fri Oct 31 23:55:02
Do you think AI has made you:

Do you think AI has made you:

Applying the security mindset to everything @PalisadeAI

avatar for Jeffrey Ladish
Jeffrey Ladish
Fri Oct 31 23:54:17
Fire Department monitoring the situation.

Fire Department monitoring the situation.

Co-Founder, American Dynamism. General Partner @a16z. Catholic. Mother. American. 🇺🇸 🚀💪

avatar for Katherine Boyle
Katherine Boyle
Fri Oct 31 23:52:07
RT @mattyp: This week in Replit

RT @mattyp: This week in Replit

ceo @replit. civilizationist

avatar for Amjad Masad
Amjad Masad
Fri Oct 31 23:50:47
  • Previous
  • 1
  • More pages
  • 1521
  • 1522
  • 1523
  • More pages
  • 2131
  • Next