LogoThread Easy
  • 探索
  • 撰写 Thread
LogoThread Easy

您的一体化 Twitter 线程助手

© 2025 Thread Easy All Rights Reserved.

探索

最新在前,按卡片方式浏览线程

开启时会模糊预览图,关闭后正常显示

diffusion 大语言模型也可以自己训练了!

现在自己训练或者微调 transformer 模型已经不稀奇了,那么想不想训练属于自己的基于 diffusion 的大语言模型?

来看新框架 dLLM, 这个框架能用来训练 diffusion 大语言模型,并且支持 支持 LoRA、DeepSpeed 和 FSDP 等功能。另外还内置了评估功能,这样可以评估训练的效果。

另外它还内置了个炫酷的命令行chat界面哈哈,可以看到 diffusion 大语言模型的输出过程,很有意思。

不过考虑到我之前给大家介绍过,目前 diffusion 大语言模型性能距离 transformer 模型仍然有大概2年的差距,估计只能作为玩具玩一玩。

框架地址:

diffusion 大语言模型也可以自己训练了! 现在自己训练或者微调 transformer 模型已经不稀奇了,那么想不想训练属于自己的基于 diffusion 的大语言模型? 来看新框架 dLLM, 这个框架能用来训练 diffusion 大语言模型,并且支持 支持 LoRA、DeepSpeed 和 FSDP 等功能。另外还内置了评估功能,这样可以评估训练的效果。 另外它还内置了个炫酷的命令行chat界面哈哈,可以看到 diffusion 大语言模型的输出过程,很有意思。 不过考虑到我之前给大家介绍过,目前 diffusion 大语言模型性能距离 transformer 模型仍然有大概2年的差距,估计只能作为玩具玩一玩。 框架地址:

A coder, road bike rider, server fortune teller, electronic waste collector, co-founder of KCORES, ex-director at IllaSoft, KingsoftOffice, Juejin.

avatar for karminski-牙医
karminski-牙医
Mon Nov 10 07:40:13
在工作的状态下,经常打开多个应用窗口,想要在同个桌面全部显示,反复调整窗口大小和位置颇为麻烦。

在 GitHub 上发现 MacsyZones 这款开源的桌面应用,让我们能在 macOS 系统上轻松管理窗口布局。

只需拖动窗口就能自动吸附到预设位置,支持自定义屏幕布局区域,不用每次都手动调整窗口大小。

GitHub:https://t.co/B4l9QNHdOs

主要功能:

- 自定义创建窗口布局区域,想怎么分就怎么分;
- 拖动窗口时自动吸附到预设区域,省去手动调整麻烦;
- 支持多个显示器独立布局配置;
- 可保存多套布局方案,不同工作场景快速切换。

通过 Homebrew 一行命令即可安装,适合经常需要同时打开多个应用,想要提升工作效率的朋友使用。

在工作的状态下,经常打开多个应用窗口,想要在同个桌面全部显示,反复调整窗口大小和位置颇为麻烦。 在 GitHub 上发现 MacsyZones 这款开源的桌面应用,让我们能在 macOS 系统上轻松管理窗口布局。 只需拖动窗口就能自动吸附到预设位置,支持自定义屏幕布局区域,不用每次都手动调整窗口大小。 GitHub:https://t.co/B4l9QNHdOs 主要功能: - 自定义创建窗口布局区域,想怎么分就怎么分; - 拖动窗口时自动吸附到预设区域,省去手动调整麻烦; - 支持多个显示器独立布局配置; - 可保存多套布局方案,不同工作场景快速切换。 通过 Homebrew 一行命令即可安装,适合经常需要同时打开多个应用,想要提升工作效率的朋友使用。

💡 挖掘开源的价值 🧑🏻‍💻 坚持分享 GitHub 上高质量、有趣、实用的教程、AI工具、前沿 AI 技术 🧐 A list cool, interesting projects of GitHub. ✏️ 公众号:GitHubDaily

avatar for GitHubDaily
GitHubDaily
Mon Nov 10 07:30:00
由一位自托管爱好者制作的 SelfHostList,献给所有 HomeLab 玩家!👀 让我看看还有哪些没玩过的项目。

🧩 https://t.co/qGjHwB9gyJ

由一位自托管爱好者制作的 SelfHostList,献给所有 HomeLab 玩家!👀 让我看看还有哪些没玩过的项目。 🧩 https://t.co/qGjHwB9gyJ

🧠在家居士 | 🥦素食者 | 🏃🏻马拉松爱好者 | 💰省钱小能手 | 搭🪜技术资深学者 | 👨‍💻科技宅 | 🆕更新狂 | 🆅 六边型战五渣

avatar for Geek
Geek
Mon Nov 10 07:24:02
Ideally the latent Z would provide those two bits and the decoder would be fully deterministic.

Modulating properly the amount of information Z / the encoder captures is complicated, and if we overshoot and the encoder provides three bits, we lose the joint structure.

2/2

Ideally the latent Z would provide those two bits and the decoder would be fully deterministic. Modulating properly the amount of information Z / the encoder captures is complicated, and if we overshoot and the encoder provides three bits, we lose the joint structure. 2/2

Research Scientist @meta (FAIR), Prof. @Unige_en, co-founder @nc_shape. I like reality.

avatar for François Fleuret
François Fleuret
Mon Nov 10 07:19:57
A simple example to illustrate the problem with the VAE is to consider a signal composed of three boolean random variables A, B, C with A and B indep of proba 1/2 and C = A xor B.

The three variables together have an entropy of two bits.

1/2

A simple example to illustrate the problem with the VAE is to consider a signal composed of three boolean random variables A, B, C with A and B indep of proba 1/2 and C = A xor B. The three variables together have an entropy of two bits. 1/2

Ideally the latent Z would provide those two bits and the decoder would be fully deterministic. Modulating properly the amount of information Z / the encoder captures is complicated, and if we overshoot and the encoder provides three bits, we lose the joint structure. 2/2

avatar for François Fleuret
François Fleuret
Mon Nov 10 07:19:56
RT @arvidkahl: Voice input has been a massive part of enjoying coding more. And writing.

RT @arvidkahl: Voice input has been a massive part of enjoying coding more. And writing.

Building https://t.co/od97B0HVrk and https://t.co/666FnyVVE0 in Public. Raising all the boats with kindness. 🎙️ https://t.co/6w69DZmi8H · ✍️ https://t.co/lpnor5rsTW

avatar for Arvid Kahl
Arvid Kahl
Mon Nov 10 07:19:15
  • Previous
  • 1
  • More pages
  • 301
  • 302
  • 303
  • More pages
  • 2137
  • Next