DynaGen
这是一种旨在最大限度地提高任何 PC 的运行时资源利用率和推理吞吐量的优化方法。它首先会收集 LLM 在推理的每个阶段所消耗的时间，然后根据性能分析结果在实际推理前提前规划内存管理和计算顺序，从而按照优化的计划高效地运行 LLM。
需要澄清的是，优化策略的设计基于以下假设：（1）主机到设备（HtoD）和设备到主机（DtoH）的 I/O 操作不会阻塞计算，以及（2）任何所需的权重和 GPU batch 的 KV 缓存必须提前预取到 GPU。这些假设可能与现实有所偏差，但足以让我们获得次优的性能提升效果。
实验结果
Web Calculator v1
Web Calculator v1是一个基于Go和Vue3.js构建的简单的网络计算器，目前支持标准模式和键盘输入模式，支持错误检测、结果记录及(批量)操作、9位小数运算、幂运算、自适应布局和简单的自动修正。
技术栈
屏幕截图
在线演示(跳转链接)
以善易善（已过期）
以善易善是使用了腾讯自研的类Vue风格的WePY小程序框架，和有道团队推出的Vant-Weapp轻量微信小程序UI组件库开发的微信小程序。小程序有98%以上的工作量由汤镇玮独自完成，目前距离预期完成度仅有“成就”功能尚未完成。在小程序开发过程中，我在CTB活动官网和本博客同步更新开发日志，记录开发难点痛点，以作未来之经验教训。由于以善易善为我开发的第一款微信小程序，目前尚有许多优化空间未臻至完美，这些都将在未来的开发中补全。
屏幕截图
