DynaGen
这是一种旨在最大限度地提高任何 PC 的运行时资源利用率和推理吞吐量的优化方法。它首先会收集 LLM 在推理的每个阶段所消耗的时间，然后根据性能分析结果在实际推理前提前规划内存管理和计算顺序，从而按照优化的计划高效地运行 LLM。
需要澄清的是，优化策略的设计基于以下假设：（1）主机到设备（HtoD）和设备到主机（DtoH）的 I/O 操作不会阻塞计算，以及（2）任何所需的权重和 GPU batch 的 KV 缓存必须提前预取到 GPU。这些假设可能与现实有所偏差，但足以让我们获得次优的性能提升效果。
实验结果
Web Calculator v1
Web Calculator v1是一个基于Go和Vue3.js构建的简单的网络计算器，目前支持标准模式和键盘输入模式，支持错误检测、结果记录及(批量)操作、9位小数运算、幂运算、自适应布局和简单的自动修正。
技术栈
屏幕截图
在线演示(跳转链接)
以善易善（已过期）
以善易善是使用了腾讯自研的类Vue风格的WePY小程序框架，和有道团队推出的Vant-Weapp轻量微信小程序UI组件库开发的微信小程序。小程序有98%以上的工作量由汤镇玮独自完成，目前距离预期完成度仅有“成就”功能尚未完成。在小程序开发过程中，我在CTB活动官网和本博客同步更新开发日志，记录开发难点痛点，以作未来之经验教训。由于以善易善为我开发的第一款微信小程序，目前尚有许多优化空间未臻至完美，这些都将在未来的开发中补全。
屏幕截图
Building the Consensus on Human Rights (EN)
The Universal Declaration of Human Rights (hereinafter referred to as the Declaration), promulgated in the post–World War II period, was an epoch–making worldwide and historical document. Owing to the modification of the word “world”, debates and diplomacy were inevitable in the drafting of the Declaration, considering the various ideologies and historical contexts of nations. After conflicts and compromise, the Declaration was finally announced with the determination to protect the worldwide human rights from violations or neglects.
画廊
