https://pypi.org/project/flash-attn/#description作者 PyPI 主页有说明这个项目目前最新的 v2.x 版本要如何安装,主要来说需要你提前准备:① 拥有 NVIDIA A100 / H100 APU 或者 RTX 30 系以上 GPU ,亦或是 AMD MI200 / MI300 ,NVIDIA RTX 20 系 (比如我只有 2070) 也行但得装 v1.x 版本;② NVIDIA CUDA Toolkit v11.6 及以上 (我是 v12.6 Update 3) ,或者 AMD ROCm Toolkit v6.0 以上;③ Python 环境下安装了 packaging 和 ninja 库;④ 一个 Linux 操作系统环境。
想在 Windows 上跑的话需要 flash-attn v2.5.2 及以上版本,且原作不保证一定能装上并跑起来。