Lama Cleaner|最NB的免费图片处理工具

项目地址

GitHub – Sanster/lama-cleaner：由SOTA AI模型提供支持的图像修复工具。从图片中删除任何不需要的物体，缺陷，人物，或擦除和替换（由稳定扩散提供动力）图片上的任何东西。

软件介绍

Lama Cleaner 是一个免费开源的图片修复工具，由最先进的人工智能模型提供支持。可以使用它从图片中删除任何不需要的物体、缺陷、人物，或删除和替换图片上的任何内容。先来看看它能做到的效果：

修改前

修改后

随便找到一张图，去水印效果还是阔以。

安装

LaMa Cleaner最简单的安装方法是通过pip安装

pip 是 Python 的包管理工具，该工具提供了对Python 包的查找、下载、安装、卸载的功能。如果电脑上没安装python，那么去官网 python.org 下载3.7 ~ 3.10版本的安装包（亲测最新的3.11.2版不支持），默认安装已经自带了该工具。安装完python后，如果仍没有办法在终端中运行pip，请检查一下python安装目录下的scripts子目录是否已经加入了系统的Path变量中。

在终端中运行以下命令即可安装：

pip install lama-cleaner

安装完成后，运行以下命令启动lama cleaner, 首次运行时会自动下载所需模型。

lama-cleaner --model=lama --device=cpu --port=8080

现在用浏览器访问http://localhost:8080就可以使用了。

通过下载安装包文件安装

我把目前最新版本的安装包文件（版本0.35.0）放在百度网盘上了，174M。分享如下：

下载后，解压缩至自选的本地目录中即可。本例中解压到了D:\lama-cleaner目录中。在此目录中空白处点击鼠标右键，选择“在终端中打开”

在终端中，运行命令：.\ win_config.bat，会自动下载安装所需的包。

如果看到类似截图中的错误，不必理会，让命令行继续执行完毕后，可重复运行“.\ win_config.bat”命令，直到所有包都成功安装，出现下面的截图即可：

此时会在系统的默认浏览器中自动打开一个配置界面：

关于模型（Model）在下文有详细的介绍，一般用lama即可；如果你电脑也没有支持CUDA的Nvidia显卡，选择CPU。最后点击页面顶端的“Save configrations”按钮，会在安装目录中保存成一个启动配置文件installer_config.json，这样下次启动lama cleaner时就会以相应的参数启动。

最后关掉此页面，在终端窗口中按Ctrl+C键可结束此配置程序。

在终端中运行.\win_start.bat命令，开始运行lama cleaner。如果有需要下载的模型支持包，会自动下载安装，如下图所示：

首次正常下载安装后，以后就不需要重复下载了。如果有异常，可反复运行win_start.bat。
最终会成功启动lama cleaner。关掉cleaner窗口退出时，在终端中按任意键即可：

Lama cleaner界面及使用都很简单，不用过多解释，要点都在下图中标注了：

AI模型

这部分内容需要科学上网才可以在原网站看得到，为了方便我就翻译保存过来（由于我的机器没有支持CUDA的Nvidia显卡，所以我只实际测试了LaMa一个模型，其它模型在我机器上运行太慢不得不放弃测试。从介绍中看其它模型的效果还是非常令人期待的）。

Lama Cleaner支持许多开箱即用的AI修复模型，这些模型可分为三类：

擦除类（Erase）

LaMa

LaMa是具有傅里叶卷积的分辨率稳健型大型掩模修复模型，由三星研究院官方实现。

LDM

基于潜在扩散模型的高分辨率图像合成

LDM 相比于LaMa：

👍 可能获得比 LaMa 更好、更有细节的结果
👍 通过调整步数（step）来获得处理时间和图片质量的平衡
😐 处理速度比LaMa模型慢的多 (3080 12it/s)
😐 需要更多的GPU内存 (512×512 5.8G)

以下为效果图对比：

原图：

LaMa模型处理后：

LDM模型处理后：

ZITS

ZITS 相比于 LaMa：

👍更好的整体结构

😐 线框模块在 CPU 上非常慢

MAT: Mask-Aware Transformer for Large Hole Image Inpainting（用于大孔图像修复的掩模感知转换器）

就是在原图上大面积涂抹后，它仍能给画出个比较理想的效果来：

擦除和替换类（Erase and Replace）

Stable Diffusion: 根据文字描述替换图片中的物体。

这个也挺牛，用文字描述就能替换图片中的物体。没办法发油管视频，截图示意如下：在提示框内输入A fox sitting on a bench（一只坐在长凳上的狐狸）就能把原图上的选中的小狗给换掉！

Paint by Example: 使用示例图像指导模型在图像上生成类似的内容。

啥也不用说了，看图吧：

图片编辑（Picture Editing）

InstructPix2Pix: 使用文本说明编辑图片。

输入文本，就把原图给修改完了，神不神奇？！

其他事项

Interactive Segmentation

Lama Cleaner集成了一个Interactive Segmentation（交互式分段模型），开关在页面底部的工具栏内：

。此模型使用鼠标左键单击可以自动选择需要擦除的部分，用鼠标右键可以自动从已选择的部分中去除误选择的部分。选择完成后，点击Accept按钮

开始擦除。

Manual Inpainting Mode

默认情况下，lama cleaner将在画笔涂抹结束松开鼠标左键后立即执行图片修复。可以在设置中启用手动修复模式：

在手动模式下，可以一次涂抹多处需要擦除的部分，然后点击工具栏内的橡皮擦图标一并执行擦除。

Inpainting Strategy（修图策略）

Lama Cleaner提供了三种在图像上运行修复模型的方法，可以在设置中进行更改。三种方法对比如下：