是否可以增加一个输出masked图片时纯色填充非遮罩区域的功能？

[neavo]

如题

现在输出的masked图片是直接扣掉选择区域以外的部分成为透明区域
而众所周知的是不同程序/扩展在处理PNG中的透明区域时的方法并不一致，有的会当作白色处理有的会当作黑色处理
为了保证一致性，一般都会先把透明区域填上色再进行后续处理
现在需要用到第三方的工具进行这一步，比较繁琐
如果可以直接在输出masked图片时进行填充，那就十分方便了

[continue-revolution]

你的意思是增加一个选项选择白色/黑色/透明吗

[neavo]

对，是的，黑/白/灰/透明，能自己输入RGB色号就更好了

[JoeyLearnsToCode]

我也有类似的需求，不过我的情况还要更复杂一些：比如我通过segment抠出来一辆汽车，想重新生成不同外观的汽车，现在的segment-anything是直接把抠出来的蒙版输出给 controlnet 或者 inpaint upload，但如果我想要通过涂色指定汽车的大概颜色（比如：车头是银色，车尾是红色），目前是没办法做到的。

也就是说，整个过程实际上分三步：segment 抠出物体、对物体涂色、应用蒙版 输出到 controlnet 或者 inpaint upload 进行生成。
在 segment-anything 出现以前，要做内绘，后两步同样也需要（参考这篇教程【nsfw 警告】，即 先涂色再内绘，涂色区域与内绘的蒙版基本重合），区别在于第一步是人工识别这个物体。
在 segment-anything 出现后，第一步、第三步 都不需要人工参与了，但是第二步目前还没有办法自动做到。

一个可能办法是，上传图片时，允许手动在相同尺寸的透明画板上涂色，segment抠出物体的轮廓后，涂色画板上在这个轮廓中（即涂色区域与抠图区域的交集）的涂色被覆盖到图片上，然后把蒙版导出给 controlnet 或者 inpaint upload。

PS. 这个方法可能只适合一张一张图片的生成，批量的不适合（我没有更好的想法）。
PPS. 这个方法我感觉是可行的，但是这个工作可能不一定由 segment-anything 来做，好像 controlnet 或者 inpaint upload 来做更合适，因为这个问题的出发点就是这两种 inpaint 目前还没有支持涂色、蒙版的分离（所以在上面那个教程里，需要先用绘图功能涂色，再转到局部重绘画蒙版）。

[continue-revolution]

我也有类似的需求，不过我的情况还要更复杂一些：比如我通过segment抠出来一辆汽车，想重新生成不同外观的汽车，现在的segment-anything是直接把抠出来的蒙版输出给 controlnet 或者 inpaint upload，但如果我想要通过涂色指定汽车的大概颜色（比如：车头是银色，车尾是红色），目前是没办法做到的。

这个是不可能做到的，因为ControlNet的preprocessor会把mask区域变成-255，颜色特征会全部失效；sd的inpaint效果极差。之后的更新会允许你这么操作，指 给蒙版和非蒙版区域选择单一的颜色上色，但是我无法保证效果。目前不可能让你自己涂色，因为gradio有bug，如果我把你的input复制到color sketch，他会把你的原图放大四五倍，导致你的前端和后端全部crash；如果我让你重新上传原图，他也会给你放大，比例未知。如果gradio的bug被消除了的话，你可以自己涂，而且我可以用一些操作限制涂色区域在蒙版或者是非蒙版。

[continue-revolution]

目前的主要限制不在于插件本身而在于gradio，所以说只能再等等了。

[JoeyLearnsToCode]

ControlNet的preprocessor会把mask区域变成-255，颜色特征会全部失效

我使用时发现 controlnet inpaint 出来的区域有时候会偏暗，可能就是因为这个