在人脸的关键位置贴上如耳朵、鼻子等装饰,其实就是将装饰叠加在原图某个位置中。在此之前我们需要开启混合模式!
// 开启混合模式
GLES20.glEnable(GLES20.GL_BLEND);
GLES20.glBlendFunc(GLES20.GL_ONE, GLES20.GL_ONE_MINUS_CONSTANT_ALPHA);
混合就是把两种颜色:源颜色和目标颜色混在一起。其中源是指现在要画的贴纸,目标则是已经画好的摄像头图像。
源因子和目标因子通过glBlendFunc函数设置,不同的组合方式很多。当前我们使用的组合为:
GL_ONE:表示使用源颜色的alpha值来作为因子; GL_ONE_MINUS_SRC_ALPHA:表示用1.0减去源颜色的alpha值来作为因子;
装饰品越透明,则混合的新颜色摄像头图像占比越重!
实现贴纸只需要计算好贴纸在图像中的坐标,然后利用混合模式绘制到图层中即可。可以在OpenGL中进行坐标处理,也可以直接在Java借助:
GLES20.glViewport(x, y,width, height);
人脸定位与关键点定位得到的人脸与关键点坐标都是以送检图片左上角为起点,基于图片的宽与高。
而显示在屏幕上对应的画布宽高,与图片宽高不一定一致。定位绘图区域需要根据画布宽高进行定位。
也就是近大远小的效果
时刻要注意OpenGL的世界坐标
public class StickFilter extends AbstractFrameFilter {
private Bitmap bizi;
private int[] textures;
public StickFilter(Context context) {
super(context, R.raw.base_vert, R.raw.base_frag);
textures = new int[1];
OpenGLUtils.glGenTextures(textures);
// 把图片加载到创建的纹理中
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, textures[0]);
//....
bizi = BitmapFactory.decodeResource(context.getResources(), R.drawable.bizi);
GLUtils.texImage2D(GLES20.GL_TEXTURE_2D,0,bizi,0);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, 0);
}
@Override
public int onDraw(int texture, FilterChain filterChain) {
return super.onDraw(texture, filterChain);
}
@Override
public void afterDraw(FilterContext filterContext) {
super.afterDraw(filterContext);
//画鼻子
Face face = filterContext.face;
if (face == null) {
return;
}
//开启混合模式
GLES20.glEnable(GLES20.GL_BLEND);
GLES20.glBlendFunc(GLES20.GL_ONE, GLES20.GL_ONE_MINUS_SRC_ALPHA);
//计算坐标
//基于画布的鼻子中心点的x
float x = face.nose_x / face.imgWidth * filterContext.width;
float y = (1.0f - face.nose_y / face.imgHeight) * filterContext.height;
//鼻子贴纸的宽与高
//通过左右嘴角的x的差作为鼻子装饰品的宽
float mrx = face.mouseRight_x / face.imgWidth * filterContext.width;
float mlx = face.mouseLeft_x / face.imgWidth * filterContext.width;
int width = (int) (mrx - mlx);
//以嘴角的Y与鼻子中心点的y的差作为鼻子装饰品的高
float mry = (1.0f - face.mouseRight_y / face.imgHeight) * filterContext.height;
int height = (int) (y - mry);
GLES20.glViewport((int) x - width / 2, (int) y - height / 2, width, height);
//画鼻子
GLES20.glUseProgram(program);
vertexBuffer.position(0);
GLES20.glVertexAttribPointer(vPosition, 2, GLES20.GL_FLOAT, false, 0, vertexBuffer);
GLES20.glEnableVertexAttribArray(vPosition);
textureBuffer.position(0);
GLES20.glVertexAttribPointer(vCoord, 2, GLES20.GL_FLOAT, false, 0, textureBuffer);
GLES20.glEnableVertexAttribArray(vCoord);
GLES20.glActiveTexture(GLES20.GL_TEXTURE0);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, textures[0]);
GLES20.glUniform1i(vTexture, 0);
//通知画画
GLES20.glDrawArrays(GLES20.GL_TRIANGLE_STRIP, 0, 4);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, 0);
//关闭混合模式
GLES20.glDisable(GLES20.GL_BLEND);
}
}
类似高斯模糊,这里就是平均模糊,就是取周围的点进行平均操作
美颜是个合成操作,看下几个着色器:
precision mediump float;
uniform sampler2D vTexture;
varying vec2 aCoord;
//纹理宽、高
uniform float texelWidthOffset;
uniform float texelHeightOffset;
vec4 blurCoord[5];
void main(){
//1、 进行模糊处理
// 偏移步距 (0,0.1)
vec2 singleStepOffset = vec2(texelWidthOffset, texelHeightOffset);
blurCoord[0] = vec4(aCoord - singleStepOffset, aCoord + singleStepOffset);
blurCoord[1] = vec4(aCoord - 2.0 * singleStepOffset, aCoord + 2.0*singleStepOffset);
blurCoord[2] = vec4(aCoord - 3.0 * singleStepOffset, aCoord + 3.0*singleStepOffset);
blurCoord[3] = vec4(aCoord - 4.0 * singleStepOffset, aCoord + 4.0*singleStepOffset);
blurCoord[4] = vec4(aCoord - 5.0 * singleStepOffset, aCoord + 5.0*singleStepOffset);
// 计算当前坐标的颜色值
vec4 currentColor = texture2D(vTexture, aCoord);
vec3 sum = currentColor.rgb;
// 计算偏移坐标的颜色值总和
for (int i = 0; i < 5; i++) {
sum += texture2D(vTexture, blurCoord[i].xy).rgb;
sum += texture2D(vTexture, blurCoord[i].zw).rgb;
}
//平均值 模糊效果
vec4 blur = vec4(sum / 11.0, currentColor.a);
gl_FragColor = blur;
}
BeautyBlurFilter
public class BeautyblurFilter extends AbstractFrameFilter {
private int texelWidthOffset;
private int texelHeightOffset;
private float mTexelWidth;
private float mTexelHeight;
public BeautyblurFilter(Context context) {
super(context, R.raw.base_vert, R.raw.beauty_blur);
}
@Override
public void initGL(Context context, int vertexShaderId, int fragmentShaderId) {
super.initGL(context, vertexShaderId, fragmentShaderId);
texelWidthOffset = GLES20.glGetUniformLocation(program, "texelWidthOffset");
texelHeightOffset = GLES20.glGetUniformLocation(program, "texelHeightOffset");
}
@Override
public void beforeDraw(FilterContext filterContext) {
super.beforeDraw(filterContext);
GLES20.glUniform1f(texelWidthOffset, mTexelWidth);
GLES20.glUniform1f(texelHeightOffset, mTexelHeight);
}
/**
* 设置高斯模糊的宽高
*/
public void setTexelOffsetSize(float width, float height) {
mTexelWidth = width;
mTexelHeight = height;
if (mTexelWidth != 0) {
mTexelWidth = 1.0f / mTexelWidth;
} else {
mTexelWidth = 0;
}
if (mTexelHeight != 0) {
mTexelHeight = 1.0f / mTexelHeight;
} else {
mTexelHeight = 0;
}
}
}
precision mediump float;
uniform sampler2D vTexture;
varying vec2 aCoord;
uniform sampler2D vBlurTexture;
void main(){
//2、PS高反差保留- 边缘锐化
vec4 currentColor = texture2D(vTexture, aCoord);
vec4 blurColor = texture2D(vBlurTexture, aCoord);
// 高反差 = 原图 - 高斯模糊图
vec4 highPassColor = currentColor - blurColor;
// clamp:获得三个参数中大小处在中间的那个值
float intensity = 24.0;// 强光程度
//color = 2 * color1 * color2;
highPassColor.r = clamp(2.0 * highPassColor.r * highPassColor.r * intensity, 0.0, 1.0);
highPassColor.g = clamp(2.0 * highPassColor.g * highPassColor.g * intensity, 0.0, 1.0);
highPassColor.b = clamp(2.0 * highPassColor.b * highPassColor.b * intensity, 0.0, 1.0);
vec4 highPassBlur = vec4(highPassColor.rgb, 1.0);
gl_FragColor = highPassBlur;
}
BeautyHighpassFilter
public class BeautyHighpassFilter extends AbstractFrameFilter {
private int vBlurTexture;
private int blurTexture;
public BeautyHighpassFilter(Context context) {
super(context, R.raw.base_vert, R.raw.beauty_highpass);
}
@Override
public void initGL(Context context, int vertexShaderId, int fragmentShaderId) {
super.initGL(context, vertexShaderId, fragmentShaderId);
vBlurTexture = GLES20.glGetUniformLocation(program, "vBlurTexture");
}
@Override
public void beforeDraw(FilterContext filterContext) {
super.beforeDraw(filterContext);
GLES20.glActiveTexture(GLES20.GL_TEXTURE1);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, blurTexture);
GLES20.glUniform1i(vBlurTexture, 1);
}
public void setBlurTexture(int blurTexture) {
this.blurTexture = blurTexture;
}
}
precision mediump float;
uniform sampler2D vTexture;//高反差保留纹理(高通滤波)
varying vec2 aCoord;
uniform int width;
uniform int height;
vec4 blurCoord[2];
void main(){
//3、保边预处理 保留边沿的细节不被模糊掉
vec4 currentColor = texture2D(vTexture, aCoord);
vec2 singleStepOffset = vec2(width, height);
blurCoord[0] = vec4(aCoord - singleStepOffset, aCoord + singleStepOffset);
blurCoord[1] = vec4(aCoord - 2.0 *singleStepOffset, aCoord + 2.0*singleStepOffset);
vec3 sum = currentColor.rgb;
for (int i = 0; i < 2; i++) {
sum += texture2D(vTexture, blurCoord[i].xy).rgb;
sum += texture2D(vTexture, blurCoord[i].zw).rgb;
}
vec4 highPassBlur = vec4(sum*1.0/5.0, currentColor.a);
gl_FragColor = highPassBlur;
}
BeautyHighpassBlurFilter
public class BeautyHighpassBlurFilter extends AbstractFrameFilter {
private int widthIndex;
private int heightIndex;
public BeautyHighpassBlurFilter(Context context) {
super(context, R.raw.base_vert, R.raw.beauty_highpass_blur);
}
@Override
public void initGL(Context context, int vertexShaderId, int fragmentShaderId) {
super.initGL(context, vertexShaderId, fragmentShaderId);
widthIndex = GLES20.glGetUniformLocation(program, "width");
heightIndex = GLES20.glGetUniformLocation(program, "height");
}
@Override
public void beforeDraw(FilterContext filterContext) {
super.beforeDraw(filterContext);
GLES20.glUniform1i(widthIndex, filterContext.width);
GLES20.glUniform1i(heightIndex, filterContext.height);
}
}
precision mediump float;
uniform sampler2D vTexture; //原图
varying vec2 aCoord;
uniform sampler2D blurTexture; //原图模糊
uniform sampler2D highpassBlurTexture; //模糊后的高反差图
//磨皮程度 0-1.0
uniform float level;
void main(){
//4、磨皮
vec4 currentColor = texture2D(vTexture, aCoord);
vec4 blurColor = texture2D(blurTexture, aCoord);
vec4 highpassBlurColor = texture2D(highpassBlurTexture, aCoord);
float value = clamp((min(currentColor.b, blurColor.b) - 0.2) * 5.0, 0.0, 1.0);
float maxChannelColor = max(max(highpassBlurColor.r, highpassBlurColor.g), highpassBlurColor.b);
float currentIntensity = (1.0 - maxChannelColor / (maxChannelColor + 0.2)) * value * level;
// 混合
vec3 resultColor = mix(currentColor.rgb, blurColor.rgb, currentIntensity);
gl_FragColor = vec4(resultColor, 1.0);
}
BeautyAdjustFilter
public class BeautyAdjustFilter extends AbstractFrameFilter {
private int level;
private int vBlurTexture;
private int vHighpassBlurTexture;
private int blurTexture;
private int highpassBlurTexture;
public BeautyAdjustFilter(Context context) {
super(context, R.raw.base_vert, R.raw.beauty_adjust);
}
@Override
public void initGL(Context context, int vertexShaderId, int fragmentShaderId) {
super.initGL(context, vertexShaderId, fragmentShaderId);
level = GLES20.glGetUniformLocation(program, "level");
vBlurTexture = GLES20.glGetUniformLocation(program, "blurTexture");
vHighpassBlurTexture = GLES20.glGetUniformLocation(program, "highpassBlurTexture");
}
@Override
public void beforeDraw(FilterContext filterContext) {
super.beforeDraw(filterContext);
GLES20.glUniform1f(level, filterContext.beautyLevel);
GLES20.glActiveTexture(GLES20.GL_TEXTURE1);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, blurTexture);
GLES20.glUniform1i(vBlurTexture, 1);
GLES20.glActiveTexture(GLES20.GL_TEXTURE2);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, highpassBlurTexture);
GLES20.glUniform1i(vHighpassBlurTexture, 2);
}
public void setBlurTexture(int blurTexture) {
this.blurTexture = blurTexture;
}
public void setHighpassBlurTexture(int highpassBlurTexture) {
this.highpassBlurTexture = highpassBlurTexture;
}
}
注意:针对,一个着色器中,处理多张图片
传参注意图层,
GL_TEXTURE1,GL_TEXTURE2……
GLES20.glActiveTexture(GLES20.GL_TEXTURE1);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, blurTexture);
GLES20.glUniform1i(vBlurTexture, 1);
GLES20.glActiveTexture(GLES20.GL_TEXTURE2);
GLES20.glBindTexture(GLES20.GL_TEXTURE_2D, highpassBlurTexture);
GLES20.glUniform1i(vHighpassBlurTexture, 2);
根据上面4个着色器,我们用一个路径包含四个步骤进行处理
组合处理,自己不需要画,责任链中调起下一个滤镜
BeautyFilter.java
/**
* 组合, 自己不需要画,调起下一个滤镜即可
*/
public class BeautyFilter extends AbstractFilter {
private BeautyblurFilter beautyVerticalblurFilter;
private BeautyblurFilter beautyHorizontalblurFilter;
private BeautyHighpassFilter beautyHighpassFilter;
private BeautyHighpassBlurFilter beautyHighpassBlurFilter;
private BeautyAdjustFilter beautyAdjustFilter;
public BeautyFilter(Context context) {
super(context, -1, -1);
beautyVerticalblurFilter = new BeautyblurFilter(context);
beautyHorizontalblurFilter = new BeautyblurFilter(context);
beautyHighpassFilter = new BeautyHighpassFilter(context);
beautyHighpassBlurFilter = new BeautyHighpassBlurFilter(context);
beautyAdjustFilter = new BeautyAdjustFilter(context);
}
@Override
public int onDraw(int texture, FilterChain filterChain) {
filterChain.setPause(true);
//1、模糊处理
beautyVerticalblurFilter.setTexelOffsetSize(0, filterChain.filterContext.height);
int blurTexture = beautyVerticalblurFilter.onDraw(texture, filterChain);
beautyHorizontalblurFilter.setTexelOffsetSize(filterChain.filterContext.width,0);
blurTexture = beautyHorizontalblurFilter.onDraw(blurTexture,filterChain);
//2、高反差保留 边缘锐化
beautyHighpassFilter.setBlurTexture(blurTexture);
int highpassTexture = beautyHighpassFilter.onDraw(texture, filterChain);
//3、保边预处理 保留边沿的细节不被模糊掉
int highpassBlurTexture = beautyHighpassBlurFilter.onDraw(highpassTexture, filterChain);
//4、磨皮调整
beautyAdjustFilter.setBlurTexture(blurTexture);
beautyAdjustFilter.setHighpassBlurTexture(highpassBlurTexture);
int beautyTextre = beautyAdjustFilter.onDraw(texture, filterChain);
filterChain.setPause(false);
return filterChain.proceed(beautyTextre);
}
}
8月7日消息,针对股价大跌和网传“涉及违规支出公关费用”的相关消息,丽珠集团公司认为今日的大跌属于近期医药行业反腐风暴逐渐加强,投资者情绪变化所致。
近日,工业和信息化部印发了《工业和信息化部关于开展移动互联网应用程序备案工作的通知》。
据网友爆料,微信正在灰度测试“小绿书”。从知情人士处了解到,这是一次非常小范围的内测,不是新功能,初衷就是为了更方便视频号创作者发布图文短内容,以及提高用户获得信息的效率。据知情人士介绍,视频号本身就可以发图片,这次内测只是把发布图片单独设计了一个按钮,在“看一看”那里可以集中查看而已。
8月2日消息,社交媒体公司 X Corp周一向特拉华州威尔明顿联邦法院提交的一份文件中称,今年5月起诉该公司的六名前员工并非推特与马斯克旗下控股公司于2022年达成的合并协议的当事方,因此他们不能以涉嫌违反该协议为由起诉他们。
据报道,近期,不少前家乐福员工爆料称,此前陆续接到裁员通知,给出的方案基本都是N的补偿费,但不少人却迟迟未拿到款项。据悉,被裁员工的工龄有长短,陆续都是在数月内被裁,补偿金在打6折一次性拿和全款分12期之间二选一。
8月1日消息,OpenAI 今年 3 月推出了 GPT-4,成为“AI 模型”的代名词,甚至一度引发了业界恐慌,此前报道,以马斯克为首的科技圈人物要求“OpenAI 暂时停止研究 GPT-5 研发”。
6月份关于特斯拉的一则收购传闻近日得到证实。当地时间7月31日,特斯拉确认已完成对德国无线充电技术公司Wiferion的计划收购,同时该公司更名为Tesla Engineering Germany GmbH。
据报道,美国国家公路交通安全管理局8月1日表示,已对28万辆特斯拉Model 3和Model Y电动汽车展开调查,原因是这些车辆被曝存在转向失灵的情况。
腾讯内部正在研发一款名为“M8”的社交APP,由QQ团队打造,定位是基于地图的虚拟社交产品,主攻年轻人社交赛道。据消息人士透露,产品或于8月份对外开启测试。
“在此事发生的过程中,本人正通过歌曲进行能力的激发,歌曲被打断,非但原有的效果并未达到,更让我承受了巨大的心理压力。”近日,一份题为“精神损害赔偿起诉状”的文字在社交平台上引发关注。市民辛先生在起诉状中表示,除了请法院判处被告向原告赔偿精神损失费10万元以外,还要求附带赔偿大卫·鲍伊演出名誉损失费100...
据外媒8月1日报道,三位印度政府消息人士称,在特斯拉研究在印建厂之际,印度官员要求特斯拉效仿苹果公司,寻找印度当地公司与中国供应商合作。
8月1日消息,据报道,世界首起涉及自动驾驶汽车的致命碰撞事故日前进行了最终宣判,Uber自动驾驶汽车的安全员认罪并被判处三年缓刑。
近日,来自英国大学的一个研究团队训练了一种深度学习模型,该模型可以从使用麦克风记录的键盘敲击声音中,窃取数据,准确率高达95%。据称,此类攻击会严重影响目标的数据安全,它可能会将人们的密码、讨论、消息或其他敏感信息泄露给恶意第三方。
7月31日,Twitter 应用在苹果 App Store 已经更名为 X,这意味着该公司可能获得了苹果的特批,因为此前 App Store 明确规定应用名称至少需要两个字母。
在7月31日举办的零跑汽车全新电子电气架构发布会上,零跑科技创始人、董事长、CEO 朱江明向现场媒体表示:" 零跑不仅要做一家汽车公司,还要做一家技术输出的公司。
8日消息,小鹏汽车在其官方 App 上发布公告,指出公司将严打充电桩 “ 霸位 ” 行为。公告表示,近期发现一些车辆在充电站占桩不充电,或插枪不充电,浪费了宝贵的充电桩资源。为了解决这个问题,小鹏汽车已经加强了场站管理,全方位布局监控,检测场站情况,并增加了巡检次数。
8月7日消息,据外媒报道,蚂蚁集团旗下的一家子公司将出售印度最大的支付平台 Paytm10.3% 的股份,而 Paytm 的创始人兼 CEO Vijay Shekhar Sharma 将增持该股份,以简化该公司的所有权结构。消息公布后,Paytm 股价一度上涨 11.4%,今年以来该公司股价已经上涨了超过 50%。
8月8日消息,近日,周鸿祎在社交平台发文谈温室超导问题。他表示,最近室温超导比较火,室温超导技术的实现将对能源、电子、医疗、交通、AI等领域产生深远的影响。