背景
基于Electron
实现的pc端智能验机应用,近期迭代了一个新的功能,需求是通过电脑外接摄像头对手机屏幕进行拍照
,拍照后需将照片上传
至服务端进行屏幕信息比对,确定被检测屏幕是否为原厂屏。
需求分析
根据上面的需求,分析大概要以下几个步骤。
- 先实现将摄像头的画面实时展示在页面视频采集区域中;
- 将摄像头中的视频画面采集一帧成图片并回显;
- 将生成的图片上传至CDN拿到图片链接;
- 将图片链接上传到后端接口 做处理;
确定了需要以上四个步骤后,接下来一步一步实现。
实现
视频采集
由于 Electron
内置了 Chromium
浏览器,该浏览器对各项前端标准都支持得非常好,所以基于 Electron 开发应用不会遇到浏览器兼容性问题。几乎可以在 Electron 中使用所有 HTML5
、CSS3
、ES6
标准中定义的 API
。
所以基于WebRTC
提供的API
即可获取到摄像头的视频流。
MediaDevices.getUserMedia()
代码如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 | methods: { getUserMedia() { /* 可同时开启video(摄像头)和audio(麦克风) 这里只请求摄像头,所以只设置video为true */ navigator.mediaDevices.getUserMedia({ video: true }) .then( function (stream) { /* 使用这个 stream 传递到成功回调中 */ this .success(stream) }) . catch ( function (err) { /* 处理 error 信息 */ this .error(error) }); } } |
MediaDevices.getUserMedia()
会提示用户给予使用媒体输入的许可,媒体输入会产生一个MediaStream
,里面包含了请求的媒体类型的轨道。此流可以包含一个视频轨道(来自硬件或者虚拟视频源,比如相机、视频采集设备和屏幕共享服务等等)、一个音频轨道(同样来自硬件或虚拟音频源,比如麦克风、A/D 转换器等等),也可能是其它轨道类型。
它返回一个 Promise
对象,成功后会resolve
回调一个 MediaStream
对象。若找不到满足请求参数的媒体类型,promise
会reject
回调一个NotFoundError
。
现在已经成功获取到视频流,接下来就是将视频流回显到页面。 这里使用video标签完成,代码如下:
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 | <div class = "video-page" > <div class = "video-content" > <video class = "video-item" data-origwidth= "0" data-origheight= "0" style= "width: 1264px;" ></video> </div> </div> export default { methods: { getUserMedia() { /* 可同时开启video(摄像头)和audio(麦克风) 这里只请求摄像头,所以只设置video为true */ navigator.mediaDevices.getUserMedia({ video: true }) .then( function (stream) { /* 使用这个 stream 传递到成功回调中 */ this .success(stream) }) . catch ( function (err) { /* 处理 error 信息 */ this .error(error) }); }, success(stream) { console.log( '成功' , stream); /* 将stream 分配给video标签 */ this .$refs.video.srcObject = stream; this .$refs.video.play(); } } } |
这时,摄像头中的画面就可以显示在页面video标签内,如下图。
为了用户体验,在进入页面之前添加了判断摄像头是否已经接入并可用的逻辑,避免用户的摄像头未接入或者启动,造成应用不可用的错觉。
使用MediaDevices.enumerateDevices()
来获取可用媒体输入和输出设备的列表,例如摄像头、麦克风、耳机等。
1 2 3 | navigator.mediaDevices.enumerateDevices().then(devicesList => { console.log( '------devicesList' , deviceList) }) |
得到的设备列表数据格式如下:
kind
类型有三种,分别是audioinput
、audiooutput
和videoinput
。分别代表音视频的输入和输出。可在列表中查找目标媒体是否已经接入且可用。
若有选择切换设备需求,可根据kind
类型进行媒体设备分类,选择目标deviceId
,传入navigator.mediaDevices.getUserMedia
,完成来源切换。
1 | navigator.mediaDevices.getUserMedia({ video: { deviceId: xxxx } }) |
拍照生成图片
拍照其实就是截取视频中的某一帧,这里使用canvas
来实现截取。getContext()
方法可返回一个对象,该对象提供了用于在画布上绘图的方法和属性。其中drawImage()
方法用来向画布上绘制图像、画布或视频。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 | <div class = "video-page" > <div class = "video-content" > <video class = "video-item" data-origwidth= "0" data-origheight= "0" style= "width: 1264px;" ></video><div class = "video-buttons" > <div class = "button-item capture" >拍照</div> <div class = "button-item submit" >提交</div> </div> </div> export default { data: { showVideo: true , // 是否展示摄像头画面 }, methods: { /* 拍照按钮点击 */ capture() { this .showVideo = false var context = this .$refs.canvas.getContext( '2d' ); /* 要跟video的宽高一致 */ context.drawImage( this .$refs.video, 0, 0, 1000, 692, 0, 0, 500, 346); } } } </div> <p>拍照的图片回显至canvas标签。</p> <p style= "text-align:center" ><img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-36fd042ed4946fd93ca530416838c4b3.gif" ></p> <p class = "maodian" ><a name= "_label3" ></a></p> <h2>上传图片至CDN</h2> <p>上个步骤已经完成了拍照,接下来就需要将图片上传至CDN,拿到图片链接。 这里有两种方式可以实现获取图片数据。</p> <p class = "maodian" ><a name= "_lab2_3_3" ></a></p> <h3>1. 使用HTMLCanvasElement.toBlob()</h3> <p><code>HTMLCanvasElement.toBlob()</code> 方法生成 <code>Blob</code> 对象,用以展示 canvas 上的图片。因为直接可以拿到图片文件,所以无需再使用方法2中的函数来转化<code>base64</code>,直接可以获取到图片文件用来上传。</p> <p class = "maodian" ><a name= "_lab2_3_4" ></a></p> <h3>语法</h3> <div class = "jb51code" ><pre class = "brush:js;" >toBlob(callback, type, quality) </pre> </div> <p class = "maodian" ><a name= "_lab2_3_5" ></a></p> <h3>参数</h3> <p><code>callback</code>:回调函数,参数为<code>Blob</code>对象(目标图片文件)。</p> <p><code>type</code>:图片格式,默认为<code>image/png</code> <code>可选</code>。</p> <p><code>quality</code>:0-1的数字,表示图片质量,<code>可选</code>。</p> <p>点击提交按钮按钮时,先获取图片文件,为上传做准备。</p> <div class = "jb51code" > <pre class = "brush:js;" >methods: { /* 提交按钮点击 */ submit() { const base64Url = this .$refs.canvas.toBlob(blob => { console.log( '===blob' , blob) const data = new FormData() data.append( 'file' , blob) }, "image/jpeg" , 0.95) } } </pre> </div> <p>console的结果如下图:</p> <p style= "text-align:center" ><img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-599e356eb4cf50b6cd69c3590375698a.jpg" ></p> <p class = "maodian" ><a name= "_lab2_3_6" ></a></p> <h3>2. 使用HTMLCanvasElement.toDataURL()</h3> <p>HTMLCanvasElement.toDataURL()方法返回一个包含图片展示的Data URL。</p> <p><code>Data URL</code>,即前缀为 data: 协议的 URL,其允许内容创建者向文档中嵌入小文件。</p> <p class = "maodian" ><a name= "_label3_3_6_0" ></a></p> <h4>语法</h4> <div class = "jb51code" > <pre class = "brush:js;" >canvas.toDataURL(type, encoderOptions); </pre> </div> <p class = "maodian" ><a name= "_label3_3_6_1" ></a></p> <h4>参数</h4> <p><code>type</code> 图片格式,默认为<code>image/png</code>。</p> <p><code>encoderOptions</code> 0到1之间的值,用来选定图片质量,默认值是0.92,超出范围会使用默认值。</p> <p class = "maodian" ><a name= "_label3_3_6_2" ></a></p> <h4>返回值</h4> <p><code>base64</code>组成的图片源数据,上传前需转为图片文件。这里封装了一个<code>convertBase64UrlToImgFile</code>函数用来转换。代码如下:</p> <div class = "jb51code" > <pre class = "brush:js;" ><div class = "video-page" > <div class = "video-content" > <video class = "video-item" data-origwidth= "0" data-origheight= "0" style= "width: 1264px;" ></video><div class = "video-buttons" > <div class = "button-item capture" >拍照</div> <div class = "button-item submit" >提交</div> </div> </div> export default { data: { /* 是否展示摄像头画面 */ showVideo: true , }, methods: { /* 将base64转为图片文件 */ convertBase64UrlToImgFile(urlData, fileType) { const imgData = urlData.split( 'base64,' ).splice(-1)[0] /* 解码使用 base-64 编码的字符串 转换为byte */ const bytes = window.atob(imgData) /* 处理异常,将ASCII码小于0的转换为大于0 */ const ab = new ArrayBuffer(bytes.length) const ia = new Int8Array(ab) for ( let i = 0; i </div> <p><code>convertBase64UrlToImgFile</code>可用于在使用<code>canvas</code>外的场景进行<code>base64</code>转换图片文件。和<code>HTMLCanvasElement.toBlob()</code>方法得到的结果一致。</p> <p>以上两种方法都可以完成图片上传,最终拿到CDN图片链接后可传给后端进行处理。获取屏幕信息。</p> <p class = "maodian" ><a name= "_label4" ></a></p> <h2>总结</h2> <p>通过以上四个步骤就完成了Electron应用中通过外接摄像头拍照并上传的功能。这里基本用不到Electron的能力,和在web端的实现方式并无区别,Electron在这里起到的作用就是获取摄像头媒体流不需要获取用户权限。</p> <p><code>Electron</code>是基于<code>Chromium</code>和<code>Node.js</code>实现的,这就使前端开发者可以使用<code>JavaScript</code>、<code>HTML</code>和<code>CSS</code>轻松构建跨平台的桌面应用。<code>Electron</code>可以使用几乎所有的Web前端生态领域及<code>Node.js</code>生态领域的组件和技术方案。</p> <p>后续会介绍Electron在智能验机应用中的实践方案,更多关于Electron调用摄像头拍照上传的资料请关注IT俱乐部其它相关文章!</p> </pre> </div> <div class = "lbd_bot clearfix" > <span id= "art_bot" class = "jbTestPos" ></span> </div> <div class = "tags clearfix" > <i class = "icon-tag" ></i><p></p> <ul class = "meta-tags" > <li class = "tag item" ><a href= "http://common.jb51.net/tag/Electron/1.htm" target= "_blank" title= "搜索关于Electron的文章" rel= "nofollow noopener" >Electron</a></li> <li class = "tag item" ><a href= "http://common.jb51.net/tag/%E5%A4%96%E6%8E%A5%E8%B0%83%E7%94%A8/1.htm" target= "_blank" title= "搜索关于外接调用的文章" rel= "nofollow noopener" >外接调用</a></li> <li class = "tag item" ><a href= "http://common.jb51.net/tag/%E6%91%84%E5%83%8F%E5%A4%B4/1.htm" target= "_blank" title= "搜索关于摄像头的文章" rel= "nofollow noopener" >摄像头</a></li> <li class = "tag item" ><a href= "http://common.jb51.net/tag/%E6%8B%8D%E7%85%A7%E4%B8%8A%E4%BC%A0/1.htm" target= "_blank" title= "搜索关于拍照上传的文章" rel= "nofollow noopener" >拍照上传</a></li> </ul> </div> <div class = "lbd clearfix" > <span id= "art_down" class = "jbTestPos" ></span> </div> <div id= "shoucang" ></div> <div class = "xgcomm clearfix" > <h2>相关文章</h2> <ul> <li class = "lbd clearfix" ><span id= "art_xg" class = "jbTestPos" ></span></li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/138739.htm" title= "Node.js应用设置安全的沙箱环境" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-1a1b05c64693fbf380aa1344a7812747.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/138739.htm" title= "Node.js应用设置安全的沙箱环境" rel= "noopener" >Node.js应用设置安全的沙箱环境</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要介绍了Node.js应用设置安全的沙箱环境的方法以及注意事项,对此有需要的朋友可以参考学习下。</div> <p><span class = "lbtn" style= "float:right" > 2018-04-04 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/211597.htm" title= "Node.js里面的内置模块和自定义模块的实现" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-4f55910a645b073bc4fc65dc10dc14bd.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/211597.htm" title= "Node.js里面的内置模块和自定义模块的实现" rel= "noopener" >Node.js里面的内置模块和自定义模块的实现</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要介绍了Node.js里面的内置模块和自定义模块的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div> <p><span class = "lbtn" style= "float:right" > 2021-05-05 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/152040.htm" title= "node.js实现为PDF添加水印的示例代码" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-0ea3c7666119d5615e582f823fb3fad6.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/152040.htm" title= "node.js实现为PDF添加水印的示例代码" rel= "noopener" >node.js实现为PDF添加水印的示例代码</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要介绍了node.js实现为PDF添加水印的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div> <p><span class = "lbtn" style= "float:right" > 2018-12-12 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/58609.htm" title= "node.js中的fs.readdir方法使用说明" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-4f96a78db829b1556ff16de21e013c7a.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/58609.htm" title= "node.js中的fs.readdir方法使用说明" rel= "noopener" >node.js中的fs.readdir方法使用说明</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要介绍了node.js中的fs.readdir方法使用说明,本文介绍了fs.readdir方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下</div> <p><span class = "lbtn" style= "float:right" > 2014-12-12 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/183691.htm" title= "开发Node CLI构建微信小程序脚手架的示例" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-8cc1031babc6aff2319f1c6af8544aa0.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/183691.htm" title= "开发Node CLI构建微信小程序脚手架的示例" rel= "noopener" >开发Node CLI构建微信小程序脚手架的示例</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要介绍了开发Node CLI构建微信小程序脚手架,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div> <p><span class = "lbtn" style= "float:right" > 2020-03-03 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/158004.htm" title= "学习node.js 断言的使用详解" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-0c932a99bb7b6f23c937db507070cc7b.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/158004.htm" title= "学习node.js 断言的使用详解" rel= "noopener" >学习node.js 断言的使用详解</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要介绍了学习node.js 断言的使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div> <p><span class = "lbtn" style= "float:right" > 2019-03-03 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/51313.htm" title= "Nodejs中自定义事件实例" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-cca732bf65a93ed2ec0ac80c638460fe.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/51313.htm" title= "Nodejs中自定义事件实例" rel= "noopener" >Nodejs中自定义事件实例</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要介绍了Nodejs中自定义事件实例,比较简单的一个例子,需要的朋友可以参考下</div> <p><span class = "lbtn" style= "float:right" > 2014-06-06 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/170557.htm" title= "Nodejs监控事件循环异常示例详解" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-2d9f31f2af7b675a3d153d2b7f1035a7.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/170557.htm" title= "Nodejs监控事件循环异常示例详解" rel= "noopener" >Nodejs监控事件循环异常示例详解</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要给大家介绍了关于Nodejs监控事件循环异常的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Nodejs具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧</div> <p><span class = "lbtn" style= "float:right" > 2019-09-09 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/252560.htm" title= "package.json版本号符号^和~前缀的区别" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-b452cee8ec5cd9e58ab98eba17281e59.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/252560.htm" title= "package.json版本号符号^和~前缀的区别" rel= "noopener" > package .json版本号符号^和~前缀的区别</a></p> <div class = "item-info" > <div class = "js" >这篇文章介绍了 package .json版本号符号^和~前缀的区别,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div> <p><span class = "lbtn" style= "float:right" > 2022-06-06 </span> </p></div> </div> </div> </div> </li> <li> <div class = "item-inner" > <a href= "https://www.2it.club/article/115018.htm" title= "NodeJS实现微信公众号关注后自动回复功能" class = "img-wrap" target= "_blank" rel= "noopener" > <img decoding= "async" src= "https://www.2it.club/wp-content/uploads/2023/02/frc-f4838ec7e2d4da28e0b57d4e852dadd4.png" ></a><p></p> <div class = "rbox" > <div class = "rbox-inner" > <p><a class = "link title" target= "_blank" href= "https://www.2it.club/article/115018.htm" title= "NodeJS实现微信公众号关注后自动回复功能" rel= "noopener" >NodeJS实现微信公众号关注后自动回复功能</a></p> <div class = "item-info" > <div class = "js" >这篇文章主要为大家详细介绍了NodeJS实现微信公众号关注后自动回复功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下</div> <p><span class = "lbtn" style= "float:right" > 2017-05-05 </span> </p></div> </div> </div> </div> </li> </ul> </div> <div class = "lbd clearfix mt5" > <span id= "art_down2" class = "jbTestPos" ></span> </div> <p> <a href= "" ></a></p> <div id= "comments" > <h2>最新评论</h2> <div class = "pd5" > <div id= "SOHUCS" ></div> <p></p></div> <p></p></div> <p></p> |