IT俱乐部 JavaScript Electron调用外接摄像头并拍照上传实现详解

Electron调用外接摄像头并拍照上传实现详解

背景

基于Electron实现的pc端智能验机应用,近期迭代了一个新的功能,需求是通过电脑外接摄像头对手机屏幕进行拍照,拍照后需将照片上传至服务端进行屏幕信息比对,确定被检测屏幕是否为原厂屏。

需求分析

根据上面的需求,分析大概要以下几个步骤。

  • 先实现将摄像头的画面实时展示在页面视频采集区域中;
  • 将摄像头中的视频画面采集一帧成图片并回显;
  • 将生成的图片上传至CDN拿到图片链接;
  • 将图片链接上传到后端接口 做处理;

确定了需要以上四个步骤后,接下来一步一步实现。

实现

视频采集

由于 Electron 内置了 Chromium 浏览器,该浏览器对各项前端标准都支持得非常好,所以基于 Electron 开发应用不会遇到浏览器兼容性问题。几乎可以在 Electron 中使用所有 HTML5CSS3ES6 标准中定义的 API

所以基于WebRTC提供的API即可获取到摄像头的视频流。

MediaDevices.getUserMedia()

代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
methods: {
    getUserMedia() {
        /* 可同时开启video(摄像头)和audio(麦克风) 这里只请求摄像头,所以只设置video为true */
        navigator.mediaDevices.getUserMedia({ video: true })
            .then(function(stream) {
              /* 使用这个 stream 传递到成功回调中 */
              this.success(stream)
            })
            .catch(function(err) {
              /* 处理 error 信息 */
              this.error(error)
            });
    }
}

MediaDevices.getUserMedia() 会提示用户给予使用媒体输入的许可,媒体输入会产生一个MediaStream,里面包含了请求的媒体类型的轨道。此流可以包含一个视频轨道(来自硬件或者虚拟视频源,比如相机、视频采集设备和屏幕共享服务等等)、一个音频轨道(同样来自硬件或虚拟音频源,比如麦克风、A/D 转换器等等),也可能是其它轨道类型。

它返回一个 Promise 对象,成功后会resolve回调一个 MediaStream 对象。若找不到满足请求参数的媒体类型,promisereject回调一个NotFoundError

现在已经成功获取到视频流,接下来就是将视频流回显到页面。 这里使用video标签完成,代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
<div class="video-page">
        <div class="video-content">
            <video class="video-item" data-origwidth="0" data-origheight="0" style="width: 1264px;"></video>
</div>
    </div>
 
export default {
   methods: {
       getUserMedia() {
            /* 可同时开启video(摄像头)和audio(麦克风) 这里只请求摄像头,所以只设置video为true */
            navigator.mediaDevices.getUserMedia({ video: true })
                .then(function(stream) {
                  /* 使用这个 stream 传递到成功回调中 */
                  this.success(stream)
                })
                .catch(function(err) {
                  /* 处理 error 信息 */
                  this.error(error)
                });
        },
       success(stream) {
           console.log('成功', stream);
           /* 将stream 分配给video标签 */
           this.$refs.video.srcObject = stream;
           this.$refs.video.play();
        }
    }
}

这时,摄像头中的画面就可以显示在页面video标签内,如下图。

为了用户体验,在进入页面之前添加了判断摄像头是否已经接入并可用的逻辑,避免用户的摄像头未接入或者启动,造成应用不可用的错觉。

使用MediaDevices.enumerateDevices()来获取可用媒体输入和输出设备的列表,例如摄像头、麦克风、耳机等。

1
2
3
navigator.mediaDevices.enumerateDevices().then(devicesList => {
    console.log('------devicesList', deviceList)
})

得到的设备列表数据格式如下:

kind类型有三种,分别是audioinputaudiooutputvideoinput。分别代表音视频的输入和输出。可在列表中查找目标媒体是否已经接入且可用。

若有选择切换设备需求,可根据kind类型进行媒体设备分类,选择目标deviceId,传入navigator.mediaDevices.getUserMedia,完成来源切换。

1
navigator.mediaDevices.getUserMedia({ video: { deviceId: xxxx } })

拍照生成图片

拍照其实就是截取视频中的某一帧,这里使用canvas来实现截取。getContext() 方法可返回一个对象,该对象提供了用于在画布上绘图的方法和属性。其中drawImage()方法用来向画布上绘制图像、画布或视频。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
<div class="video-page">
        <div class="video-content">
            <video class="video-item" data-origwidth="0" data-origheight="0" style="width: 1264px;"></video><div class="video-buttons">
            <div class="button-item capture">拍照</div>
            <div class="button-item submit">提交</div>
        </div>
    </div>
 
export default {
   data: {
       showVideo: true, // 是否展示摄像头画面
   },
   methods: {
        /* 拍照按钮点击 */
        capture() {
          this.showVideo = false
          var context = this.$refs.canvas.getContext('2d');
          /* 要跟video的宽高一致 */
          context.drawImage(this.$refs.video, 0, 0, 1000, 692, 0, 0, 500, 346);
        }
    }
}
</div>
<p>拍照的图片回显至canvas标签。</p>
<p style="text-align:center"><img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-36fd042ed4946fd93ca530416838c4b3.gif"></p>
<p class="maodian"><a name="_label3"></a></p>
<h2>上传图片至CDN</h2>
<p>上个步骤已经完成了拍照,接下来就需要将图片上传至CDN,拿到图片链接。 这里有两种方式可以实现获取图片数据。</p>
<p class="maodian"><a name="_lab2_3_3"></a></p>
<h3>1. 使用HTMLCanvasElement.toBlob()</h3>
<p><code>HTMLCanvasElement.toBlob()</code> 方法生成 <code>Blob</code> 对象,用以展示 canvas 上的图片。因为直接可以拿到图片文件,所以无需再使用方法2中的函数来转化<code>base64</code>,直接可以获取到图片文件用来上传。</p>
<p class="maodian"><a name="_lab2_3_4"></a></p>
<h3>语法</h3>
<div class="jb51code"><pre class="brush:js;">toBlob(callback, type, quality)
</pre>
</div>
<p class="maodian"><a name="_lab2_3_5"></a></p>
<h3>参数</h3>
<p><code>callback</code>:回调函数,参数为<code>Blob</code>对象(目标图片文件)。</p>
<p><code>type</code>:图片格式,默认为<code>image/png</code> <code>可选</code>。</p>
<p><code>quality</code>:0-1的数字,表示图片质量,<code>可选</code>。</p>
<p>点击提交按钮按钮时,先获取图片文件,为上传做准备。</p>
<div class="jb51code">
<pre class="brush:js;">methods: {
    /* 提交按钮点击 */
    submit() {
        const base64Url = this.$refs.canvas.toBlob(blob => {
            console.log('===blob', blob)
            const data = new FormData()
            data.append('file', blob)
            request.post('https://XXXXX/upload', data)
        }, "image/jpeg", 0.95)
    }
}
</pre>
</div>
<p>console的结果如下图:</p>
<p style="text-align:center"><img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-599e356eb4cf50b6cd69c3590375698a.jpg"></p>
<p class="maodian"><a name="_lab2_3_6"></a></p>
<h3>2. 使用HTMLCanvasElement.toDataURL()</h3>
<p>HTMLCanvasElement.toDataURL()方法返回一个包含图片展示的Data URL。</p>
<p><code>Data URL</code>,即前缀为 data: 协议的 URL,其允许内容创建者向文档中嵌入小文件。</p>
<p class="maodian"><a name="_label3_3_6_0"></a></p>
<h4>语法</h4>
<div class="jb51code">
<pre class="brush:js;">canvas.toDataURL(type, encoderOptions);
</pre>
</div>
<p class="maodian"><a name="_label3_3_6_1"></a></p>
<h4>参数</h4>
<p><code>type</code> 图片格式,默认为<code>image/png</code>。</p>
<p><code>encoderOptions</code> 0到1之间的值,用来选定图片质量,默认值是0.92,超出范围会使用默认值。</p>
<p class="maodian"><a name="_label3_3_6_2"></a></p>
<h4>返回值</h4>
<p><code>base64</code>组成的图片源数据,上传前需转为图片文件。这里封装了一个<code>convertBase64UrlToImgFile</code>函数用来转换。代码如下:</p>
<div class="jb51code">
<pre class="brush:js;"><div class="video-page">
        <div class="video-content">
            <video class="video-item" data-origwidth="0" data-origheight="0" style="width: 1264px;"></video><div class="video-buttons">
            <div class="button-item capture">拍照</div>
            <div class="button-item submit">提交</div>
        </div>
    </div>
 
export default {
   data: {
       /* 是否展示摄像头画面 */
       showVideo: true,
   },
   methods: {
        /* 将base64转为图片文件 */
        convertBase64UrlToImgFile(urlData, fileType) {
            const imgData = urlData.split('base64,').splice(-1)[0]
            /* 解码使用 base-64 编码的字符串 转换为byte */
            const bytes = window.atob(imgData)
            /* 处理异常,将ASCII码小于0的转换为大于0 */
            const ab = new ArrayBuffer(bytes.length)
            const ia = new Int8Array(ab)
            for (let i = 0; i </div>
<p><code>convertBase64UrlToImgFile</code>可用于在使用<code>canvas</code>外的场景进行<code>base64</code>转换图片文件。和<code>HTMLCanvasElement.toBlob()</code>方法得到的结果一致。</p>
<p>以上两种方法都可以完成图片上传,最终拿到CDN图片链接后可传给后端进行处理。获取屏幕信息。</p>
<p class="maodian"><a name="_label4"></a></p>
<h2>总结</h2>
<p>通过以上四个步骤就完成了Electron应用中通过外接摄像头拍照并上传的功能。这里基本用不到Electron的能力,和在web端的实现方式并无区别,Electron在这里起到的作用就是获取摄像头媒体流不需要获取用户权限。</p>
<p><code>Electron</code>是基于<code>Chromium</code>和<code>Node.js</code>实现的,这就使前端开发者可以使用<code>JavaScript</code>、<code>HTML</code>和<code>CSS</code>轻松构建跨平台的桌面应用。<code>Electron</code>可以使用几乎所有的Web前端生态领域及<code>Node.js</code>生态领域的组件和技术方案。</p>
<p>后续会介绍Electron在智能验机应用中的实践方案,更多关于Electron调用摄像头拍照上传的资料请关注IT俱乐部其它相关文章!</p>
                             
                             
 
                        </pre>
</div>
<div class="lbd_bot clearfix">
                            <span id="art_bot" class="jbTestPos"></span>
                        </div>
<div class="tags clearfix">
                            <i class="icon-tag"></i><p></p>
<ul class="meta-tags">
<li class="tag item"><a href="http://common.jb51.net/tag/Electron/1.htm" target="_blank" title="搜索关于Electron的文章" rel="nofollow noopener">Electron</a></li>
<li class="tag item"><a href="http://common.jb51.net/tag/%E5%A4%96%E6%8E%A5%E8%B0%83%E7%94%A8/1.htm" target="_blank" title="搜索关于外接调用的文章" rel="nofollow noopener">外接调用</a></li>
<li class="tag item"><a href="http://common.jb51.net/tag/%E6%91%84%E5%83%8F%E5%A4%B4/1.htm" target="_blank" title="搜索关于摄像头的文章" rel="nofollow noopener">摄像头</a></li>
<li class="tag item"><a href="http://common.jb51.net/tag/%E6%8B%8D%E7%85%A7%E4%B8%8A%E4%BC%A0/1.htm" target="_blank" title="搜索关于拍照上传的文章" rel="nofollow noopener">拍照上传</a></li>
</ul>
</div>
<div class="lbd clearfix">
                            <span id="art_down" class="jbTestPos"></span>
                        </div>
<div id="shoucang"></div>
<div class="xgcomm clearfix">
<h2>相关文章</h2>
<ul>
<li class="lbd clearfix"><span id="art_xg" class="jbTestPos"></span></li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/138739.htm" title="Node.js应用设置安全的沙箱环境" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-1a1b05c64693fbf380aa1344a7812747.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/138739.htm" title="Node.js应用设置安全的沙箱环境" rel="noopener">Node.js应用设置安全的沙箱环境</a></p>
<div class="item-info">
<div class="js">这篇文章主要介绍了Node.js应用设置安全的沙箱环境的方法以及注意事项,对此有需要的朋友可以参考学习下。</div>
<p><span class="lbtn" style="float:right"> 2018-04-04 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/211597.htm" title="Node.js里面的内置模块和自定义模块的实现" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-4f55910a645b073bc4fc65dc10dc14bd.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/211597.htm" title="Node.js里面的内置模块和自定义模块的实现" rel="noopener">Node.js里面的内置模块和自定义模块的实现</a></p>
<div class="item-info">
<div class="js">这篇文章主要介绍了Node.js里面的内置模块和自定义模块的实现,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div>
<p><span class="lbtn" style="float:right"> 2021-05-05 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/152040.htm" title="node.js实现为PDF添加水印的示例代码" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-0ea3c7666119d5615e582f823fb3fad6.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/152040.htm" title="node.js实现为PDF添加水印的示例代码" rel="noopener">node.js实现为PDF添加水印的示例代码</a></p>
<div class="item-info">
<div class="js">这篇文章主要介绍了node.js实现为PDF添加水印的示例代码,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div>
<p><span class="lbtn" style="float:right"> 2018-12-12 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/58609.htm" title="node.js中的fs.readdir方法使用说明" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-4f96a78db829b1556ff16de21e013c7a.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/58609.htm" title="node.js中的fs.readdir方法使用说明" rel="noopener">node.js中的fs.readdir方法使用说明</a></p>
<div class="item-info">
<div class="js">这篇文章主要介绍了node.js中的fs.readdir方法使用说明,本文介绍了fs.readdir方法说明、语法、接收参数、使用实例和实现源码,需要的朋友可以参考下</div>
<p><span class="lbtn" style="float:right"> 2014-12-12 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/183691.htm" title="开发Node CLI构建微信小程序脚手架的示例" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-8cc1031babc6aff2319f1c6af8544aa0.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/183691.htm" title="开发Node CLI构建微信小程序脚手架的示例" rel="noopener">开发Node CLI构建微信小程序脚手架的示例</a></p>
<div class="item-info">
<div class="js">这篇文章主要介绍了开发Node CLI构建微信小程序脚手架,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div>
<p><span class="lbtn" style="float:right"> 2020-03-03 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/158004.htm" title="学习node.js 断言的使用详解" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-0c932a99bb7b6f23c937db507070cc7b.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/158004.htm" title="学习node.js 断言的使用详解" rel="noopener">学习node.js 断言的使用详解</a></p>
<div class="item-info">
<div class="js">这篇文章主要介绍了学习node.js 断言的使用详解,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div>
<p><span class="lbtn" style="float:right"> 2019-03-03 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/51313.htm" title="Nodejs中自定义事件实例" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-cca732bf65a93ed2ec0ac80c638460fe.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/51313.htm" title="Nodejs中自定义事件实例" rel="noopener">Nodejs中自定义事件实例</a></p>
<div class="item-info">
<div class="js">这篇文章主要介绍了Nodejs中自定义事件实例,比较简单的一个例子,需要的朋友可以参考下</div>
<p><span class="lbtn" style="float:right"> 2014-06-06 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/170557.htm" title="Nodejs监控事件循环异常示例详解" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-2d9f31f2af7b675a3d153d2b7f1035a7.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/170557.htm" title="Nodejs监控事件循环异常示例详解" rel="noopener">Nodejs监控事件循环异常示例详解</a></p>
<div class="item-info">
<div class="js">这篇文章主要给大家介绍了关于Nodejs监控事件循环异常的相关资料,文中通过示例代码介绍的非常详细,对大家学习或者使用Nodejs具有一定的参考学习价值,需要的朋友们下面来一起学习学习吧</div>
<p><span class="lbtn" style="float:right"> 2019-09-09 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/252560.htm" title="package.json版本号符号^和~前缀的区别" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-b452cee8ec5cd9e58ab98eba17281e59.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/252560.htm" title="package.json版本号符号^和~前缀的区别" rel="noopener">package.json版本号符号^和~前缀的区别</a></p>
<div class="item-info">
<div class="js">这篇文章介绍了package.json版本号符号^和~前缀的区别,对大家的学习或者工作具有一定的参考学习价值,需要的朋友们下面随着小编来一起学习学习吧</div>
<p><span class="lbtn" style="float:right"> 2022-06-06 </span>
</p></div>
</div>
</div>
</div>
</li>
<li>
<div class="item-inner">
<a href="https://www.2it.club/article/115018.htm" title="NodeJS实现微信公众号关注后自动回复功能" class="img-wrap" target="_blank" rel="noopener"> <img decoding="async" src="https://www.2it.club/wp-content/uploads/2023/02/frc-f4838ec7e2d4da28e0b57d4e852dadd4.png"></a><p></p>
<div class="rbox">
<div class="rbox-inner">
<p><a class="link title" target="_blank" href="https://www.2it.club/article/115018.htm" title="NodeJS实现微信公众号关注后自动回复功能" rel="noopener">NodeJS实现微信公众号关注后自动回复功能</a></p>
<div class="item-info">
<div class="js">这篇文章主要为大家详细介绍了NodeJS实现微信公众号关注后自动回复功能,具有一定的参考价值,感兴趣的小伙伴们可以参考一下</div>
<p><span class="lbtn" style="float:right"> 2017-05-05 </span>
</p></div>
</div>
</div>
</div>
</li>
</ul>
</div>
<div class="lbd clearfix mt5">
                            <span id="art_down2" class="jbTestPos"></span>
                        </div>
<p>                        <a href=""></a></p>
<div id="comments">
<h2>最新评论</h2>
<div class="pd5">
<div id="SOHUCS"></div>
<p></p></div>
<p></p></div>
<p></p>
本文收集自网络,不代表IT俱乐部立场,转载请注明出处。https://www.2it.club/navsub/js/5416.html
上一篇
下一篇
联系我们

联系我们

在线咨询: QQ交谈

邮箱: 1120393934@qq.com

工作时间:周一至周五,9:00-17:30,节假日休息

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

返回顶部