第一句子网 - 唯美句子、句子迷、好句子大全
第一句子网 > pocketsphinx 模型库_pocketSphinx 嵌入式关键词唤醒

pocketsphinx 模型库_pocketSphinx 嵌入式关键词唤醒

时间:2020-01-09 19:15:32

相关推荐

pocketsphinx 模型库_pocketSphinx 嵌入式关键词唤醒

pocketSphinx 在hi3516A上关键词唤醒

(版本为最新在github下载的代码,.7)

编译安装sphinxbase

根据README文档,先运行./autogen.sh

问题1:

​ 缺少安装包bison,按照提示,安装bison即可

问题2:

​ 提示cannot find input file:test/unit/test_ad/Makefile.in

​ 去对应文件夹下,有Makefile.am存在,可能是命名的问题,写一个shell脚本复制一下,

#!/bin/bash

for x in test/unit/test_*

do cp $x/Makefile.am $x/Makefile.in; done

​ 同样的错误,同样的解决方案,然后再执行,

​ 提示:now type make to compile the packet

执行make

​ 提示makefile :1:*** missing separator, stop

​ 转到对应文件夹下(具体看输出信息):

​ 找到Make file文件

if USE_LAPACK

maybe_lapack = XXXX

endif

if USE_THREADS

maybe_threads = XXXXX

endif

.....

​ 一般提示missing separator是因为makefile不能将四个空格识别为Tab键,但是有些文本编辑器却这么写,

​ 可以使用cat -v -t -e Makefile查看,’^I‘是Tab键

​ 最终坚决方案如下:

ifenq ($(USE_LAPACK),)

maybe_lapack = XXX

endif

下面的if同样的处理

继续:

没有make all 的规则,去你妈的,这是github上的代码吗?果断去sourceforge去下载,

./autogen.sh

缺少,swig,安装重试,没问题

./configure

make

make check

make install

安装pocketSphinx

如果遇到relink的错误,好好看看readme,确保pocketSphinx依赖的库存在或者查看是否sphinxbase安装正确成功。

同样,按照readme的操作,

autogen.sh

./configure

make clean

make check

sudo make install

在这个过程中,**注意环境变量**,可以在etc/profile中配置如下

export LD_LIBRARY_PATH=/usr/local/lib

export PKG_CONFIG_PATH=/usr/local/lib/pkgconfig

出现debug相关的报错,直接删除debug相关的代码,虽然有点费时间,但是我在相关代码里不会改,无从下手,然后就没有问题了

安装好后,就可以测试是否成功,

pocketsphinx_continuous -inmic yes

在我电脑上测试时候,会出现open device (/dev/dsp)(no such file or dir)的问题,但是我的麦克风在/dev/snd下,他是通过配置文件读出来的,这里我就跳过了,啦啦啦,测试一下语音文件的好了。

pocketsphinx_continuous -infile

可以运行,也会输出对应的结果,(file.wav的格式为16000采样率,16bit单声道pcm的编码格式)(格式不对会提醒报错)这里使用的是默认的英文的模型,在model/en-us/en-us下

也可以自己训练模型,使用自己的模型用一下的参数

pocketsphinx_continuous -hmm (your hmm dir) -lm (your language model) -dict (your dication) -inmic yes/-infile file.wav

到此为止,基本上在本机可以运行pocketsphinx,下一步就是将其移植到arm开发板上

移植pocketsphinx

先用交叉编译链编译sphinxbase

./autogen.sh(用于创建./configue文件)

./configure (这里需要自定义而不是使用默认的)

--prefix=/your/lib/home (库文件的安装位置,不使用默认目录,是为了避免与pc安装冲突)

--exec-prefix=/your/bin/home (可执行文件的库位置)

--host=x86_64-unknown-linux-gnu (主机类型,先随便写一个,在检查时候如果不对会提示,查找检查的输出信息,有这个)

--target=arm (目标平台)

CC=arm-hisiv400-linux-gcc

CFLAGS="-L/opt/hisi-linux/x86-arm/arm-hisiv400-linux/lib"

CPPFLAGS="-I/opt/hisi-linux/x86-arm/arm-hisiv400-linux/include"

--without-python (因为带上python库跑的时候会有奇奇怪怪的问题,索性屏蔽掉)

//还有其他可以取消依赖的库,具体可以查看./configure --help

make

sudo make install

问题解决:

configure: error:

Could not link test program to Python. Maybe the main Python library has been

installed in some non-standard library path. If so, pass it to configure,

via the LDFLAGS environment variable.

Example: ./configure LDFLAGS="-L/usr/non-standard-path/python/lib"

============================================================================

ERROR!

You probably have to install the development version of the Python package

for your distribution. The exact name of this package varies among them.

解决办法:一般可以通过sudo apt-get install python-dev解决

​ 还有一种办法:sudo apt-get install libatlas-dev

​ 我试了很多类似的pythonXX-dev都不行,只能使用–without-python取消python库的依赖

root:(yourpc name)#这是超级用户,但是有颜色)

​ 然后执行,就没问题了,鬼畜

​ (详细可以查看man sudo)

“sphinx_fe.o : In function dectect sphinx mfc ….” 没有定义_ISO99_sscanf_

遇到这个问题是因为我交叉编译链是arm-hisiv300-linux,v300的是基于uclibc的库,这个库和v400以来的glibc库相比比较精简,所以会少这些东西,换成v400的交叉编译链就好了

同样的步骤,交叉编译pocketsphinx,命令也是一样

这时候就可以去你的目录下寻找你的bin(可执行二进制文件) lib(库) shared(里面有默认的模型,还有其他东东,没有搞清楚) include(调用pocketsphinx时候头文件)

运行pockesphinx

​ 将之前配置的产生lib和bin的文件夹挂载到板子下,

​ 将bin的文件夹路径加入PATH环境变量中

​ 将lib的路径加入LD_LIBRARY_PATH环境变量中

先运行

pocketsphinx_continuous -infile test.wav

由于使用默认的英文模型,而且编译时候使用了--without-python,不能正常识别,会报错

(默认的英文模型是连续模型,所以不行,只能用带ptm的模型)

在官网下载一个带ptm的声学模型/projects/cmusphinx/files/Acoustic%20and%20Language%20Models/US%20English/

pocketsphinx_continous -hmm /home/XXX/cmusphinx-en-us-ptm-5.2/ -infile test.wav

再次运行,在运行过程中会被系统killed,究其原因,应该是lm太大了,使用系统自带的en-us-phone.lm就可以

pocketsphinx_continous -hmm /home/XXX/en-us-phine.lm -infile test.wav

也可以使用-dict指定对于的字典,这时,应该就可以在hi3516上运行了,然而却不能识别出结果,这里就是语言模型,字典,和声学模型的锅了,垃圾的一匹

按理,hi3516A有64M内存,不应该运行不了,可能是需要配置一下板子的单个程序运行上限,这里只是个人猜测。

可以通过命令行运行识别,也可以通过程序运行

交叉编译语言识别程序:

​ 之前交叉编译得到lib库,include库放在交叉编译链的搜索目录下

​ (执行arm-hisiv400-linux-gcc --print-search-dirs得到具体目录)

arm-hisiv400-linux-gcc hello.c -o hello -I/your/include/dirs -L/your/lib/dirs -lpocketsphinx -lsphinxad -lsphinxbase -lm(注意4个库的顺序哦,不一样也会报错)

​ 含义解释:-I/your/include/dirs 指定头文件搜索路径,应该不用,如果将include的库放在交叉编译链的搜索路径下

​ -L/your/lib/dirs指定库的搜索路径,同上

​ -lpocketsphinx -lsphinxad -lsphinxbase -lm 分别是指定链接 libpocketsphinx.a libsphinxad.a libsphinxbase.a 和 数学库,-lm在很多情况下都需要,应该实现方式和具体芯片ALU有关,所以每一个库实现方式不一样,这个必须有,不然无法链接

训练自带的声学模型,语言模型

声学模型,字典文件,语言模型的关系

声学模型是将语音-》音素的部分,

字典文件是音素到单词的映射关系,

语言模型是通过概率判断音素组合形成单词

这里步骤在这个博客里/zouxy09/article/details/7942784

这里只讲我的理解和我犯的错

模型后缀

作用描述

your_db.dic

语言字典,从单词到音素 比如HELLO HH AH L OW

your_db.phone

音素集合文件,包含所有的音素,还需要加上SIL静音音素

your_lm.DMP/.bin/.lm

语言模型,在其他地方得到,

your_db.filler

其他噪音,主要列举非语音单词,背景噪音啊什么的

your_train.fileids

训练文件列表,指明训练的语言文件的路径

your_db_train.transcription

训练文本对应文件,hello world (file1)

your_test.fileids

文件格式类似train,用于测试

your_db_test.transcription

文件对应表,用于测试

注意事项:

在your_db_train.transcription文件中,

关于性能方面

用pocketsphinx在hi3516A上运行,使用自己训练的模型,识别4句话,准确率一般,单次识别需要2s左右,

3516A是A9 的核,600M的主频,感觉还是挺费时间的,

具体在程序查点得到,前期加载模块需要0.6s,识别需要1.2s左右,目前在考虑如何运行更加迅速

time ./test可以看到运行时间

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。