一个程序员的诉求：合成三岁儿子已故妈妈的声音
原题目：能不能从录音文件里提取语音特征，再做个性化语音合成 来源：https://www.oschina.net/question/120883_2177742 OSCHINA
progidal 发布于 2016/05/13 17:31 阅读 1K+ 收藏 0 答案 8 HTK 诸位 语音分析处理等相关领域的高人， 我实在有事相求， 现在只能广发此求助信，希望能得到些许帮助。
现在我手上只有若干个语音文件（wav）， 我老婆生前留下来的， 简单的来说， 就是想要三岁的孩子，以后还能听到妈妈的声音， 孩子叫妈妈， 妈妈会答应一声， 再奢望一点，就是孩子能和妈妈 能简单的对话， 让孩子感觉到 妈妈还在他身边。
我有很多种空想和假设，但是实现起来，却是如此的困难， 翻遍互联网， 发现要做个性化语音合成，必须先对她进行声音训练， 可是她人都不在了，怎么去训练呢， 怎么提取她的语音特征？
我实在没有办法，只好跪求诸位高人， 帮我出出招吧， 求求您们了!!!
这是2016年1月3日我们在笔记本前拍唯一一次全家福
第一步计划，目标很简单：
1、从录音文件里提取 语音特征， 来合成其他语音，
2、用她的语音特征，来代替我的说话声音
3、语音聊天机器人，用她的语音特征发音， 这是后话。
您们看看 能给我提提建议吗， 哪怕给我指定一个方向， 我也好走啊， 求助啊求助。虽然我没有什么钱， 但是我绝对继续为她花钱，来报答您们的帮助。
我本人也是三岁的时候，失去母亲的， 我深深知道没有妈妈的孩子， 会承受上天给予多么严重的不公平， 也许是宿命， 但是我不想我闺女再去重复我的悲剧！绝对不能。
求求您们帮帮我， 她的身体没了， 我可以想尽办法，重新给她造一个， 她的声音没了，只有您们能帮我， 求求您们帮帮我吧。
孩子还在等着我带妈妈回家呢， 我对孩子撒谎，“妈妈生病了，躺在医院不能动，不能说话，以后你要照顾她 ”，“等过年了， 我们有住的地方，我就把妈妈接回来， 我们一家三口 又能开开心心在一起！”， “现在妈妈生病住医院，花了很多钱，爸爸要去上班挣钱，把妈妈接回来”。
如果您们有什么建议的方向或者路子， 有可能的邮箱、论坛、或者博客，给我指条路也好啊。 回我邮件提供帮助信息的，顺便回一个微信或者支付宝账号， 我无论如何，会多多少少给予相应的报答， 真的！ 请您不要嫌弃我的微薄的回报， 我会把您铭记在心里， 如果您不嫌弃， 我会把今后，关于 孩子妈妈的重塑计划的成果 给您们 反馈和分享。
最后，衷心的感谢，诸位能在百忙之中能看我的这篇邮件
本人 彭长春 tel 13391779559 QQ 420993170 很普通的一个程序员 今年29岁， 我妻子也是29岁， 孩子3岁半， 关于她妈妈出事的事情经过 我已经传在百度贴吧里，http://tieba.baidu.com/p/4520527314?pid=88839687410&cid=0&from=singlemessage&isappinstalled=1&pn=0&
真诚期待您们的帮助，谢谢！
原文回帖
1 黄冠能 2016/05/13 19:18
很同情你的遭遇，希望你可以慢慢忘记伤痛，坚强地把孩子带大。
我不能帮你合成到真人一样的声音，甚至你的女儿可能也无法辨认出是妈妈的声音。因为你手上的录音很可能质量不够好，有各种背景噪音，录音时的环境差异也很大。
大概的方案是这样子的，我假设你太太讲的的普通话，普通话里一共有约5千个拼音，全集在这里，你使用Audacity音频编辑软件，对你太太的音频进行剪切，务求找到每一个拼音的音频，文件名保存成对应拼音。按照每一个音花一分钟时间来计算，这也是非常大的工作量。音频可能需要后期处理，比如调整音量，剪切两边的空白。
收集好之后，安装Ekho，把ekho-data/pinyin.dict删除，把你的音频复制到ekho-data/pinyin/，理论上就会用你提供的音频来合成语音。如果不行，到时再找我吧。
我个人建议你先多花时间陪女儿，等女儿对你的依赖程度超过妈妈的时候就和女儿解释清楚事情，不要等她长大了才发现被欺骗了。我觉得你应该尽量让女儿遗忘过去，而不是不断提醒她。你先要帮自己走出阴影才能帮女儿走出阴影。她才三岁，其实应该很容易忘记的。最困难的是你自己，你女儿在怎样情绪的家庭环境下长大，她就会养成了怎样的情绪。
黄冠能 2016/05/16 10:16
回复 @progidal : 这个问题分两种情况，一种是有缺失部分声调，比如有pin1，没有pin2，那么可能可以通过一些算法实现（具体细节我打算近期研究eSpeak是怎样做到的，你有兴趣的话我们可以一起研究）；另一种是整个读音都缺失，那么我们可以从具有它的元音和辅音的其它录音中提取再拼接来合成。
progidal 2016/05/15 21:36
谢谢您的回复，我找不齐 所有 拼音 ， 录音文件很好， 我的思路 是 能否 从 他简单的音频录音里， 提取她的语音特征，来去模拟其他的合成语音？
风中蜡烛 2016/05/14 08:56 Android
伟大的父爱，赞一个！
progidal 2016/05/17 21:53 谬赞，我惭愧至极
断桥残雪断桥残雪 2016/05/14 15:17
伟大的父爱,被感动了!!但是我的水平现在还做不到!!抱歉了~~
progidal 2016/05/15 21:45
我想自己做， 就是不知道如何怎样下手
progidal 2016/05/15 21:49
我在网上查到 有人可以做到 特定说话人替换， 不过是别人的论文，不知道他是怎么做到了， 实在没有办法， 我就自己做，就是不知道该如何下手， 从语音合成下手？ 用开源库 htk ？ mfcc？ lpc？ 等等？
黄冠能 2016/05/16 10:06
曾经有这样一个研究成果，好像在某个TED演讲里提到。一个小朋友后天不能说话，需要借助语音合成工具，好像霍金那样。但是希望语音合成的声音更像她自己的声音，于是从她失声前的音频提取要素添加到TTS中实现了这一点。
所以，你的想法理论上是可以实现，并且有人实现了的。
但是，这是一件很复杂的事情，不是会写代码就可以的。我在这个领域很业余地研究了10年，没有什么大的进展。我暂时简单地归结为自己的智商不够，并暂时肤浅地推断这件事需要一流大学相关方向上的博士才能研究出比较好的成果。单从对你女儿幸福着想，这不是一条很理想的路，它比不上把研究这件事的时间花在陪你女儿上。
progidal 2016/05/17 10:00
谢谢您，点醒了我一个重大失误，看来语音这块，也不是一年半载能搞定的
progidal 2016/05/17 10:10 Android
不过我答应了闺女，要把妈妈接回来，只是我之前已经给她打过招呼，说起妈妈生病了，不能说话，不能动弹。这需要以后她自己学本领去治好妈妈。 看来我只好先为她妈妈做躯体了 不过我不想放弃，最喜欢听她的声音了，就恨自己之前没有提前为她存入声音银行，一切来的那么突然，让我猝不及防。 我愿意把我剩余的精力，投入到她的语音合成上面，至少要达到我的预期水平。 只是我以前对这个方面没有接触过，隔行如隔山，路在哪里都不知道。希望各位前辈能多多指点！感激不尽，我愿意把我的这方面所有成果拿出来和大家分享，谢谢您们
progidal 2016/05/17 10:12 Android
我也相信，应该有人已经能做到这点，就是苦于找不到他们，唉。。。
漠尘 2016/09/19 12:35
楼主，闲来无聊搜索语音识别的时候看到你的帖子，不知道你还能否看我的回复，根据你的情况按照我浅显的经验来判断，还有上面各位大神的回复，我认为做出来很麻烦。所以我们可以换一种思路，为什么不找一个专门模仿声音的人来录制声音资料呢，这个灵感来自于《惊天魔盗团》片段。技术就是要用各种合理合法方式来达成目的，创意更为重要，希望帮到楼主。
