把场景转化成语音，AI技术如何扶助视障者？

做者｜西西弗

蔓小妮是安徽一位28岁的女孩，她长相甜美，看起来与常人无异，几乎天天都在抖音上分享本身的生活视频，还积存了2.3万粉丝。她签名里写着，喜好唱歌，性格开朗，也很顽强。

但她是一位视障女孩。

与一般人比拟，视障者在生活中面对诸多未便。社会对他们生活的改进可能仅限于增建更多无障碍出行设备。但现实上，他们与一般人一样有多样化的生活需求。

好比，她们也想化装，也想打游戏，也想接触各类工做时机，而不是承受往推拿院做盲人推拿师的宿命。

假设有强力辅助的话，他们的出路不会被困在推拿院里，期待不确定又具有风险的生活。

根据数据展现，全中国目前大约1700多万视障者。越来越多的社会力量已经存眷到那一群体，并试图用手艺和公益的体例来搀扶帮助他们处理现实生活中的窘境。

盲人是怎么看短视频和曲播的？

小志与蔓小妮一样，都是视障者。几年前，小志在考研路上突发疾病招致了目力急速下降，并且不成逆。

世界变得模糊之后，小志的生活也苍茫过。后来他注册了抖音账号，通过视频的体例，以切身履历告诉跟他有同样履历的小伙伴，不向命运让步，争取更超卓的人生。

他在抖音上次要分享视障群体若何生活的视频内容。好比，视障者利用电脑小身手，以及目力欠好若何点菜，若何发帖评论等。

你可能会很猎奇，视障者是若何利用手机的？

关于一般人来说，看图标就能够利用手机，但关于视障者来说，他们需要在手机上安拆特殊软件，或者把手机设置为旁白形式，通过听觉来利用。好比，苹果手机里自带VoiceOver。

在苹果手机中，点击通用里的辅助功用，就能够翻开VoiceOver的“旁白功用”。在那个功用下，用户手指触摸到手机的任何一寸屏幕城市先以旁白的形式发出语音提醒。

“一般人利用手机，点一下图标就能够翻开APP，我们点一下手机起首跳出来的是旁白的声音，告诉我们摸到的是哪个利用，然后我们通过双击翻开。”一位盲女推拿师告诉剁椒TMT。

在读屏软件的搀扶帮助下，越来越多的视障者正在通过短视频平台开启更大的世界，以至还有视障者在抖音开曲播，赚钱养活本身，也有视障者通过卖美妆产物，获得了本身的第一桶金。

像抖音上的肖佳，就是一位视障者的美妆博主。在她的签名里写着，就算看不见，我也要美。

为了进修化装，肖佳要记住每个化装品的名字以及包拆外形。为此，她让女儿给化装品贴上盲文标签，再靠记忆力记住颜色改变。她还通过一遍一遍的上妆、卸妆来记住高光和腮红到底打几才算适量。

现在，肖佳能够在短视频平分享本身的妆容和穿搭，还能够精准地描画手里拿着的衣服格式。

不外，手机里自带的软件只能处理视障者一些利用手机的根本需求，他们的生活中仍然存在诸多未便。好比，早上穿袜子到底穿什么颜色，才气搭配本身的衣服，曲播间里展现出来的服拆到底是什么格式，什么材量？

“我们在利用手机的时候，屏幕上的文字能够通过读屏软件听得到。但碰着图片，特殊是图片上的图案和文字的时候，领会起来比力困难。”上述盲女推拿师告诉剁椒TMT。

AI手艺若何处理视障群体的生活难题？

找图片确实是视障群体创做的过程中的一大难题。即使有一整个图库，他们也纷歧定能找到一张高清又适宜的图片。

不久前，由抖音集团、北京字节跳动公益基金会等组织举办的“AI助力视障群体”的“手艺公益立异杯”大赛决赛举办。针对视障者找图片难、选图难的问题，大赛上一收名为BANG的团队专门做了产物降低视障者在图片方面的门槛。

“我们次要是让视障者具备图像编纂才能。好比若何客看的描述那个图像，有些词只要非视障群体能理解，视障群体是不克不及理解的。因而我们做了一个描述的按钮，视障者附和点开，看一下能否称心，称心才会陆续。”来自BANG团队的成员介绍说。

事实上，视障群体能做的工作远超出外界的想象，只是受限于现实前提，他们的需求并没有被得到很好的称心。手艺的打破带来了更多可能，拓宽了需求的鸿沟，同时也逐步消弭视障人士和非视障人士之间的社交鸿沟。

一次偶尔的时机，抖音集团产物司理、熊猫美妆项目标队长在抖音上刷到了肖佳的美妆视频，并敏捷联络到她。看到肖佳对化装的热爱与对峙，任锴锴起头根究，假设做一个公益美妆项目对市场、人群的价值事实在哪里。

于是，任锴锴起头了用户调研。他发现，视障者化装过程中，一个显而易见的难题是，她们无法从镜子中看到本身妆容，也无法辨认颜色，更别提停止部分妆容的细微调整，只能通过伴侣获得反应信息。如许一来一回，十分消耗时间。

假设能通过AR手艺，识别出视障者化装过程中哪步是对的，哪步是错的，将极大地降低她们的化装门槛。

为此，熊猫美妆在产物上增加了一个“内容纠偏”的功用。它能实时反应给视障者，眼线有没有花长，口红有没有出界，物料的颜色也能给出精准地提醒。

在那个过程中，熊猫美妆需要征服的第一个难题是，因为摘集视障者眼部信息困难，互联网行业没有针对那小我群的脸部数据库。因而，在算法的精度上是有很大缺失的。产物前期的精度可能只要一半摆布，但目前，视障用户们在给出更多的数据反应。

“化装是视障者的根本权力。当我们起头想，她们为什么需要化装的时候，自己就是对他们的一种鄙视。”任锴锴说。

熊猫美妆处理的还只是视障群体在垂曲生活范畴的需求。那么，灵瞳团队则处理更多视障者生活中存在的普及问题。

好比，天天早上睁开眼睛，若何根据颜色搭配本身的衣服，往冰箱觅觅本身喜好的食物能不克不及找到，会不会已颠末期了？灵瞳开发的APP能够通过答复问题的体例，间接获取那些信息。

“AI语音和视觉手艺能够引导视障者更快更准确地找到响应内容。用户能够通过对话体例定位物体的详细位置。好比，想找一个黄色的工具，你能够拿着摄像头往觅觅，一旦你找的目标呈现，灵瞳就会提醒你位置，在屏幕的左侧仍是右侧。”灵瞳负责人表达。

在视觉识此外根底上，灵瞳的产物还加进了智能信息检测。也就是说，一旦有身份证、银行卡等私密信息进进拍摄范畴内，APP会主动发出提醒，以免视障者无意间泄露本身的关键信息。

抖音集团的公益进阶

创做大赛中12组参赛步队别离供给了关于视障人群出行、办公、购物、美妆、游戏等需求的智能处理计划。最末，灵瞳、熊猫美妆等团队拿到了决赛的现金奖励。

抖音集团迁就决赛中那些有价值的项目停止孵化和落地，成为实在可用的产物。

除了现金奖励以外，抖音集团也在手艺和人才上撑持视障公益手艺和产物的研发。

本次AI立异大赛进进决赛的12收团队大部门都来自字节内部，他们有些是产物司理，有些是工程师，部门是来自清华大学等高校的学生。他们日常平凡仍是定时上班，周末和其他歇息时间来研发那个视障公益产物。

任锴锴表达，公益不该该是有门槛的，它应该是能够复造的。“好比我们在深圳做了那个产物，那么，在北京，上海的小伙伴们也都能够做；第二，我们不期看那个产物实的办事几万万人，我们做不到，假设能办事100或者1000个用户，我们的项目就是胜利的。因为比拟一般的互联网产物，公益项目最重要的就是落地，可以帮到那些实正需要搀扶帮助的人。假设那个产物可以搀扶帮助100小我实现化装自自在，我们的产物价值就十分大了。”

那已经不是字节第一次针对视障群体的公益动作。从2019年起头，抖音就启动了信息无障碍优化，通过开启 Google TalkBack（或第三方屏幕阅读）功用，将用户在屏幕上触摸选中区域的内容朗读出来，使得视障者能够根据朗读的内容获取本身当前操做区域的信息，从而提拔视障人士的利用和交互体验，顺畅地操做APP。

在内容上，平台还开启了残障公益创做者招募搀扶方案，优良内容和优良创做者有时机获得流量搀扶和官方持久协做时机，该方案旨在引导更多人存眷、搀扶帮助障碍群体。

2021年，西瓜视频上线了“无障碍影院”频道，均匀每月上线10部以上无障碍影片的频次。目前，无障碍影院已经上线了超越100部做品，包罗涵盖《我不是药神》、《大鱼海棠》等。用户只需翻开西瓜视频,搜刮“无障碍影院”即可进进频道,抉择影片起头“看”影。

看影过程中，从演员表到谢幕，除了演员的台词和布景音音，任何空白镜头都有西瓜视频的工做人员做旁白停止精准描述。好比，何润东主演的《各处狼烟》那部片子一开头，是一个阳光亮媚的夏季午后，旁白是如许说的：阳光穿过茂盛的树林，那里是枫林渡镇，顺着粗壮的树干延伸，枝杈出有个抱着枪睡午觉的兵士……

过往几年，做为一家科技公司，若何做好公益，是抖音集团高层不断在根究的问题。

为进一步发扬“互联网+公益”形式的浩荡影响力，抖音集团结合多方力量倡议了数个差别的公益项目。抖音公益相关负责人李涛曾表达，公益应该数年如一日，把一件事做穿、做透。