向善而生的AI助盲,让AI多一点,障碍少一点******
有人说,盲人与世界之间,相差的只是一个黎明。在浪潮信息研发人员的心中,失去视力的盲人不会陷入永夜,科技的进步正在力图给每一个人以光明未来。
AI助盲在人工智能赛道上一直是最热门的话题之一。以前,让失明者重见光明依靠的是医学的进步或“奇迹”。而随着以“机器视觉+自然语言理解”为代表的多模态智能技术的爆发式突破,更多的失明者正在借助AI提供的感知、理解与交互能力,以另一种方式重新“看见世界”。
新契机:多模态算法或将造福数以亿计失明者
科学实验表明,在人类获取的外界信息中,来自视觉的占比高达70%~80%,因此基于AI构建机器视觉系统,帮助视障患者拥有对外界环境的视觉感知与视觉理解能力,无疑是最直接有效的解决方案。
一个优秀的AI助盲技术,需要通过智能传感、智能用户意图推理和智能信息呈现的系统化发展,才能构建信息无障碍的交互界面。仅仅依靠“一枝独秀”超越人类水平的单模态人工智能比如计算机视觉技术还远远不够,以“机器视觉+自然语言理解”为代表的多模态算法的突破才是正确的新方向和新契机。
多个模态的交互可以提升AI的感知、理解与交互能力,也为AI理解并帮助残障人士带来了更多可能。浪潮信息研发人员介绍说,多模态算法在AI助盲领域的应用一旦成熟,将能够造福数以亿计的失明者。据世卫组织统计,全球至少22亿人视力受损或失明,而我国是世界上盲人最多的国家,占世界盲人总数的18%-20%,每年新增的盲人数量甚至高达45万。
大挑战:如何看到盲人“眼中”的千人千面
AI助盲看似简单,但多模态算法依然面临重大挑战。
多模态智能算法,营造的是沉浸式人机交互体验。在该领域,盲人视觉问答任务成为学术界研究AI助盲的起点和核心研究方向之一,这项研究已经吸引了全球数以万计的视障患者参与,这些患者们上传自己拍摄的图像数据和相匹配的文本问题,形成了最真实的模型训练数据集。
但是在现有技术条件下,盲人视觉问答任务的精度提升面临巨大挑战:一方面是盲人上传的问题类型很复杂,比如说分辨冰箱里的肉类、咨询药品的服用说明、挑选独特颜色的衬衣、介绍书籍内容等等。
另一方面,由于盲人的特殊性,很难提取面前物体的有效特征。比如盲人在拍照时,经常会产生虚焦的情况,可能上传的照片是模糊的或者没有拍全,或者没拍到关键信息,这就给AI推理增加了难度。
为推动相关研究,来自卡内基梅隆大学等机构的学者们共同构建了一个盲人视觉数据库“VizWiz”,并发起全球多模态视觉问答挑战赛。挑战赛是给定一张盲人拍摄的图片和问题,然后要求给出相应的答案,解决盲人的求助。
另外,盲人的视觉问答还会遭遇到噪声干扰的衍生问题。比如说,盲人逛超市,由于商品外观触感相似,很容易犯错,他可能会拿起一瓶醋却询问酱油的成分表,拿起酸奶却询问牛奶的保质期等等。这种噪声干扰往往会导致现有AI模型失效,没法给出有效信息。
最后,针对不同盲人患者的个性化交互服务以及算法自有的反馈闭环机制,同样也是现阶段的研发难点。
多解法:浪潮信息AI助盲靶向消灭痛点
AI助盲哪怕形式百变,无一例外都是消灭痛点,逐光而行。浪潮信息多模态算法研发团队正在推动多个领域的AI助盲研究,只为帮助盲人“看”到愈发精彩的世界。
在VizWiz官网上公布的2万份求助中,盲人最多的提问就是想知道他们面前的是什么东西,很多情况下这些物品没法靠触觉或嗅觉来做出判断,例如 “这本书书名是什么?”为此研发团队在双流多模态锚点对齐模型的基础上,提出了自监督旋转多模态模型,通过自动修正图像角度及字符语义增强,结合光学字符检测识别技术解决“是什么”的问题。
盲人所拍摄图片模糊、有效信息少?研发团队提出了答案驱动视觉定位与大模型图文匹配结合的算法,并提出多阶段交叉训练策略,具备更充分的常识能力,低质量图像、残缺的信息,依然能够精准的解答用户的求助。
目前浪潮信息研发团队在盲人视觉问答任务VizWiz-VQA上算法精度已领先人类表现9.5个百分点,在AI助盲领域斩获世界冠军两项、亚军两项。
真实场景中的盲人在口述时往往会有口误、歧义、修辞等噪声。为此,研发团队首次提出视觉定位文本去噪推理任务FREC,FREC提供3万图片和超过25万的文本标注,囊括了口误、歧义、主观偏差等多种噪声,还提供噪声纠错、含噪证据等可解释标签。同时,该团队还构建了首个可解释去噪视觉定位模型FCTR,噪声文本描述条件下精度较传统模型提升11个百分点。上述研究成果已发表于ACM Multimedia 2022会议,该会议为国际多媒体领域最顶级会议、也是该领域唯一CCF推荐A类国际会议。
在智能交互研究方面上,浪潮信息研发团队构建了可解释智能体视觉交互问答任务AI-VQA,同时给出首个智能体交互行为理解算法模型ARE。该研究成果已发表于ACM Multimedia 2022会议。该研究项目的底层技术未来可广泛应用于AI医疗诊断、故事续写、剧情推理、危情告警、智能政务等多模态交互推理场景。
眼球虽然对温度并不敏感,但浪潮信息的研发团队,却在努力让盲人能“看”到科技的温度,也希望吸引更多人一起推动人工智能技术在AI助盲、AI反诈、AI诊疗、AI灾情预警等更多场景中的落地。有AI无碍,跨越山海。科技的伟大之处不仅仅在于改变世界,更重要的是如何造福人类,让更多的不可能变成可能。当科技成为人的延伸,当AI充满人性光辉,我们终将在瞬息万变的科技浪潮中感受到更加细腻温柔的善意,见证着更加光明宏大的远方。
共同家园,中国军人为您守望******
本报记者 康子湛 朱柏妍 通讯员 梅志峰
找到白杨,就找到了回家的方向
“班长,还有多远?”
“快了,看见小白杨就快到家了!”
腊月三十,塔斯提风雪扑面。
巡逻路上,新疆军区某边防连新兵陈烨努力提高音量,顶着大风向班长杨柯熙问路。杨柯熙费力地指了指前方——风雪中,一棵白杨树矗立着。
塔斯提的冬天,可怕的不是大雪,而是伴随大雪的风。突然刮起的大风,会让大雪覆盖唯一的路。四周没有任何参照物,没人知道大雪覆盖之下隐藏着什么危险。
风雪中,杨柯熙第一反应就是找白杨树。他知道,那是他们回家的方向。
18岁那年,杨柯熙第一次跟着班长巡逻,返回的路上遇到大风,四周尽是白茫茫一片,老班长指挥大家寻找远方的白杨树,告诉他们:找到白杨就能找到方向。
戍守边防10年,小白杨已经成为杨柯熙标定“家”所在位置的重要坐标。
杨柯熙说,在小白杨哨所,战士们都把营门口的白杨当作自己的战友和寄托。
有人迷茫时,老班长会把他叫到白杨树下谈心;有人受挫时,会偷偷跑到白杨树下宣泄情绪;逢年过节,给家人打电话,官兵也总是给父母妻儿热情介绍他们的小白杨。
在小白杨哨所,官兵们夏天在它如盖的树荫下乘凉,冬天靠着它粗壮的树干躲避风雪。每年退伍季,有太多的老兵和战友拥抱道别时强忍泪水,转过身却抱着白杨树泣不成声。哨所前的白杨树下,早已成为他们的另一个家。
“塔斯提缺水,白杨树想活下来就要把根扎深。”杨柯熙一直记得,刚来连队时,指导员对他们说的话。10年过去,杨柯熙的皮肤早已被边疆的风吹得粗糙发黑,双手布满茧子和裂口,仿佛小白杨的树皮。杨柯熙和战友们也深深地扎根在这里,度过了一个又一个春夏秋冬。
塔斯提的冬天很漫长,但再漫长的寒冬也会过去。如今的杨柯熙经常带着新兵巡逻,每次路过当年迷路的地方,他都会拿望远镜看向远处的小白杨,告诉身边的新兵:那是回家的方向……
去年,面对去与留,杨柯熙再一次选择了留下。他说,自己的根已经扎得太深,他舍不下这个家,舍不下他的小白杨。
那座铁塔下,有她的爱人她的家
朱日和草原上,一辆接送来营探亲家属的车,正小心地行驶在覆着冰雪的路上。
军嫂乔少娟看着一片荒芜的窗外,默默在心里算了下:从老家出发到现在已经坐了45个小时的车,自己已经有127天没有面对面地见到自己的爱人。
这些数字,代表着一个军嫂和丈夫的距离。这是老家和驻地的距离,也是分散和团圆的距离。
远远地,一座铁塔渐渐显出轮廓,乔少娟知道,快到家了。那座铁塔下,有她的爱人她的家。
刚结婚那几年,乔少娟多次提出想到丈夫的驻地探亲,都被丈夫劝阻。直到他们结婚的第8年,女儿出生后,乔少娟才第一次踏上这片土地。
第一次看到营门时的情景,乔少娟终生难忘。那天,她流了很多眼泪,这里远比丈夫电话里讲述的还要荒凉、比她想象的还要偏远。
如今,乔少娟带着一双儿女千里迢迢地赶来和爱人团聚,再见到记忆中的场景,却只觉得亲切和激动。这条路、这扇门,她后来走过很多次,陌生的探亲路早已被她走成了熟悉的回家路。
女儿扒着车窗,开心地和站岗的解放军叔叔挥了挥手。年仅2岁的儿子仿佛也知道就快要见到爸爸了,在怀里睁大了眼睛。铁塔逐渐清晰,上面七个气势昂扬的大字映入眼帘:从这里走向战场。
女儿懵懂地指了指铁塔,问妈妈那是什么。乔少娟摸了摸她的头说:“看见这个,再过10分钟就可以见到爸爸了。”
多年的沙场演兵,让朱日和名声大震。可在乔少娟的心里,朱日和,是有丈夫在的地方。
每逢佳节,都有无数的军嫂走在路上。从第一次走到轻车熟路,从好奇地四处张望到知道前方会有哪个标志性建筑。
西北高原,军嫂李红正坐在行驶的汽车里,一边吸着氧一边看向窗外。这是她第一次上高原,她把丈夫营区旁的一座大山牢牢记在了心上。
南国海疆,军嫂郭盈正坐着小船奔向丈夫驻守的海岛,生长在内陆的她,如今早已和那些伴飞的海鸥“相熟”。
白山黑水,军嫂霍会娟从书架上拿出一本厚厚的集邮册,里面贴满了车票和机票。从恋爱到结婚十几年,她和丈夫“互相奔赴”的过往历历在目,如今他们已经在这座城市有了自己的家。
一年又一年,军嫂们奔向自己的爱人,也奔向自己的另一个家乡。
任务归来,他们把竹林带回了营区
除夕夜,参加完营里的联欢会,第83集团军某旅勤务保障营营长张军伟,接到了一通微信视频邀请。
“张叔叔,过年好!”亲切的四川口音从手机里传出,瞬间把张军伟带回了10多年前。那年,任指导员不到一年的张军伟,带领连队前往四川抗震救灾。
“小黄的家就在我们帮助重建那个村的村口,每次进出都会路过,时间久了就熟了。”电话那头的四川青年就是张军伟口中的小黄,全名黄寅杰,地震那年才6岁。
看着前来救援和帮助重建的解放军叔叔们每天辛苦忙碌,当时才6岁的黄寅杰总是会跑过去帮忙。好几次,他拿着每天派发的水和食物,送给路过的解放军叔叔,被拒绝了也不走,非要亲眼看着叔叔们吃了才肯离开。
“他家门口有泉水,是少有的没有被污染的水源,所以我们每天中午都去他家附近起锅做饭。”回想起往事,张军伟的眼里满是暖意,“黄妈妈总来帮我们,有些四川特色的家常菜,我到现在还印象深刻。”
在张军伟的记忆里,四川老乡个个开朗热情,即使刚刚经历那样大的灾难,依旧乐观坚强,处处流露着过好未来生活的勇气和希望。
离开四川前,张军伟和黄寅杰的家人互相留下了联系方式,并一直保持联络。最近几年,黄寅杰家开起了农家乐,日子越过越好。张军伟说,每次他们家有什么好事大事,都会和自己分享。年前,黄爸爸还邀请他们全家去四川过年。
那年在四川执行任务只有短短的70天,但张军伟说,离开四川那天,几乎每一名参与过任务的官兵都多了一个或几个四川籍的“亲人”。大家在四川留下了自己的牵挂,十几年过去,依旧会称那一片土地为“家乡”。
窗外,一朵烟花炸响在夜空,将一片竹影映到了窗上。张军伟说,家属区旁边的这片竹子,就是从四川回来后,他带着大家种下的。最开始只有几棵,现在已经长成了一片。
在四川抗震救灾时,最让张军伟印象深刻的莫过于漫山遍野的竹林。那是作为北方人的他,第一次感受到如此旺盛的生命力。四川老乡们坐在家门口的板凳上,教他们剥竹笋、做竹笋炒腊肉的画面,在他们的记忆里停留了许多年。
“任务归来,我们把竹林带回了营区。”挂断和黄寅杰的电话,张军伟很是感慨,“每当看到这片竹林,我们都会想起自己远在四川的‘亲人’,想起那个我们亲手重建起的‘家乡’。”
舰行万里,脚下始终是“家乡”
“今天晚饭可丰盛了,还有咱南昌的特色菜呢……”年夜饭后,来自南昌的上等兵胡嘉豪兴奋地和妈妈通了电话,分享自己在南昌舰上度过的第二个春节。
2021年3月12日,是胡嘉豪19岁生日,也是他到南昌舰报到的日子。胡嘉豪一直记得接兵干部打趣时和他说的那句:“南昌人到南昌舰,这是回家了啊!”
南昌人,这是出生地赋予他的属性。做一名南昌舰上的合格兵——为了这个目标,胡嘉豪付出了无数的汗水和努力。
刚上舰时,胡嘉豪每天的时间都被专业学习和检视检修填满。一轮接一轮的战斗部署时常在深夜下达,刺耳的铃声让人睡意全无。胡嘉豪和战友们努力克服着晕船等生理不适,逼着自己时刻保持战斗状态,一秒也不敢松懈。
第一次参与射击任务,胡嘉豪要求自己提前进入战斗状态,仔细检查、养护每一枚炮弹,确保它们都处在最佳环境条件下。任务当天,他站在靠近主炮的位置,熟练地完成射击准备工作。
“听到首发命中的消息时,我感觉浑身的血液都沸腾了。”那一刻的振奋和激动,胡嘉豪至今回忆起来依旧历历在目。胡嘉豪一直把那一天作为一个重要的成长标记:“标志着自己成为一名合格的南昌舰战士,激励自己保持努力、保持热血。”
“英雄城、英雄舰、英雄兵,第一枪、第一舰、第一人”——这是镶嵌在南昌舰走廊上的一句话。每一次看到,胡嘉豪都会感到由衷的自豪。他常说:“南昌人在南昌舰,总要更努力些,做得更好些。”
此时此刻,在南昌舰上,来自祖国各地的官兵都在坚守战位。他们努力训练、一丝不苟,尽全力守护着属于南昌舰的荣耀——
一级上士都晓辉陪伴着南昌舰从试航到入列,一次任务都没有缺席过。作为机电兵,他常年坚守在高温、高噪、高湿的机舱深处,守护着南昌舰的“心脏”。今年春节,他依旧主动选择留守战位。当同班战友问他想不想家时,他说:“天天守着,战舰早也成了家。”
南昌舰副政委刘天永的办公桌抽屉里有10多个装满海水的塑料瓶,上面详细标记着取水的时间和海域。作为南昌舰首批舰员之一,他亲身见证了南昌舰的每一个成长节点。
刘天永说:在海军有一种说法——舰艇是浮动的国土。对于常年生活、工作在战舰上,以战舰为家的官兵来说,战舰走到哪里,家就在哪里。
“船行万里,脚下始终是‘家乡’。”刘天永说,这是所有舰艇官兵的共同感受,也是中国军人博大的家国情怀。
(采访中得到本报记者刘敏,通讯员王越、刘宸源、杨鹏飞、杨贵良、柯青坡、张光轩、王泽洲、刘卫、张根实等大力协助,特此致谢)(解放军报)
(文图:赵筱尘 巫邓炎)