机器学习的主要应用举例
机器学习即人工智能,用机器从数据中学习去做到人做的事情,如:识别,翻译,推荐等。
其中融合了计算机科学,统计学,脑神经科学,社会科学等多学科知识。
目前机器学习已由传统机器学习阶段进入深度学习阶段(多层神经网络模型)。
机器学习的结构:
1.最底层的是数据(深度学习依赖大数据),和计算能力;
2.基于数据和计算能力,提供解决问题方法,即建模,如LR,GAN,GRU,
3.针对不同场景的不同技术,如识别,翻译,推荐,衍生出不同的技术,如
基于GAN模型的DeepFake算法实现AI换脸,
1.CV计算机视觉
计算机视觉即识别,解决如何识别的过程就是建模的过程,计算机视觉的原理其实是与人脑识别相似的,
属于从生物界借鉴过来的方法,
流程为:
1.瞳孔摄入图像每个像素;
2.人脑首先发现图像边缘和方向,判定这些边缘组成的形状,如:方,圆;
3.人脑判定这些形状组成的图像是什么,如:小猫;计算机视觉模型通过构造多层的神经网络,较低层的识别初级的图像特征,若干底层特征组成更
上一层特征,最终通过多个层级的组合,最终在顶层做出分类。
计算机视觉在常用在图像分类,目标检测,视频分类,人体关键点检测,目标跟踪,
实例分割等,
如:支付宝人脸识别,火车站进站人脸识别,门禁人脸识别,收费站的车牌识别,自动驾驶,美图秀秀等。CNN卷积神经网络在计算机视觉领域中作用很大,因为CV两大难题:特征提取和计算数据量巨大
都能在CNN中解决,最重要的是CNN可以在不影响特征提取的前提下对数据进行高效的降维,减少计算
复杂度,这样CNN能保留了图片有效特征将图片降维成小数据量,毕竟人脑识别时也是识别的各种形状,
这些底层特征是类似的,即各种边缘,若干底层图像特征组成更上一层特征,最终通过多个层级的组合,
在顶层做出分类。
流程为:
1.卷积层:提取图像中的局部特征,即各种边缘,通过多个卷积核来过滤图像各个小区域,
从而得到这些小区域的特征值(每个卷积核代表一种图像模式,即有多种底层纹理模式);
2.池化层:大幅降低参数量级,即降维,同时防止过拟合,通过一个采样窗口对图片下采样,
窗口越大,池化后的特征图就越小,主要是因为卷积核一般较小,经过卷积图像仍然很大;
3.全连接层:类似传统神经网络的部分,用来输出想要的结果,CNN是多层神经网络结构,
且只能处理经过卷积和池化处理过后的数据,否则计算效率极低;计算机视觉已发展到深度学习阶段,所用框架大多用tensorflow编写,其中目前熟悉生成对抗网络
(GAN)可用于图像修复,生成图像,关于生成图像,不得不提一点,目前很火的AI换脸实现最常用的就是
基于GAN的DeepFake算法,那么有了AI换脸,自然也有换脸鉴别算法。
总之,计算机识别,永无止境。
2.NLP自然语言处理
nlp的核心是理解语言,这个语言可以是文本或者语音,基于语料库,可以用来进行UGC情感倾向分析,
根据nlp目标,分为:
一.自然语言理解:侧重于如何理解文本,包括文本分类、命名实体识别、指代消歧、句法分析、机
器阅读理解等。
二.自然语言生成:重于理解文本后如何生成自然文本,包括自动摘要、机器翻译、问答系统、对话
机器人等。
常用算法: tf-idf,textrank,word2vec,lstm/gru,cnn,seq2seq等。
随着深度学习的兴起,CNN,RNN,LSTM都成为完成NLP的主流模型。
目前,transformer的语义抽取能力非常显著。
总结,nlp大多算法用到RS推荐系统中有奇效,非常适用。
3.RS推荐系统算法
随着算法的发展,个性化推荐成为主流,在互联网行业,个性化推荐与非个性化推荐的结合越来越适用。
在信息流场景下,推荐算法给用户推荐用户喜欢的信息内容,如抖音短视频,bilibili推送长短视频,头条号
推送文章,知乎推送文章,小红书推荐短视频等,以增加用户粘性;在电商场景下,推荐算法给用户推荐潜在
购买商品,提升购买成交量,如京东,淘宝等。
其中推荐系统冷启动阶段,基于热度算法(千人一面),把热点内容推送用户,后续通过算法,如CF协同过滤,
做到精准推送。
推荐算法数据来源初期大多是第三方部分信息共享,比如支持QQ登录,可以获得用户部分习惯,社交信息,
共同好友等,基于此进行推荐内容。
当用户在系统上跑起来后,记录用户行为数据,如:收藏,评论,分享,购买等,赋权以计算。
总之,推荐算法不仅要精准推荐(千人千面),还要有一定的新颖度,惊喜,但这样一个过程往往是在推荐
系统慢慢积累了大量用户行为,不断优化模型下完成的。
总之,模型优化,永无止境。