simonw 大佬有话说 :
transfomer这个框架和其他的深度学习是一个层次的东西吗?
请教下AI大佬
以前的AI好像都是搞些识图什么的
jxpal 大佬有话说 :
可以说吊打:lol
GPT中的T就是Transformer
u104b230 大佬有话说 :
本帖最后由 u104b230 于 2023-3-1 12:16 编辑
Transformer是模型,框架一般是指Pytorch或TensorFlow,而且Transformer通常是用在自然語言,後來有圖像領域的變體叫Vision Transformer(ViT),通常圖像用的後來都是ViT在延伸變體。所以你是還沒學過? 如果你已經學一陣子,還問這基本問題,是不太及格表現 😀
u104b230 大佬有话说 :
本帖最后由 u104b230 于 2023-3-1 12:40 编辑
以前AI發展比較早確實是影像,因為影像分類相對語言是比較簡單東西。而語言比較傳統就是Word2vec,Seq2Seq,這能做到功能有限,後來出了Transformer,才勉強算讓機器能了解字意思。
已做的難度來說: 分類<生成,影像<文字
Tankie 大佬有话说 :
我个外行的理解
以前AI主要突破在图像领域,什么人脸识别啊,监控啊之类的,说的最多的就是什么卷积神经网络就是这个。
但在语言理解上,AI的进展不直不如人意,然后就创造出来了transformer。原来的语言理解的处理流程是尊重语句中单词的顺序,这和我们正常的理解语言类似。但这个顺序处理效果不好,同时因为要等待上个词处理完才处理下个词,导致不好并行处理。
transformer说不用这样搞,attention is all you need。你把整个句子丢进去,训练多了,AI会自己找到关键词和关键的联系。结果证明,transformer是对的。