hehekotete 大佬有话说 :
我们来聊聊中文搜索引擎
本帖最后由 hehekotete 于 2020-4-12 14:44 编辑
由于有人来讨论搜索引擎的问题，个人不算大佬，但是用框架写过一些站内搜索引擎（whoosh，Lucene)。基本上懂搜索引擎怎么运作的。
个人认为搜索引擎最重要的就是
1. 数据搜集（爬虫）
2. 倒排档索引
3.precision, recall, rank
4. others: NLP, recommendation system, etc.
爬虫部分主要的问题就是 机器多不多，爬虫工程化能力，网络能力，机器人协议等等，至于反爬虫，验证码之类的等等一系列问题就不提了。
其实还有个问题一直没人关注，那就是搜狗本来有知乎和公众号的平台，按道理来说他的内容是最丰富的，但是现实是很狗屎。。。
索引核心问题是分布式存储，源远流长的问题。由于场景需要，mapreduce引流了大数据的潮流。
这部分古狗比较领先。
搜索引擎排序的核心几个问题是precision， recall， rank。
recall一般对于会用搜索引擎的来人来说最重要，这一点百度很垃圾。
precision和rank来看，古狗由于不懂中文，水平不行，我个人使用来看全是csdn。然后古狗其实也在偷偷进行一些审查和过滤。
比如你搜索一些sq的东西，如在google.com.hk上搜某图书馆，会提示 找不到和您查询的相符的内容或信息。
但是百度由于太懂中文，用竞价排名，也不行，基本上我每次搜索都需要变 xxxx 为 "xxxx"， 否则他总是会切词，然后带你去广告。。。
其他的东西都是ai相关，这点百度虽然起步早，但是不知道这么回事真的菜啊，paddle是真的不行，我记得当年（2017年）我还想支持一下国产，然后python还在2.7。py3都跑不起来，最后tf完事了，基本上我觉得这块百度落后很多。
不是踩谁，只是你一个大帽子古狗中文不行，你得想想为啥人家英文能”行“。 中文搜索现在基本上全部都在退步，主要的问题还是源头的问题。
www是互联为基础的，你微信公众号是反互联的。。。
有朋友说什么用户好不好什么的，就不在这个帖子讨论了，本帖主要讨论相关技术。
Antony 大佬有话说 :
我感觉和爬虫爬取的能力有很大关系:lol
h20 大佬有话说 :
私以为搜索引擎最重要的【分词】你却没有写出来
kittyy487 大佬有话说 :
说的有道理百度一心只想着赚钱 没有梦想
hehekotete 大佬有话说 :
对于我们日常使用来说，我个人的建议包括但是不局限于：
1. 必要的ad插件
2. site: *.io， 引号搜索等技巧的应用
3. 学习英文
hehekotete 大佬有话说 :
h20 大佬有话说 : 2020-4-12 14:33
私以为搜索引擎最重要的【分词】你却没有写出来
分词并不难，主流都能有不错的效果，你用个jieba都有85的准确率，不是核心能力。
现在bert横空出世，以字为基本单元，对于NLU,分词我觉得都不需要了。
nbarock 大佬有话说 :
谈这么多没用，大多数人都是以自己的主观体验为准，每次搜同一个东西，这个就很容易搜到，那个就像屎一样，你看用户怎么评价？
G奶 大佬有话说 :
h20 大佬有话说 : 2020-4-12 14:33
私以为搜索引擎最重要的【分词】你却没有写出来
大佬，chrome不能用flash了，你是怎么换头像的啊？
h20 大佬有话说 :
G奶 大佬有话说 : 2020-4-12 14:39
大佬，chrome不能用flash了，你是怎么换头像的啊？
不告诉你，免得你又换头像
我是IE党，表示没有压力:lol
hehekotete 大佬有话说 :
你们居然没有人关注到古狗其实也在做过滤这个问题吗？
在google.com.hk上搜某图书馆，会提示 找不到和您查询的相符的内容或信息