“被打”和“北大” 的相关--- 兴趣数据发掘系列之一)51CTO博客 - 超凡娱乐

“被打”和“北大” 的相关--- 兴趣数据发掘系列之一)51CTO博客

2019-03-06 10:21:45 | 作者: 瑞渊 | 标签: 数据,发掘,北大 | 浏览: 2791

“被打”和“北大” 的相关--- 爱好数据发掘系列之一(唐常杰)


 (阐明:这是在科学博客上的爱好数据发掘系列十二篇中的第一篇,和朋友讨论过,博文不算正式刊物,只把系列的第一篇搬过来,能够宣扬科学网,不算犯规。后边有其它几篇的链接)


  小时分喜爱读爱好数理化,所以久有一个小愿望,写一组爱好数据发掘的科普博文。要把数据发掘的一些概念讲得浅显风趣,需求好的比如,正搜索中,一个风趣的、合适解说相关规矩的比如就冒出来了。

  科学网上三位博主周涛、吕喆、程智在博文(文1 ,文2,文3)  中 对“狼爸打子成才,把三个子女送进了北大”的作业做了定性剖析。  本文借此例来阐明数据发掘中相关规矩中支撑度、置信度和爱好度概念,趁便对此事做个定量剖析, 一起也作为爱好数据发掘系列博文的开篇。

  这个相关规矩 可写成下列方式:
    R1:   被打 --> 北大,  支撑度 s=?,    置信度 c=? 或 反过来      R2:   北大 --> 被打,  支撑度 s=?,    置信度 c=? (查询因果的视点与R1有所不同)

  下面将其核算支撑度、置信度的上限,为简略,选用了一些略有扩大的大略假定和估量。

1 支撑度 (support)
    全国每年高考人数大约1000万人(2008 :1050万,2009:1020万,2010: 957万);把“狼爸”的三个孩子算成同一年进北大(支撑度扩大三倍),假定同年进北大、且都有“被打”的阅历有3K名(支撑度大约扩大3K倍)
  所以,全国考生中 “被打”且 “进北大” 的支撑度s 为:
     支撑度 s = 3K/107 =3K*10-7
    狼爸的故事标明,这儿k≥1,  据知识估量K<10  ( 假如草率扩大K,北大学生会提出抗议,幸亏,这儿仅仅不和的假定 ),所以:
     支撑度 s < 3*10-6     (支撑度没有因果方向, 对R1和R2都适用)
对这样的概率比较小的事情,老练彩民也会只作为文娱,真实不值得媒体少见多怪。

 2核算“北大-->被打”的置信度 (confidence)
2.1 在北京大学内核算
 规矩R1“被打--> 北大” 的 置信度核算稍有点难, 留到2.2末节解析。咱们先核算 R2:“北大-->被打”的置信度,它也相同能阐明某种相关,北大本科生 14000人(大约),均匀每年收学生3500人,设其间挨过家长打的有3K人(1≤k<10),没有挨揍的不少于3470人,则:
     北大-->被打,   置信度为     3K/3500  <  0.86%  
     北大-->不被打, 置信度为     3470/3500  > 99.14%
可见,“被打”和“北大”的相关 很小,缺乏为信,当不得真。

2.2 核算“被打-->北大”的置信度 (confidence):
  如上面假定,假定 同年全国被打的N名,其间进入北大的3K名(如上估量,0≤k<10)则             R1: 被打-->北大, 置信度 = 3k/N ,    假如N很大,k>0,置信度就比较小(不敢简单估量N的详细数值,但不期望N大,那是教育的悲惨剧),    假如N不太大,K>0,置信度就比较大。    假如某年,k=0,不论N是多大,那一年“被打-->北大”的置信度 为0.

2.3 在该家庭范围内核算,兼议规矩的爱好度:
    “狼爸”有四个孩子(不知为什么能够超生),估量四个都挨过打,三个上了北大
             被打--> 北大, 支撑度 0.75, 置信度  0.75。          (1)     这条规矩一旦走出其家门, 就不建立了。所以,精确表达为:             (该家,被打) --> 北大, 支撑度 0.75, 置信度  0.75。 (2)     为了阐明其无意义,咱们还能够发掘出一条千真万确的相关规矩:           (该家子女,每天吃饭) --> 北大, 支撑度 0.75, 置信度  0.75。 (3)     假如把“每天吃饭”改为恣意的保健品,相关规矩也建立,比“打”更具有有诱惑力,说不定还有经济效益。这条无意义的相关规矩,阐明需引进相关规矩的爱好度,此概念稍杂乱,只简介其大致思维。     当相关规矩左面是多个项,如上面的(3)式,能够用减项法测验每个项的奉献,这相似过敏疾病患者判别过敏源,左面乃至能够削减到空集。在(3)式中,     (a)把“每天吃饭”去掉, 不削减支撑度和置信度,阐明此项冗余;      (b)如把“该家子女”去掉,则相当于在全国的大数据集上发掘, 支撑度和置信度马上大减,阐明这个项是至关重要的。       假如一个相关规矩中,每一个项都是重要的,这个相关规矩基本上是有意义的。

3 过错的发掘定论     这儿有几个估量,(1) 所谓的“打”,实际上是高高举起,悄悄放下,是严厉的指代词,还不是那种打得遍体鳞伤的打(那样会打掉庄严和决心,就悲惨剧了);(2)老迈比较明理;(3)老迈对老二老三的影响远胜于老爸打的作用。“狼爸”在发掘相关规矩时分,疏忽了这一要素,“父假长子(女)之威”,用数据发掘的行话,犯了“No interesteness” 的过错(这是一个稍杂乱的概念),得出了过错的发掘定论。4 一个支撑度和置信度都很高的相关规矩
   在输入文本的纠错技能中,常重视词与词的发声相关,或谐音相关,“被打”和“北大”的普通话发音都是“beida”,用拼音输入法时分,二者简单混杂,又例如,本博文在输入最终一节小标题“辨才需待七年期”时,曾把 “辨才”输入为“辩才“(谢谢22楼的朋友的纠正),纠错软件会把近音词按近似度排序列出。由于在语音近似的意义上:
        被打--> 北大,支撑度 100%, 置信度 100%
所以,在用拼音办法输入“被打”之后,作输入纠错查看时,软件列出候选词中的Top 1 就是“北大”,或许能够作为中学生被打后的一种安慰。     这一技能在处理网络文本,微博发掘时也很有用,如标准 “悲惨剧 Vs 杯具”,“p2p Vs. P-to-P",”U Vs. YOU“,以及许多网络同声缩略语等等。5 从前言必称啤酒尿布
    曩昔讲相关规矩时分,常常用啤酒尿布的故事,有三个关键:
    (a)表象剖析:说,沃尔玛经过笼统的出售数据发掘,发现啤酒和尿布常被男性顾客们一起购买,在发掘出来的若干条形如 ( Xi-->Yi ,s=? c=? )的规矩中,这一条支撑度和置信度都比较高;
    (b)内在联系 (这不归于数据发掘,而归于办理)查询发现,婴儿之父下班为孩子买尿布时随手买回自己爱喝的啤酒;
    (c )促销办法 (归于促销手法),把啤酒和尿布放在同一个货架 ,或进一步地,把啤酒降价,把尿布提价,招引婴儿之父的消费。    现在人们认为,这仅仅一个故事,或许,“狼爸”的比如更靠近,更简单消除对概念的误解。
6  猜天然之谜时,数据发掘虽属无法之举,却很有用。
    在人们没有把握行星运动规矩之前,人们从前史观测数据去找规矩,找匹配。第谷是一位试验天文学家,历经40年查询,积累了关于行星运动的许多数据。
  开普勒在第谷的四十年数据上,用手作业数据发掘,发掘了十年,发现了行星运动三大规矩。 Candida Ferreira选用基因表达式编程(GEP)办法,用10个 个别, 进化50代,只需求少得多的数据,几秒钟就可完结(拜见文献[1],P253-257 )。有了这个规矩,现在核算某个行星的方位,就不再需求数据发掘,而直接用公式了。所以数据发掘是在不知道规矩时,而要猜天然之谜时的无法之举。
    现在,未破解的天然之谜还许多,数据发掘虽属无法之举,却很有用,发掘出正确的表达方式(公式,规矩等)后,再设法用理论或模型 来作动力学的或构造性的解说。
    上面的剖析标明,数据发掘能从能从一些往常视而不见的现实中,发掘出令人惊讶的成果。所以,有些国家把数据发掘专业看作是灵敏专业,出国学数据发掘的学生去办留学签证时,常常被Check ,复查,偶然也听说过被拒签。 7 辨才需待七年期 。   “狼爸”的三个子女进了北大,还不能就说是成功了,往后还要作科研,找作业,或许还要读研,写论文…, 等候他们的竞赛还多,要等将来作业上出成果了,才算成功。
   有道是:试玉要烧三日满,辨才需待七年期。期望他们在七年或许十年之后能真实成才,那时的成才,与现在的“打”,真实是没有什么相关了。
   博友已提出问题,问办法,相关规矩怎样发掘 ?问运用,怎样运用相关规矩?且等下篇分化。
参考文献
[1] Candida Ferreira,"Gene Expression Programming ,Mathematical Modeling by an Artificial    Intelligence",Second, revised and extended edition,P253-257 ,Springer,2006 ,ISSN print    edition: 1860-949X,ISSN electronic edition: 1860-9503 ,Library of Congress Control    Number:  2006921791.

相关博文

1“被打”和“北大”的相关--- 爱好数据发掘系列之一

2 烤鸭、面饼和甜面酱之朴素相关---爱好数据发掘系列之二

3 一篇它引上万的大牛论文与数据血统论-- 爱好数据发掘之三

4 巧挖科学博客之均击量公式,兼谈干涉规矩----爱好数据发掘之四

5 听妈妈讲曩昔的故事,分房与分类-----爱好数据发掘之五

6 借水浒传故事,释决策树思路---爱好数据发掘之六

7 宴会上的聚类—爱好数据发掘之七

8 乡村中学并迁选址、K-均匀聚类及蛋鸡悖论--爱好数据发掘之八

9 灯谜、外星殖民、愚公移山和进化核算---爱好数据发掘之九

10 达尔文、孟德尔与老愚公会盟:基因表达式编程--爱好数据挖之十

11 十大算法展光辉,十大问题现秀丽---爱好数据发掘之十一

12 数据发掘中的爱好哲学---爱好数据发掘之十二

其它系列博文的进口  -   唐常杰博客主页  -  科学博客主页


版权声明
本文来源于网络,版权归原作者所有,其内容与观点不代表超凡娱乐立场。转载文章仅为传播更有价值的信息,如采编人员采编有误或者版权原因,请与我们联系,我们核实后立即修改或删除。

猜您喜欢的文章