全部版块 我的主页
论坛 数据科学与人工智能 数据分析与数据科学 SAS专版
8019 3
2014-04-28
用kindex做文本匹配,如果kindex的第二个参数是一个向量,在做表连接的时候,是否会出现查不出文本所在位置的情况?

proc sql;
create table x as
  select * from
   table1 t1left join talbe2 t2
   on kindex(t1.var1, t2.var3) ne 0;
quit;
还会提示,“该查询涉及多个笛卡尔积。。。。”
用1000000行和1000行匹配效率极低。
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

全部回复
2014-4-29 08:58:04
你是在sql语句里用的kindex
出现的位置也是在on子句里
在这里是用t1表每个观测的var1变量和t2表每个观测的var3变量匹配
不存在第二个参数是向量的问题

又因为你这是一个观测一个观测的匹配(on里面有其他非sql的函数表达式)
所以只能先做一个笛卡尔积,这时会非常慢,数据量大的话基本不可行
我也不知道有什么其他好的办法,这种大规模的文本挖掘,估计用sql是不行了

二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-5-3 21:18:31
playmore 发表于 2014-4-29 08:58
你是在sql语句里用的kindex
出现的位置也是在on子句里
在这里是用t1表每个观测的var1变量和t2表每个观测的 ...
说的有道理,已经采取了更笨的办法。在data步里做
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

2014-5-4 15:53:04
playmore 发表于 2014-4-29 08:58
你是在sql语句里用的kindex
出现的位置也是在on子句里
在这里是用t1表每个观测的var1变量和t2表每个观测的 ...
这个本质和你之前那个汉字转拼音是等价的
以我了解hash和format是效率最好的两种
二维码

扫码加我 拉你入群

请注明:姓名-公司-职位

以便审核进群资格,未注明则拒绝

相关推荐
栏目导航
热门文章
推荐文章

说点什么

分享

扫码加好友,拉您进群
各岗位、行业、专业交流群