學者網
注：這是很老的一個帖子了，淵源已不可考證，能找到的最早的帖子是05發(fā)在水木社區(qū)的文章（http://www5.newsmth.net/pc/pccon.php?id=6559&nid=159087）。帖子雖老，但是大家不妨看一下。因為透過這個評點，我們可以看出周志華涉及的學術領域有多廣，看問題有多深。
注: 本文為小百合BBS的daniel所寫
The First Class:
今天先談談AI里面tier-1的conferences, 其實基本上就是AI里面大家比較公認的top conference. 下面同分的按字母序排列.
IJCAI (1+):
AI最好的綜合性會議, 1969年開始, 每兩年開一次, 奇數年開. 因為AI
實在太大, 所以雖然每屆基本上能錄100多篇（現在已經到200多篇了），但分到每個
領域就沒幾篇了，象machine learning、computer vision這么大的領域每次大概也
就10篇左右, 所以難度很大. 不過從錄用率上來看倒不太低,基本上20%左右, 因為內
行人都會掂掂分量, 沒希望的就別浪費reviewer的時間了. 最近中國大陸投往國際會
議的文章象潮水一樣, 而且因為國內很少有能自己把關的研究組, 所以很多會議都在
complain說中國的低質量文章嚴重妨礙了PC的工作效率. 在這種情況下, 估計這幾年
國際會議的錄用率都會降下去. 另外, 以前的IJCAI是沒有poster的, 03年開始, 為了
減少被誤殺的好人, 增加了2頁紙的poster.值得一提的是, IJCAI是由貌似一個公司
的"IJCAI Inc."主辦的(當然實際上并不是公司, 實際上是個基金會), 每次會議上要
發(fā)幾個獎, 其中最重要的兩個是IJCAI Research Excellence Award 和 Computer
& Thoughts Award, 前者是終身成就獎, 每次一個人, 基本上是AI的最高獎(有趣的
是, 以AI為主業(yè)拿圖靈獎的6位中, 有2位還沒得到這個獎), 后者是獎給35歲以下的
青年科學家, 每次一個人. 這兩個獎的獲獎演說是每次IJCAI的一個重頭戲.另外,
IJCAI 的 PC member 相當于其他會議的area chair, 權力很大, 因為是由PC member
去找 reviewer 來審, 而不象一般會議的PC member其實就是 reviewer. 為了制約
這種權力, IJCAI的審稿程序是每篇文章分配2位PC member, primary PC member去找
3位reviewer, second PC member 找一位.
AAAI (1):
美國人工智能學會AAAI的年會. 是一個很好的會議, 但其檔次不穩(wěn)定, 可
以給到1+, 也可以給到1-或者2+, 總的來說我給它"1". 這是因為它的開法完全受
IJCAI制約: 每年開, 但如果這一年的IJCAI在北美舉行, 那么就停開. 所以, 偶數年
里因為沒有IJCAI, 它就是最好的AI綜合性會議, 但因為號召力畢竟比IJCAI要小一些,
特別是歐洲人捧AAAI場的比IJCAI少得多(其實亞洲人也是), 所以比IJCAI還是要稍弱
一點, 基本上在1和1+之間; 在奇數年, 如果IJCAI不在北美, AAAI自然就變成了比
IJCAI低一級的會議(1-或2+), 例如2005年既有IJCAI又有AAAI, 兩個會議就進行了協(xié)
調, 使得IJCAI的錄用通知時間比AAAI的deadline早那么幾天, 這樣IJCAI落選的文章
可以投往AAAI.在審稿時IJCAI 的 PC chair也在一直催, 說大家一定要快, 因為AAAI
那邊一直在擔心IJCAI的錄用通知出晚了AAAI就麻煩了.
COLT (1): 這是計算學習理論最好的會議, ACM主辦, 每年舉行. 計算學習理論基本上
可以看成理論計算機科學和機器學習的交叉, 所以這個會被一些人看成是理論計算
機科學的會而不是AI的會. 我一個朋友用一句話對它進行了精彩的刻畫: "一小群數
學家在開會". 因為COLT的領域比較小, 所以每年會議基本上都是那些人. 這里順便
提一件有趣的事, 因為最近國內搞的會議太多太濫, 而且很多會議都是LNCS/LNAI出
論文集, LNCS/LNAI基本上已經被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的
會議, 例如COLT.
CVPR (1): 計算機視覺和模式識別方面最好的會議之一, IEEE主辦, 每年舉行. 雖然題
目上有計算機視覺, 但個人認為它的模式識別味道更重一些. 事實上它應該是模式識
別最好的會議, 而在計算機視覺方面, 還有ICCV與之相當. IEEE一直有個傾向, 要把
會辦成"盛會", 歷史上已經有些會被它從quality很好的會辦成"盛會"了. CVPR搞不好
也要走這條路. 這幾年錄的文章已經不少了. 最近負責CVPR會議的TC的chair發(fā)信
說, 對這個community來說, 讓好人被誤殺比被壞人漏網更糟糕, 所以我們是不是要減
少好人被誤殺的機會啊? 所以我估計明年或者后年的CVPR就要擴招了.
ICCV (1): 介紹CVPR的時候說過了, 計算機視覺方面最好的會之一. IEEE主辦, 每年舉行.
ICML (1): 機器學習方面最好的會議之一. 現在是IMLS主辦, 每年舉行. 參見關于NIPS的
介紹.
NIPS (1): 神經計算方面最好的會議之一, NIPS主辦, 每年舉行. 值得注意的是, 這個會
每年的舉辦地都是一樣的, 以前是美國丹佛, 現在是加拿大溫哥華; 而且它是年底開會,
會開完后第2年才出論文集, 也就是說, NIPS'05的論文集是06年出. 會議的名字是
"Advances in Neural Information Processing Systems", 所以, 與ICML\ECML這樣
的"標準的"機器學習會議不同, NIPS里有相當一部分神經科學的內容, 和機器學習有
一定的距離. 但由于會議的主體內容是機器學習, 或者說與機器學習關系緊密, 所以
不少人把NIPS看成是機器學習方面最好的會議之一. 這個會議基本上控制在Michael
Jordan的徒子徒孫手中, 所以對Jordan系的人來說, 發(fā)NIPS并不是難事, 一些未必很
強的工作也能發(fā)上去, 但對這個圈子之外的人來說, 想發(fā)一篇實在很難, 因為留給"外
人"的口子很小. 所以對Jordan系以外的人來說, 發(fā)NIPS的難度比ICML更大. 換句話說,
ICML比較開放, 小圈子的影響不象NIPS那么大, 所以北美和歐洲人都認, 而NIPS則有
些人(特別是一些歐洲人, 包括一些大家)堅決不投稿. 這對會議本身當然并不是好事,
但因為Jordan系很強大, 所以它似乎也不太care. 最近IMLS(國際機器學習學會)改選
理事, 有資格提名的人包括近三年在ICML\ECML\COLT發(fā)過文章的人, NIPS則被排除在
外了. 無論如何, 這是一個非常好的會.
ACL (1-): 計算語言學/自然語言處理方面最好的會議, ACL (Association of
Computational Linguistics) 主辦, 每年開.
KR (1-): 知識表示和推理方面最好的會議之一, 實際上也是傳統(tǒng)AI(即基于邏輯的AI)
最好的會議之一. KR Inc.主辦, 現在是偶數年開.
SIGIR (1-): 信息檢索方面最好的會議, ACM主辦, 每年開. 這個會現在小圈子氣越來
越重. 信息檢索應該不算AI, 不過因為這里面用到機器學習越來越多, 最近幾年甚至
有點機器學習應用會議的味道了, 所以把它也列進來.
SIGKDD (1-): 數據挖掘方面最好的會議, ACM主辦, 每年開. 這個會議歷史比較短,
畢竟, 與其他領域相比,數據挖掘還只是個小弟弟甚至小侄兒. 在幾年前還很難把它列
在tier-1里面, 一方面是名聲遠不及其他的top conference響亮, 另一方面是相對容易
被錄用. 但現在它被列在tier-1應該是毫無疑問的事情了.
另: 參見sir和lucky的介紹.
UAI (1-): 名字叫"人工智能中的不確定性", 涉及表示\推理\學習等很多方面, AUAI
(Association of UAI) 主辦, 每年開.
The Second Class:
tier-2的會議列得不全, 我熟悉的領域比較全一些.
AAMAS (2+):
agent方面最好的會議. 但是現在agent已經是一個一般性的概念,
幾乎所有AI有關的會議上都有這方面的內容, 所以AAMAS下降的趨勢非常明顯.
ECCV (2+):
計算機視覺方面僅次于ICCV的會議, 因為這個領域發(fā)展很快, 有可能
升級到1-去.
ECML (2+):
機器學習方面僅次于ICML的會議, 歐洲人極力捧場, 一些人認為它已
經是1-了. 我保守一點, 仍然把它放在2+. 因為機器學習發(fā)展很快, 這個會議
的reputation上升非常明顯.
ICDM (2+):
數據挖掘方面僅次于SIGKDD的會議, 目前和SDM相當. 這個會只有5年
歷史, 上升速度之快非常驚人. 幾年前ICDM還比不上PAKDD, 現在已經拉開很大
距離了.
SDM (2+):
數據挖掘方面僅次于SIGKDD的會議, 目前和ICDM相當. SIAM的底子很厚,
但在CS里面的影響比ACM和IEEE還是要小, SDM眼看著要被ICDM超過了, 但至少
目前還是相當的.
ICAPS (2):
人工智能規(guī)劃方面最好的會議, 是由以前的國際和歐洲規(guī)劃會議合并
來的. 因為這個領域逐漸變冷清, 影響比以前已經小了.
ICCBR (2):
Case-Based Reasoning方面最好的會議. 因為領域不太大, 而且一直
半冷不熱, 所以總是停留在2上.
COLLING (2):
計算語言學/自然語言處理方面僅次于ACL的會, 但與ACL的差距比
ICCV-ECCV和ICML-ECML大得多.
ECAI (2):
歐洲的人工智能綜合型會議, 歷史很久, 但因為有IJCAI/AAAI壓著,
很難往上升.
ALT (2-):
有點象COLT的tier-2版, 但因為搞計算學習理論的人沒多少, 做得好
的數來數去就那么些group, 基本上到COLT去了, 所以ALT里面有不少并非計算
學習理論的內容.
EMNLP (2-):
計算語言學/自然語言處理方面一個不錯的會. 有些人認為與COLLING
相當, 但我覺得它還是要弱一點.
ILP (2-):
歸納邏輯程序設計方面最好的會議. 但因為很多其他會議里都有ILP方面
的內容, 所以它只能保住2-的位置了.
PKDD (2-):
歐洲的數據挖掘會議, 目前在數據挖掘會議里面排第4. 歐洲人很想把
它抬起來, 所以這些年一直和ECML一起捆綁著開, 希望能借ECML把它帶起來.
但因為ICDM和SDM, 這已經不太可能了. 所以今年的PKDD和ECML雖然還是一起開,
但已經獨立審稿了(以前是可以同時投兩個會, 作者可以聲明優(yōu)先被哪個會考慮,
如果ECML中不了還可以被PKDD接受).
The Third Class:
列得很不全. 另外, 因為AI的相關會議非常多, 所以能列在tier-3也算不錯了, 基本上能
進到所有AI會議中的前30%吧
ACCV (3+): 亞洲的計算機視覺會議, 在亞太級別的會議里算很好的了.
DS (3+): 日本人發(fā)起的一個接近數據挖掘的會議.
ECIR (3+): 歐洲的信息檢索會議, 前幾年還只是英國的信息檢索會議.
ICTAI (3+): IEEE最主要的人工智能會議, 偏應用, 是被IEEE辦爛的一個典型. 以前的
quality還是不錯的, 但是辦得越久聲譽反倒越差了, 糟糕的是似乎還在繼續(xù)下滑, 現在
其實3+已經不太呆得住了.
PAKDD (3+): 亞太數據挖掘會議, 目前在數據挖掘會議里排第5.
ICANN (3+): 歐洲的神經網絡會議, 從quality來說是神經網絡會議中最好的, 但這個領域
的人不重視會議,在該領域它的重要性不如IJCNN.
AJCAI (3): 澳大利亞的綜合型人工智能會議, 在國家/地區(qū)級AI會議中算不錯的了.
CAI (3): 加拿大的綜合型人工智能會議, 在國家/地區(qū)級AI會議中算不錯的了.
CEC (3): 進化計算方面最重要的會議之一, 盛會型. IJCNN/CEC/FUZZ-IEEE這三個會議是
計算智能或者說軟計算方面最重要的會議, 它們經常一起開, 這時就叫WCCI (World
Congress on Computational Intelligence). 但這個領域和CS其他分支不太一樣, 倒是和
其他學科相似, 只重視journal, 不重視會議, 所以錄用率經常在85%左右, 所錄文章既有
quality非常高的論文, 也有入門新手的習作.
FUZZ-IEEE (3): 模糊方面最重要的會議, 盛會型, 參見CEC的介紹.
GECCO (3): 進化計算方面最重要的會議之一, 與CEC相當，盛會型.
ICASSP (3): 語音方面最重要的會議之一, 這個領域的人也不很care會議.
ICIP (3): 圖像處理方面最著名的會議之一, 盛會型.
ICPR (3): 模式識別方面最著名的會議之一, 盛會型.
IEA/AIE (3): 人工智能應用會議. 一般的會議提名優(yōu)秀論文的通常只有幾篇文章, 被提名
就已經是很高的榮譽了, 這個會很有趣, 每次都搞1、20篇的優(yōu)秀論文提名, 專門搞幾個
session做被提名論文報告, 倒是很熱鬧.
IJCNN (3): 神經網絡方面最重要的會議, 盛會型, 參見CEC的介紹.
IJNLP (3): 計算語言學/自然語言處理方面比較著名的一個會議.
PRICAI (3): 亞太綜合型人工智能會議, 雖然歷史不算短了, 但因為比它好或者相當的綜
合型會議太多, 所以很難上升.
Combined List:
說明: 純屬個人看法, 僅供參考. tier-1的列得較全, tier-2的不太全, tier-3的很不全.
同分的按字母序排列. 不很嚴謹地說, tier-1是可以令人羨慕的, tier-2是可以令
人尊敬的,由于AI的相關會議非常多, 所以能列進tier-3的也是不錯的
tier-1:
IJCAI (1+): International Joint Conference on Artificial Intelligence
AAAI (1): National Conference on Artificial Intelligence
COLT (1): Annual Conference on Computational Learning Theory
CVPR (1): IEEE International Conference on Computer Vision and Pattern
Recognition
ICCV (1): IEEE International Conference on Computer Vision
ICML (1): International Conference on Machine Learning
NIPS (1): Annual Conference on Neural Information Processing Systems
ACL (1-): Annual Meeting of the Association for Computational Linguistics
KR (1-): International Conference on Principles of Knowledge Representation
and Reasoning
SIGIR (1-): Annual International ACM SIGIR Conference on Research and
Development in Information Retrieval
SIGKDD (1-): ACM SIGKDD International Conference on Knowledge Discovery and
Data Mining
UAI (1-): International Conference on Uncertainty in Artificial Intelligence
tier-2:
AAMAS (2+): International Joint Conference on Autonomous Agents and
Multiagent Systems
ECCV (2+): European Conference on Computer Vision
ECML (2+): European Conference on Machine Learning
ICDM (2+): IEEE International Conference on Data Mining
SDM (2+): SIAM International Conference on Data Mining
ICAPS (2): International Conference on Automated Planning and Scheduling
ICCBR (2): International Conference on Case-Based Reasoning
COLLING (2): International Conference on Computational Linguistics
ECAI (2): European Conference on Artificial Intelligence
ALT (2-): International Conference on Algorithmic Learning Theory
EMNLP (2-): Conference on Empirical Methods in Natural Language Processing
ILP (2-): International Conference on Inductive Logic Programming
PKDD (2-): European Conference on Principles and Practice of Knowledge
Discovery in Databases
tier-3:
ACCV (3+): Asian Conference on Computer Vision
DS (3+): International Conference on Discovery Science
ECIR (3+): European Conference on IR Research
ICTAI (3+): IEEE International Conference on Tools with Artificial Intelligence
PAKDD (3+): Pacific-Asia Conference on Knowledge Discovery and Data Mining
ICANN (3+): International Conference on Artificial Neural Networks
AJCAI (3): Australian Joint Conference on Artificial Intelligence
CAI (3): Canadian Conference on Artificial Intelligence
CEC (3): IEEE Congress on Evolutionary Computation
FUZZ-IEEE (3): IEEE International Conference on Fu Systems
GECCO (3): Genetic and Evolutionary Computation Conference
ICASSP (3): International Conference on Acoustics, Speech, and Signal Processing
ICIP (3): International Conference on Image Processing
ICPR (3): International Conference on Pattern Recognition
IEA/AIE (3): International Conference on Industrial and Engineering Applications of Artificial Intelligence and Expert Systems
IJCNN (3): International Joint Conference on Neural Networks
IJNLP (3): International Joint Conference on Natural Language Processing
PRICAI (3): Pacific-Rim International Conference on Artificial Intelligence
關于List的補充說明:
列l(wèi)ist只是為了幫助新人熟悉領域, 給出的評分或等級都是個人意見, 僅供參考. 特別要
說明的是:
1. tier-1 conference上的文章并不一定比tier-3的好, 只能說前者的平均水準更高.
2. 研究工作的好壞不是以它發(fā)表在哪兒來決定的, 發(fā)表在高檔次的地方只是為了讓工作更
容易被同行注意到. tier-3會議上發(fā)表1篇被引用10次的文章可能比在tier-1會議上發(fā)表1
0篇被引用0次的文章更有價值. 所以, 數top會議文章數并沒有太大意義, 重要的是同行的
評價和認可程度.
3. 很多經典工作并不是發(fā)表在高檔次的發(fā)表源上, 有不少經典工作甚至是發(fā)表在很低檔的
發(fā)表源上. 原因很多, 就不細說了.
4. 會議畢竟是會議, 由于審稿時間緊, 錯殺好人和漏過壞人的情況比比皆是, 更何況還要
考慮到有不少剛開始做研究的學生在代老板審稿.
5. 會議的reputation并不是一成不變的，新會議可能一開始沒什么聲譽，但過幾年后就野
雞變鳳凰，老會議可能原來聲譽很好，但越來越往下滑.
6. 只有計算機科學才重視會議論文, 其他學科并不把會議當回事. 但在計算機科學中也有
不太重視會議的分支.
7. Politics無所不在. 你老板是誰, 你在哪個研究組, 你在哪個單位, 這些簡單的因素都
可能造成決定性的影響. 換言之, 不同環(huán)境的人發(fā)表的難度是不一樣的. 了解到這一點后
, 你可能會對high-level發(fā)表源上來自low-level單位名不見經傳作者的文章特別注意(例
如如果<計算機學報>上發(fā)表了平頂山鐵道電子信息科技學院的作者的文章,我一定會仔細讀
).
8. 評價體系有巨大的影響. 不管是在哪兒謀生的學者, 都需要在一定程度上去迎合評價體
系, 否則連生路都沒有了, 還談什么做研究. 以國內來說, 由于評價體系只重視journal,
有一些工作做得很出色的學者甚至從來不投會議. 另外, 經費也有巨大的制約作用. 國外
很多好的研究組往往是重要會議都有文章. 但國內是不行的, 檔次低一些的會議還可以投
了只交注冊費不開會, 檔次高的會議不去做報告會有很大的負面影響, 所以只能投很少的
會議. 這是在國內做CS研究最不利的地方. 我的一個猜想：人民幣升值對國內CS研究會有
不小的促進作用(當然, 人民幣升值對整個中國來說利大于弊還是弊大于利很難說).
9. ... ...
最近，實驗室的大牛Gawd也寫了一個rank，說的也很好，并且反映了這些會議的一些最新的變化。
1. NIPS：心中的痛，同樣也是心中的夢想。盡管屢投屢被挫，但是要越挫越勇。不得不承認，NIPS上的文章質量上還是非常上乘的。對于圈外人來說，NIPS總是很難。不管其匿名與否，圈內的人一看便可猜個大概文章究竟出自何方神圣筆下。難為了我們這些無名小卒。
1. UAI：同樣也是夢想，文章質量一樣的上乘，同樣的難。
3. ICML：雖說去年國內人士灌水無數，但這并不能削弱ICML文章的質量和影響力，從另外一個側面講，這正是說明了國內ML的進步神速。
3. AISTATS：別說他的文章接收率高，但和nips一樣，想要進去還真得頗下一番功夫。看看zoubin等人對此會如此鐘愛便可知曉該會議文章質量究竟如何。當然，該會議每每選心曠神怡之處做為棲身之地，也成為其吸引大牛競相前往的得力手段。
5. IJCAI：且不論從前的IJCAI如何，上次在印度開的IJCAI可真是有點讓人大跌眼鏡，oral和poster文章數量之多都是一個里程碑。然而，并不能否定IJCAI在權內的影響力和號召力，對于做AI的人來說，IJCAI應該還是一個最主要的會議。只是如果照上屆那般海收，恐怕文章質量無法保障。不知下屆如何。
6. KDD：之所以把他寫在IJCAI之后是因為他畢竟是從IJCAI上派生出來的，而其直至今日的發(fā)展速度不可謂不讓人贊嘆。然而我認為，一個會如果不匿名，那么其文章質量必然得不到大的飛躍。KDD里面的貓膩多了去了，不必熬述。希望可以盡快匿名。
7. ICCV：對于做CV的人來說，一定不同意把他排在第7位，然而就去年的iccv來看，在上面發(fā)文的做方法的人比比皆是。對于做方法的人來說，這個位置我想比較公平。具體原由大家只要看看上面做方法的文章便知。
7. CVPR：無法比較它與ICCV孰優(yōu)孰劣，也許大部分人都認為ICCV稍勝一籌。我確認為不然，就去年ICCV上所發(fā)表的CVPR拒掉文章的數量便可見一斑。而且CVPR文章的投稿數量和接收文章數都是與日俱增，不知是否在Miami可以看到上**開會的場面。
7. SIGIR：做方法的人要在SIGIR上篇文章還是挺難的，因為實驗的要求比較高。當然，MSRA除外。
10. AAAI：將其放在此處并不是從AI的角度，而還是從ML相關的方法的角度。該會議上出現的ML以及PR文章的影響力不如上面8個會，不信可以去查citeseer。
11. SIGMM：當然，不可從做系統(tǒng)的同學的角度如此評價此會議。但是對于就是用ML的方法做了MM應用的人來說，此會議也只能在這個地方了。
11. ECML：盡管上面有ICML押著，不過文章質量一直很堅挺，這點從接收率也可見一斑。
11. SDM：盡管老吳一直力挺ICDM，但我認為其文章質量仍無法與SDM相比。從參會的人就可以看到。
11. ECCV：虧就虧在E字頭了，不過文章質量不錯。另外我發(fā)現上面發(fā)表的有關純粹方法的文章并不多。
15. ICDM：盡管一直用接收率標榜自己，然而一個最主要的原因是基數大。如果文章質量沒有硬保障，接收率也只是空談。
上面也只是列出了我感興趣的一些會議，從做方法的人的角度來看的rank。一家之談，僅供消遣。
注: 本文為小百合BBS的daniel所寫
The First Class:
今天先談談AI里面tier-1的conferences, 其實基本上就是AI里面大家比較公認的top conference. 下面同分的按字母序排列.
IJCAI (1+):
AI最好的綜合性會議, 1969年開始, 每兩年開一次, 奇數年開. 因為AI
實在太大, 所以雖然每屆基本上能錄100多篇（現在已經到200多篇了），但分到每個
領域就沒幾篇了，象machine learning、computer vision這么大的領域每次大概也
就10篇左右, 所以難度很大. 不過從錄用率上來看倒不太低,基本上20%左右, 因為內
行人都會掂掂分量, 沒希望的就別浪費reviewer的時間了. 最近中國大陸投往國際會
議的文章象潮水一樣, 而且因為國內很少有能自己把關的研究組, 所以很多會議都在
complain說中國的低質量文章嚴重妨礙了PC的工作效率. 在這種情況下, 估計這幾年
國際會議的錄用率都會降下去. 另外, 以前的IJCAI是沒有poster的, 03年開始, 為了
減少被誤殺的好人, 增加了2頁紙的poster.值得一提的是, IJCAI是由貌似一個公司
的"IJCAI Inc."主辦的(當然實際上并不是公司, 實際上是個基金會), 每次會議上要
發(fā)幾個獎, 其中最重要的兩個是IJCAI Research Excellence Award 和 Computer
& Thoughts Award, 前者是終身成就獎, 每次一個人, 基本上是AI的最高獎(有趣的
是, 以AI為主業(yè)拿圖靈獎的6位中, 有2位還沒得到這個獎), 后者是獎給35歲以下的
青年科學家, 每次一個人. 這兩個獎的獲獎演說是每次IJCAI的一個重頭戲.另外,
IJCAI 的 PC member 相當于其他會議的area chair, 權力很大, 因為是由PC member
去找 reviewer 來審, 而不象一般會議的PC member其實就是 reviewer. 為了制約
這種權力, IJCAI的審稿程序是每篇文章分配2位PC member, primary PC member去找
3位reviewer, second PC member 找一位.
AAAI (1):
美國人工智能學會AAAI的年會. 是一個很好的會議, 但其檔次不穩(wěn)定, 可
以給到1+, 也可以給到1-或者2+, 總的來說我給它"1". 這是因為它的開法完全受
IJCAI制約: 每年開, 但如果這一年的IJCAI在北美舉行, 那么就停開. 所以, 偶數年
里因為沒有IJCAI, 它就是最好的AI綜合性會議, 但因為號召力畢竟比IJCAI要小一些,
特別是歐洲人捧AAAI場的比IJCAI少得多(其實亞洲人也是), 所以比IJCAI還是要稍弱
一點, 基本上在1和1+之間; 在奇數年, 如果IJCAI不在北美, AAAI自然就變成了比
IJCAI低一級的會議(1-或2+), 例如2005年既有IJCAI又有AAAI, 兩個會議就進行了協(xié)
調, 使得IJCAI的錄用通知時間比AAAI的deadline早那么幾天, 這樣IJCAI落選的文章
可以投往AAAI.在審稿時IJCAI 的 PC chair也在一直催, 說大家一定要快, 因為AAAI
那邊一直在擔心IJCAI的錄用通知出晚了AAAI就麻煩了.
COLT (1): 這是計算學習理論最好的會議, ACM主辦, 每年舉行. 計算學習理論基本上
可以看成理論計算機科學和機器學習的交叉, 所以這個會被一些人看成是理論計算
機科學的會而不是AI的會. 我一個朋友用一句話對它進行了精彩的刻畫: "一小群數
學家在開會". 因為COLT的領域比較小, 所以每年會議基本上都是那些人. 這里順便
提一件有趣的事, 因為最近國內搞的會議太多太濫, 而且很多會議都是LNCS/LNAI出
論文集, LNCS/LNAI基本上已經被搞臭了, 但很不幸的是, LNCS/LNAI中有一些很好的
會議, 例如COLT.
CVPR (1): 計算機視覺和模式識別方面最好的會議之一, IEEE主辦, 每年舉行. 雖然題
目上有計算機視覺, 但個人認為它的模式識別味道更重一些. 事實上它應該是模式識
別最好的會議, 而在計算機視覺方面, 還有ICCV與之相當. IEEE一直有個傾向, 要把
會辦成"盛會", 歷史上已經有些會被它從quality很好的會辦成"盛會"了. CVPR搞不好
也要走這條路. 這幾年錄的文章已經不少了. 最近負責CVPR會議的TC的chair發(fā)信
說, 對這個community來說, 讓好人被誤殺比被壞人漏網更糟糕, 所以我們是不是要減
少好人被誤殺的機會啊? 所以我估計明年或者后年的CVPR就要擴招了.
ICCV (1): 介紹CVPR的時候說過了, 計算機視覺方面最好的會之一. IEEE主辦, 每年舉行.
ICML (1): 機器學習方面最好的會議之一. 現在是IMLS主辦, 每年舉行. 參見關于NIPS的
介紹.
NIPS (1): 神經計算方面最好的會議之一, NIPS主辦, 每年舉行. 值得注意的是, 這個會
每年的舉辦地都是一樣的, 以前是美國丹佛, 現在是加拿大溫哥華; 而且它是年底開會,
會開完后第2年才出論文集, 也就是說, NIPS'05的論文集是06年出. 會議的名字是
"Advances in Neural Information Processing Systems", 所以, 與ICML\ECML這樣
的"標準的"機器學習會議不同, NIPS里有相當一部分神經科學的內容, 和機器學習有
一定的距離. 但由于會議的主體內容是機器學習, 或者說與機器學習關系緊密, 所以
不少人把NIPS看成是機器學習方面最好的會議之一. 這個會議基本上控制在Michael
Jordan的徒子徒孫手中, 所以對Jordan系的人來說, 發(fā)NIPS并不是難事, 一些未必很
強的工作也能發(fā)上去, 但對這個圈子之外的人來說, 想發(fā)一篇實在很難, 因為留給"外
人"的口子很小. 所以對Jordan系以外的人來說, 發(fā)NIPS的難度比ICML更大. 換句話說,
ICML比較開放, 小圈子的影響不象NIPS那么大, 所以北美和歐洲人都認, 而NIPS則有
些人(特別是一些歐洲人, 包括一些大家)堅決不投稿. 這對會議本身當然并不是好事,
但因為Jordan系很強大, 所以它似乎也不太care. 最近IMLS(國際機器學習學會)改選
理事, 有資格提名的人包括近三年在ICML\ECML\COLT發(fā)過文章的人, NIPS則被排除在
外了. 無論如何, 這是一個非常好的會.
ACL (1-): 計算語言學/自然語言處理方面最好的會議, ACL (Association of
Computational Linguistics) 主辦, 每年開.
KR (1-): 知識表示和推理方面最好的會議之一, 實際上也是傳統(tǒng)AI(即基于邏輯的AI)
最好的會議之一. KR Inc.主辦, 現在是偶數年開.
SIGIR (1-): 信息檢索方面最好的會議, ACM主辦, 每年開. 這個會現在小圈子氣越來
越重. 信息檢索應該不算AI, 不過因為這里面用到機器學習越來越多, 最近幾年甚至
有點機器學習應用會議的味道了, 所以把它也列進來.
SIGKDD (1-): 數據挖掘方面最好的會議, ACM主辦, 每年開. 這個會議歷史比較短,
畢竟, 與其他領域相比,數據挖掘還只是個小弟弟甚至小侄兒. 在幾年前還很難把它列
在tier-1里面, 一方面是名聲遠不及其他的top conference響亮, 另一方面是相對容易
被錄用. 但現在它被列在tier-1應該是毫無疑問的事情了.
另: 參見sir和lucky的介紹.
UAI (1-): 名字叫"人工智能中的不確定性", 涉及表示\推理\學習等很多方面, AUAI
(Association of UAI) 主辦, 每年開.
The Second Class:
tier-2的會議列得不全, 我熟悉的領域比較全一些.
AAMAS (2+):
agent方面最好的會議. 但是現在agent已經是一個一般性的概念,
幾乎所有AI有關的會議上都有這方面的內容, 所以AAMAS下降的趨勢非常明顯.
ECCV (2+):
計算機視覺方面僅次于ICCV的會議, 因為這個領域發(fā)展很快, 有可能
升級到1-去.
ECML (2+):
機器學習方面僅次于ICML的會議, 歐洲人極力捧場, 一些人認為它已
經是1-了. 我保守一點, 仍然把它放在2+. 因為機器學習發(fā)展很快, 這個會議
的reputation上升非常明顯.
ICDM (2+):
數據挖掘方面僅次于SIGKDD的會議, 目前和SDM相當. 這個會只有5年
歷史, 上升速度之快非常驚人. 幾年前ICDM還比不上PAKDD, 現在已經拉開很大
距離了.
SDM (2+):
數據挖掘方面僅次于SIGKDD的會議, 目前和ICDM相當. SIAM的底子很厚,
但在CS里面的影響比ACM和IEEE還是要小, SDM眼看著要被ICDM超過了, 但至少
目前還是相當的.
ICAPS (2):
人工智能規(guī)劃方面最好的會議, 是由以前的國際和歐洲規(guī)劃會議合并
來的. 因為這個領域逐漸變冷清, 影響比以前已經小了.
ICCBR (2):
Case-Based Reasoning方面最好的會議. 因為領域不太大, 而且一直
半冷不熱, 所以總是停留在2上.
COLLING (2):
計算語言學/自然語言處理方面僅次于ACL的會, 但與ACL的差距比
ICCV-ECCV和ICML-ECML大得多.
ECAI (2):
歐洲的人工智能綜合型會議, 歷史很久, 但因為有IJCAI/AAAI壓著,
很難往上升.
ALT (2-):
有點象COLT的tier-2版, 但因為搞計算學習理論的人沒多少, 做得好
的數來數去就那么些group, 基本上到COLT去了, 所以ALT里面有不少并非計算
學習理論的內容.
EMNLP (2-):
計算語言學/自然語言處理方面一個不錯的會. 有些人認為與COLLING
相當, 但我覺得它還是要弱一點.
ILP (2-):
歸納邏輯程序設計方面最好的會議. 但因為很多其他會議里都有ILP方面
的內容, 所以它只能保住2-的位置了.
PKDD (2-):
歐洲的數據挖掘會議, 目前在數據挖掘會議里面排第4. 歐洲人很想把
它抬起來, 所以這些年一直和ECML一起捆綁著開, 希望能借ECML把它帶起來.
但因為ICDM和SDM, 這已經不太可能了. 所以今年的PKDD和ECML雖然還是一起開,
但已經獨立審稿了(以前是可以同時投兩個會, 作者可以聲明優(yōu)先被哪個會考慮,
如果ECML中不了還可以被PKDD接受).
The Third Class:
列得很不全. 另外, 因為AI的相關會議非常多, 所以能列在tier-3也算不錯了, 基本上能
進到所有AI會議中的前30%吧
ACCV (3+): 亞洲的計算機視覺會議, 在亞太級別的會議里算很好的了.
DS (3+): 日本人發(fā)起的一個接近數據挖掘的會議.
ECIR (3+): 歐洲的信息檢索會議, 前幾年還只是英國的信息檢索會議.
ICTAI (3+): IEEE最主要的人工智能會議, 偏應用, 是被IEEE辦爛的一個典型. 以前的
quality還是不錯的, 但是辦得越久聲譽反倒越差了, 糟糕的是似乎還在繼續(xù)下滑, 現在
其實3+已經不太呆得住了.
PAKDD (3+): 亞太數據挖掘會議, 目前在數據挖掘會議里排第5.
ICANN (3+): 歐洲的神經網絡會議, 從quality來說是神經網絡會議中最好的, 但這個領域
的人不重視會議,在該領域它的重要性不如IJCNN.
AJCAI (3): 澳大利亞的綜合型人工智能會議, 在國家/地區(qū)級AI會議中算不錯的了.
CAI (3): 加拿大的綜合型人工智能會議, 在國家/地區(qū)級AI會議中算不錯的了.
CEC (3): 進化計算方面最重要的會議之一, 盛會型. IJCNN/CEC/FUZZ-IEEE這三個會議是
計算智能或者說軟計算方面最重要的會議, 它們經常一起開, 這時就叫WCCI (World
Congress on Computational Intelligence). 但這個領域和CS其他分支不太一樣, 倒是和
其他學科相似, 只重視journal, 不重視會議, 所以錄用率經常在85%左右, 所錄文章既有
quality非常高的論文, 也有入門新手的習作.
FUZZ-IEEE (3): 模糊方面最重要的會議, 盛會型, 參見CEC的介紹.
GECCO (3): 進化計算方面最重要的會議之一, 與CEC相當，盛會型.
ICASSP (3): 語音方面最重要的會議之一, 這個領域的人也不很care會議.
ICIP (3): 圖像處理方面最著名的會議之一, 盛會型.
ICPR (3): 模式識別方面最著名的會議之一, 盛會型.
IEA/AIE (3): 人工智能應用會議. 一般的會議提名優(yōu)秀論文的通常只有幾篇文章, 被提名
就已經是很高的榮譽了, 這個會很有趣, 每次都搞1、20篇的優(yōu)秀論文提名, 專門搞幾個
session做被提名論文報告, 倒是很熱鬧.
IJCNN (3): 神經網絡方面最重要的會議, 盛會型, 參見CEC的介紹.
IJNLP (3): 計算語言學/自然語言處理方面比較著名的一個會議.
PRICAI (3): 亞太綜合型人工智能會議, 雖然歷史不算短了, 但因為比它好或者相當的綜
合型會議太多, 所以很難上升.
Combined List:
說明: 純屬個人看法, 僅供參考. tier-1的列得較全, tier-2的不太全, tier-3的很不全.
同分的按字母序排列. 不很嚴謹地說, tier-1是可以令人羨慕的, tier-2是可以令
人尊敬的,由于AI的相關會議非常多, 所以能列進tier-3的也是不錯的
tier-1:
IJCAI (1+): International Joint Conference on Artificial Intelligence
AAAI (1): National Conference on Artificial Intelligence
COLT (1): Annual Conference on Computational Learning Theory
CVPR (1): IEEE International Conference on Computer Vision and Pattern
Recognition
ICCV (1): IEEE International Conference on Computer Vision
ICML (1): International Conference on Machine Learning
NIPS (1): Annual Conference on Neural Information Processing Systems
ACL (1-): Annual Meeting of the Association for Computational Linguistics
KR (1-): International Conference on Principles of Knowledge Representation
and Reasoning
SIGIR (1-): Annual International ACM SIGIR Conference on Research and
Development in Information Retrieval
SIGKDD (1-): ACM SIGKDD International Conference on Knowledge Discovery and
Data Mining
UAI (1-): International Conference on Uncertainty in Artificial Intelligence
tier-2:
AAMAS (2+): International Joint Conference on Autonomous Agents and
Multiagent Systems
ECCV (2+): European Conference on Computer Vision
ECML (2+): European Conference on Machine Learning
ICDM (2+): IEEE International Conference on Data Mining
SDM (2+): SIAM International Conference on Data Mining
ICAPS (2): International Conference on Automated Planning and Scheduling
ICCBR (2): International Conference on Case-Based Reasoning
COLLING (2): International Conference on Computational Linguistics
ECAI (2): European Conference on Artificial Intelligence
ALT (2-): International Conference on Algorithmic Learning Theory
EMNLP (2-): Conference on Empirical Methods in Natural Language Processing
ILP (2-): International Conference on Inductive Logic Programming
PKDD (2-): European Conference on Principles and Practice of Knowledge
Discovery in Databases
tier-3:
ACCV (3+): Asian Conference on Computer Vision
DS (3+): International Conference on Discovery Science
ECIR (3+): European Conference on IR Research
ICTAI (3+): IEEE International Conference on Tools with Artificial Intelligence
PAKDD (3+): Pacific-Asia Conference on Knowledge Discovery and Data Mining
ICANN (3+): International Conference on Artificial Neural Networks
AJCAI (3): Australian Joint Conference on Artificial Intelligence
CAI (3): Canadian Conference on Artificial Intelligence
CEC (3): IEEE Congress on Evolutionary Computation
FUZZ-IEEE (3): IEEE International Conference on Fu Systems
GECCO (3): Genetic and Evolutionary Computation Conference
ICASSP (3): International Conference on Acoustics, Speech, and Signal Processing
ICIP (3): International Conference on Image Processing
ICPR (3): International Conference on Pattern Recognition
IEA/AIE (3): International Conference on Industrial and Engineering Applications of Artificial Intelligence and Expert Systems
IJCNN (3): International Joint Conference on Neural Networks
IJNLP (3): International Joint Conference on Natural Language Processing
PRICAI (3): Pacific-Rim International Conference on Artificial Intelligence
關于List的補充說明:
列l(wèi)ist只是為了幫助新人熟悉領域, 給出的評分或等級都是個人意見, 僅供參考. 特別要
說明的是:
1. tier-1 conference上的文章并不一定比tier-3的好, 只能說前者的平均水準更高.
2. 研究工作的好壞不是以它發(fā)表在哪兒來決定的, 發(fā)表在高檔次的地方只是為了讓工作更
容易被同行注意到. tier-3會議上發(fā)表1篇被引用10次的文章可能比在tier-1會議上發(fā)表1
0篇被引用0次的文章更有價值. 所以, 數top會議文章數并沒有太大意義, 重要的是同行的
評價和認可程度.
3. 很多經典工作并不是發(fā)表在高檔次的發(fā)表源上, 有不少經典工作甚至是發(fā)表在很低檔的
發(fā)表源上. 原因很多, 就不細說了.
4. 會議畢竟是會議, 由于審稿時間緊, 錯殺好人和漏過壞人的情況比比皆是, 更何況還要
考慮到有不少剛開始做研究的學生在代老板審稿.
5. 會議的reputation并不是一成不變的，新會議可能一開始沒什么聲譽，但過幾年后就野
雞變鳳凰，老會議可能原來聲譽很好，但越來越往下滑.
6. 只有計算機科學才重視會議論文, 其他學科并不把會議當回事. 但在計算機科學中也有
不太重視會議的分支.
7. Politics無所不在. 你老板是誰, 你在哪個研究組, 你在哪個單位, 這些簡單的因素都
可能造成決定性的影響. 換言之, 不同環(huán)境的人發(fā)表的難度是不一樣的. 了解到這一點后
, 你可能會對high-level發(fā)表源上來自low-level單位名不見經傳作者的文章特別注意(例
如如果<計算機學報>上發(fā)表了平頂山鐵道電子信息科技學院的作者的文章,我一定會仔細讀
).
8. 評價體系有巨大的影響. 不管是在哪兒謀生的學者, 都需要在一定程度上去迎合評價體
系, 否則連生路都沒有了, 還談什么做研究. 以國內來說, 由于評價體系只重視journal,
有一些工作做得很出色的學者甚至從來不投會議. 另外, 經費也有巨大的制約作用. 國外
很多好的研究組往往是重要會議都有文章. 但國內是不行的, 檔次低一些的會議還可以投
了只交注冊費不開會, 檔次高的會議不去做報告會有很大的負面影響, 所以只能投很少的
會議. 這是在國內做CS研究最不利的地方. 我的一個猜想：人民幣升值對國內CS研究會有
不小的促進作用(當然, 人民幣升值對整個中國來說利大于弊還是弊大于利很難說).
9. ... ...
最近，實驗室的大牛Gawd也寫了一個rank，說的也很好，并且反映了這些會議的一些最新的變化。
1. NIPS：心中的痛，同樣也是心中的夢想。盡管屢投屢被挫，但是要越挫越勇。不得不承認，NIPS上的文章質量上還是非常上乘的。對于圈外人來說，NIPS總是很難。不管其匿名與否，圈內的人一看便可猜個大概文章究竟出自何方神圣筆下。難為了我們這些無名小卒。
1. UAI：同樣也是夢想，文章質量一樣的上乘，同樣的難。
3. ICML：雖說去年國內人士灌水無數，但這并不能削弱ICML文章的質量和影響力，從另外一個側面講，這正是說明了國內ML的進步神速。
3. AISTATS：別說他的文章接收率高，但和nips一樣，想要進去還真得頗下一番功夫。看看zoubin等人對此會如此鐘愛便可知曉該會議文章質量究竟如何。當然，該會議每每選心曠神怡之處做為棲身之地，也成為其吸引大牛競相前往的得力手段。
5. IJCAI：且不論從前的IJCAI如何，上次在印度開的IJCAI可真是有點讓人大跌眼鏡，oral和poster文章數量之多都是一個里程碑。然而，并不能否定IJCAI在權內的影響力和號召力，對于做AI的人來說，IJCAI應該還是一個最主要的會議。只是如果照上屆那般海收，恐怕文章質量無法保障。不知下屆如何。
6. KDD：之所以把他寫在IJCAI之后是因為他畢竟是從IJCAI上派生出來的，而其直至今日的發(fā)展速度不可謂不讓人贊嘆。然而我認為，一個會如果不匿名，那么其文章質量必然得不到大的飛躍。KDD里面的貓膩多了去了，不必熬述。希望可以盡快匿名。
7. ICCV：對于做CV的人來說，一定不同意把他排在第7位，然而就去年的iccv來看，在上面發(fā)文的做方法的人比比皆是。對于做方法的人來說，這個位置我想比較公平。具體原由大家只要看看上面做方法的文章便知。
7. CVPR：無法比較它與ICCV孰優(yōu)孰劣，也許大部分人都認為ICCV稍勝一籌。我確認為不然，就去年ICCV上所發(fā)表的CVPR拒掉文章的數量便可見一斑。而且CVPR文章的投稿數量和接收文章數都是與日俱增，不知是否在Miami可以看到上**開會的場面。
7. SIGIR：做方法的人要在SIGIR上篇文章還是挺難的，因為實驗的要求比較高。當然，MSRA除外。
10. AAAI：將其放在此處并不是從AI的角度，而還是從ML相關的方法的角度。該會議上出現的ML以及PR文章的影響力不如上面8個會，不信可以去查citeseer。
11. SIGMM：當然，不可從做系統(tǒng)的同學的角度如此評價此會議。但是對于就是用ML的方法做了MM應用的人來說，此會議也只能在這個地方了。
11. ECML：盡管上面有ICML押著，不過文章質量一直很堅挺，這點從接收率也可見一斑。
11. SDM：盡管老吳一直力挺ICDM，但我認為其文章質量仍無法與SDM相比。從參會的人就可以看到。
11. ECCV：虧就虧在E字頭了，不過文章質量不錯。另外我發(fā)現上面發(fā)表的有關純粹方法的文章并不多。
15. ICDM：盡管一直用接收率標榜自己，然而一個最主要的原因是基數大。如果文章質量沒有硬保障，接收率也只是空談。
上面也只是列出了我感興趣的一些會議，從做方法的人的角度來看的rank。一家之談，僅供消遣。
評論 0