Tag Archives: Perl

4月 18

在Windows中高效处理文本数据

Posted on by

  1. GNU utilities for Win32

    2. Here are some ports of common GNU utilities to native Win32. In this context, native means the executables do only depend on the Microsoft C-runtime (msvcrt.dll) and not an emulation layer like that provided by Cygwin tools.
    主页
    下载

  2. CoreUtils for Windows

    3. The GNU Core Utilities are the basic file, shell and text manipulation utilities of the GNU operating system. These are the core utilities which are expected to exist on every operating system.
    主页
    下载：EXE；BIN

  3. Time For Science中的部分PELR2EXE

    4. Continue reading →

3月 21

山人何处君不见？东风一花倚阑干！ ——《全唐诗》、《全宋词》统计分析报告

Posted on by

山人何处君不见？东风一花倚阑干！

——《全唐诗》、《全宋词》统计分析报告

一、源起

前两天看到了邱怡轩写的统计词话（一）。受其启发，决定利用自己的编程及统计分析能力，对《全唐诗》和《全宋词》进行一个较为全面的统计分析与比较。于是便有了你现在看到的这篇文章。
此处使用到的原始数据、程序脚本及结果图表等均可以在文末找到下载链接。

二、数据

《全唐诗》及《全宋词》的原始数据均来自于网络。
通过基本的编码转换以及“简单”的过滤筛选之后，就得到了用于后续统计分析的数据。

三、工具

系统平台：Linux（Ubuntu 10.10，AMD64）。
Shell命令行：转换编码（iconv）与换行符（fromdos）。
Perl（v5.10.1）：用来过滤、筛选原始数据，得到可以用于后续分析的格式化数据。
R（v2.12.2）：统计分析及图表绘制。
其他：Vim（v7.2.330），TimeForScience。

四、结果

1.基本信息

general_info
补充：只考虑诗或词的主体内容的话，《全唐诗》共使用了7513种（个）汉字，而《全宋词》则使用了5750种（个）汉字。
此处的统计数据仅为约数，与其他的数据有一定的出入。主要原因在于原始数据的质量以及数据处理过程中的过滤筛选等。
相关的参考数据：
百度百科：《全唐诗》共收录唐代诗人2529人，诗作42863首。
玄烨为《全唐诗》所作的序中的说法：诗48900余首，2200余人。
日本学者平冈武夫的统计结果：《全唐诗》共收诗49403首，句1555条，作者2873人。
维基百科：《全宋词》收录宋代词人1330家，词作21116首。
Continue reading →