国立国語研究所（ninjal）は，日本語学・言語学・日本語教育研究を中心とした研究機関です。研究者向けの研究資料・コーパスから，一般の方向けのイベント情報・読み物まで，さまざまなコンテンツを公開しています。
Wikipediaの記事データからコーパスを作成する方法(Windows版) 作るもの. Wikipediaの日本語記事データからコーパスを作ります。 具体的には、テキストファイルの中に、1行に1つの文を並べたものです。 全ページの全ての版のダンプを取得するためには、ファイル名が「pages-meta-history」で始まるすべての7zファイルをダウンロードしてください。 これらのXMLファイルをMySQLデータベースにインポートするには、MediaWiki配布物に含まれるimportDump.phpスクリプトを ダウンロードサイズ（圧縮ファイル）で400MB未満だったファイルを解凍すると、約1.5GBのサイズのテキストデータになりました。 livedoor ニュースコーパスは手軽で使いやすい 一番、使いやすいのは、これです。 HTMLタグとかを取り去ったテキストデータですし。 テキストが大きくなっても全ファイルをメモリに載せないようにしたのですが、今回は2.4GB程度なのでメモリに載せてしまう実装でもよかったかもしれません。 これらを使ってWikipediaの全行をループで回せる wiki_sentences() なるジェネレータも用意しました。 電子コーパス (テキストデータベース) を使った言語研究。ツールのダウンロードなど。 オンライン テクスト言語学 野村眞木夫さん。分析ツールの紹介など。 内山将夫さん 日英語分析のソフトウェアとコーパスなど。 日本語表現インフォ 青空文庫の分析。 機能:テキストファイルの文字コード(Shift-JIS, UTF-8, UTF-7, Unicode, EUC)を相互変換します。テキストファイルの文字コードを変換するには、秀丸などの高機能エディタ等でも可能ですが、このツールを使うと複数のファイルをまとめて変換できるようになります。 国立国語研究所（ninjal）は，日本語学・言語学・日本語教育研究を中心とした研究機関です。研究者向けの研究資料・コーパスから，一般の方向けのイベント情報・読み物まで，さまざまなコンテンツを公開しています。
ウィキペディアをダウンロード後、テキストに変換し、日本語コーパスとして利用するというもの。 コメント:利用方法の詳細を記した論文があります。非常に面白い試みだと思います。コーパス化に必要な一連の自作ツール(フリー)も同時に公開し 電子コーパス (テキストデータベース) を使った言語研究。ツールのダウンロードなど。 オンライン テクスト言語学 野村眞木夫さん。分析ツールの紹介など。 内山将夫さん 日英語分析のソフトウェアとコーパスなど。 日本語表現インフォ 本書の学習に必要な実習用ファイルをダウンロードできます。 実習用ファイル ファイルはzip形式で圧縮されています。 ご注意 下記をあらかじめご了承の上、ご使用ください。 サンプルファイルの使用方法に関するサポートは行っておりません。 2019/01/20 HOME > コーパス3000 コーパス4500 > コーパス4500 音声ダウンロード 音声ファイルのダウンロード方法 ダウンロードしたい項目のタブを選択。 をクリックし，保存先を指定して，ダウンロードする。 ※ファイルはZIP形式で圧縮されています 中納言マニュアル：検索結果のダウンロード 中納言の特徴 検索方法 検索条件指定 検索対象 検索動作 検索結果の表示 検索結果のダウンロード 検索条件式 更新履歴 検索結果のダウンロード ダウンロードボタンをクリックすることで、表示中の検索結果をタブ区切りテキスト形式で ファイルユーティリティマスター 1.00 ※オープンCOBOL系開発者向け ユーティリティソフト（ファイルダンプ・ファイルコンペア） (09.07.14公開 4,209K) 行番号を付けたりむしったり 0.99 テキストファイルの行頭に行番号を振りまた一括削除するツール (08.12.11公開 10K)
テキストが大きくなっても全ファイルをメモリに載せないようにしたのですが、今回は2.4GB程度なのでメモリに載せてしまう実装でもよかったかもしれません。 これらを使ってWikipediaの全行をループで回せる wiki_sentences() なるジェネレータも用意しました。 電子コーパス (テキストデータベース) を使った言語研究。ツールのダウンロードなど。 オンライン テクスト言語学 野村眞木夫さん。分析ツールの紹介など。 内山将夫さん 日英語分析のソフトウェアとコーパスなど。 日本語表現インフォ 青空文庫の分析。 機能:テキストファイルの文字コード(Shift-JIS, UTF-8, UTF-7, Unicode, EUC)を相互変換します。テキストファイルの文字コードを変換するには、秀丸などの高機能エディタ等でも可能ですが、このツールを使うと複数のファイルをまとめて変換できるようになります。 国立国語研究所（ninjal）は，日本語学・言語学・日本語教育研究を中心とした研究機関です。研究者向けの研究資料・コーパスから，一般の方向けのイベント情報・読み物まで，さまざまなコンテンツを公開しています。 単語の分散表現を学習させる際、Wikipedia ほどのサイズが必要ないときに使われるコーパスとして text8 があります。 text8 は、Wikipedia に対してクリーニング等の処理をした後、100MB分切り出して作成されています。 text8 は前処理済みで簡単に使えるので、チュートリアル等でよく利用されてい 上記2番で圧縮ファイル（eijiro-1448.zip）をダウンロードして、zipを用いて展開すると、以下のテキストファイルが復元されます。 ファイル名： eijiro-1448.txt. サイズ： 137,097,363バイト. 改行コード： cr+lf. 日本語文字コード： shift jis. 収録項目数： 198万9130
テキスト処理に関するオープンソースプロジェクト一覧。テキスト処理関連のソフトウェアの無料のダウンロードと自由な開発の場を提供。1ページ ダウンロード Magazine 開発 アカウント ダウンロード Magazine 開発 ログイン アカウント CSV形式でダウンロードする場合のテキストデータの容量は、1ファイルにつき10MBまでです。アップロードでは、一度に複数のファイルを選択してアップロードできます。容量が10MB以上のテキストデータは、10MBずつに分けてアップロードし Wikipediaの記事データからコーパスを作成する方法(Windows版) 作るもの. Wikipediaの日本語記事データからコーパスを作ります。 具体的には、テキストファイルの中に、1行に1つの文を並べたものです。 全ページの全ての版のダンプを取得するためには、ファイル名が「pages-meta-history」で始まるすべての7zファイルをダウンロードしてください。 これらのXMLファイルをMySQLデータベースにインポートするには、MediaWiki配布物に含まれるimportDump.phpスクリプトを ダウンロードサイズ（圧縮ファイル）で400MB未満だったファイルを解凍すると、約1.5GBのサイズのテキストデータになりました。 livedoor ニュースコーパスは手軽で使いやすい 一番、使いやすいのは、これです。 HTMLタグとかを取り去ったテキストデータですし。 テキストが大きくなっても全ファイルをメモリに載せないようにしたのですが、今回は2.4GB程度なのでメモリに載せてしまう実装でもよかったかもしれません。 これらを使ってWikipediaの全行をループで回せる wiki_sentences() なるジェネレータも用意しました。
CasualConc のインストールは簡単で，CasualConc のサイトからディスクイメージをダウンロード. して Finder 上で開き，中に入っ ルだけを扱う「シンプルモード」と，複数のテキストファイルをグループ（コーパス）としてまとめて. 管理したり，複数のデータベース
