Warning: "continue" targeting switch is equivalent to "break". Did you mean to use "continue 2"? in /home/i-doctor/www/ai/dokuwiki/inc/parser/handler.php on line 1552

Warning: Cannot modify header information - headers already sent by (output started at /home/i-doctor/www/ai/dokuwiki/inc/parser/handler.php:1552) in /home/i-doctor/www/ai/dokuwiki/inc/actions.php on line 38

Warning: Cannot modify header information - headers already sent by (output started at /home/i-doctor/www/ai/dokuwiki/inc/parser/handler.php:1552) in /home/i-doctor/www/ai/dokuwiki/lib/tpl/dokuwiki/main.php on line 12
機械学習用データの収集方法 [サルでもわかる機械学習]

サルでもわかる機械学習

ユーザ用ツール

サイト用ツール

トレース: • 機械学習成果をwebで公開 • 機械学習用データの収集方法

サイドバー

目次

機械学習とは

  1. 機械学習って何？
  2. おすすめの機械学習入門書2018年版
  3. CourseraのMachineLearning動画
  4. 機械学習スライドリンク集
  5. 機械学習入門リンク集
  6. 機械学習の歴史のリンク集
  7. 機械学習の理論のリンク集
  8. 機械学習トピックス2017年版

プログラミング無しで機械学習

  1. NeuralNetworkConsoleCloud(SONY)
  2. NNCC(SONY)用のデータセット作成
  3. NNCC(SONY)でオリジナルデータで画像分類
  4. NeuralNetworkConsole(SONY)
  5. NNC(SONY)のインストール
  6. NNC(SONY)で初めての機械学習
  7. NNC(SONY)で自前データで画像分類
  8. NNC(SONY)で回帰分析
  9. 機械学習ソフトH2O.ai
  10. H2O.aiで手書き数字MNIST分類

機械学習プログラミング入門

  1. Colaboratoryで今すぐpythonを始める方法2018
  2. WindowsでPythonを始める方法2017年版
  3. 初めてのPythonの勉強方法
  4. Windowsで機械学習フレームワークを導入する方法

初めてのKeras2.0

  1. WindowsにKeras2.0をインストール
  2. Kerasで手書き文字認識MNIST
  3. Kerasプログラミングの全体図
  4. (1)Kerasを使用するためのimport文
  5. (2)データ準備(Keras)
  6. (3)モデル設定(Keras)
  7. (4)モデル学習(Keras)
  8. (5)結果の出力(Keras)
  9. (6)学習結果の保存(Keras)
  10. (7)推測(Keras)
  11. 機械学習成果をWEBで公開
  12. Keras2用自前データの準備
  13. WindowsでKerasの可視化の際の注意点
  14. Keras使い方リンク2017年版
  15. Keras使い方動画リンク
  16. 機械学習サンプルコードのリンク2017年版
  17. 機械学習用データの収集方法
  18. KerasでFineTuning(作成中)
  19. Kerasで重回帰分析
  20. pythonメモ(作成中)
  21. PHPメモ
  22. flaskメモ
  23. 画像の前処理
  24. Keras厳選リンク集2017
  25. sidebar

初めてのTensorflow(YouTube)

  1. Tensorflowって何？
  2. WindowsにPythonをインストール
  3. TensorflowとKeras2.0のインストール
  4. Kerasで初めての機械学習
  5. WindowsでKerasモデル可視化1
  6. WindowsでKerasモデル可視化2
  7. Kerasで自前データで機械学習
  8. WindowsにOpenCV3をインストール
  9. OpenCVで顔認識
  10. OpenCVで画像切り抜き
  11. PILで画像切り抜き
  12. AIで株価予測
  13. sidebar

初めてのChainer2.0

  1. Chainer2.0をWindowsにインストール
  2. Chainer2プログラミングの全体図
  3. (1)Chainer2を使用するためのimport文
  4. (2)データの準備・設定(Chainer)
  5. (3)モデルの記述(Chainer)
  6. (4)モデルと最適化アルゴリズムの設定(Chainer)
  7. (5)学習と結果の出力(Chainer)
  8. (6)学習結果のパラメータの保存(Chainer)
  9. (7)推測(Chainer)
  10. Chainer2機械学習成果をWEBで公開
  11. Chainer2用自前データの準備
  12. 初めてのOpenCV3
  13. 初めてのPIL(pillow)
  14. pythonのリスト[]とタプル()
  15. pythonでファイルの読み書き
  16. 初めてのnumpy
  17. 画像をnumpy配列に変換
  18. sidebar

初めてのビットコイン

ビットコイン用語集

  1. ビットコインって何？
  2. おすすめのビットコイン入門書2018年版
  3. ビットコインの歴史
  4. マウントゴックス事件(2014年)
  5. Dao事件(2016年)
  6. コインチェック事件(2018年)
  7. テザーショック(2018年)
  8. ビットコインを買う方法
  9. ビットコインチャートの見方超入門
  10. イーサリアム入門リンク集
  11. IoT
  12. P2P
  13. ブロックチェーン
  14. ハッシュ
  15. 暗号鍵と公開鍵
  16. スマートコントラクト
  17. 分散型アプリケーションdApps
  18. ICO
  19. sidebar
  20. sidebar
  21. sidebar

初めてのSolidityプログラミング

  1. Solidityって何？
  2. Solidityリンク集2018
  3. おすすめのsolidity入門書2018年版
  4. Remixで初めてのSolidity
  5. CryptoZombiesでSolidity入門
  6. Solidity勉強方法リンク集
  7. Windowsにgethをインストール
  8. gethでHelloWorld
  9. Ethereum開発フレームワークTruffle
  10. sidebar
  11. sidebar

初めての医療統計

初めてのエクセルで医療統計

  1. 医療統計でお勧めのソフト
  2. Excelで平均値と標準誤差
  3. Excelで折れ線グラフと誤差
  4. Excelでデータ保存の方法
  5. Excelで$マークの使い方
  6. Excelで固定表示
  7. Excelでセルをらくらくコピー
  8. Excelでセルの瞬間移動と選択
  9. Excelでエラー値を無視して平均を計算
  10. sidebar
  11. Excelでcsv出力

初めてのEZRで医療統計

  1. 論文掲載可能なフリーソフトEZR
  2. EZRのインストール
  3. Excelでcsv出力
  4. EZRでcsvファイルの読み込み
  5. EZRでt検定
  6. EZRで対応のあるt検定
  7. EZRでOneWayRepeatedMeasuredANOVA
  8. EZRで散布図
  9. EZRで箱ひげ図
  10. EZRでTable1を作成
  11. sidebar

初めてのRStudioでレポート作成

  1. WindowsにRStudioをインストール
  2. RStudioで新規プロジェクト作成
  3. RStudioで新規RNotebook作成
  4. RNotebookでRインラインコード
  5. RNotebookでcsvファイルの読み込みと表示
  6. RNotebookで折れ線グラフ
  7. ggplot2で折れ線グラフ
  8. ggplot2で論文用の白黒折れ線グラフ
  9. ggplot2でタイトルとx軸y軸の設定
  10. Rで対応のあるt検定
  11. Rでt検定
  12. dplyrでデータ変換と要約
  13. ANOVA君で分散分析
  14. tableoneでTable1を作成
  15. 医療統計に関するリンク
  16. RStudioCloudでどこでもRStudio
  17. RStudioでお勧めの本2018年版
  18. sidebar

スマホアプリ作成ソフトIonic3

  1. Ionicって何？
  2. Ionicの歴史と今後
  3. WindowsでIonicを始める方法
  4. おすすめのIonic3入門書2018年版
  5. GitHub上のionic3アプリのインストール
  6. ionic3で計算アプリ
  7. ionic3でタイマーアプリ
  8. Ionic3でTodoアプリ
  9. Ionic3でクイズアプリ
  10. IonicウェブアプリをNetlifyで簡単デプロイ
  11. Ionicウェブアプリをfirebaseにデプロイ
  12. Ionic3でJson
  13. ionic3でfirebase利用
  14. Ionic3とfirebaseでTodoアプリ
  15. Ionicとfirebaseでチャットアプリ
  16. Ionic3とfirebaseでパスワード制限
  17. Rails5サーバとIonic3で通信
  18. Rails5APIとIonic3でTodoアプリ
  19. Ionicでフォーム作成
  20. Ionicでページ遷移
  21. Ionic3でテキスト表示切り換え
  22. Ionicのルーティング
  23. Ionicでhttp接続(v3で変更)
  24. IonicでRxJS非同期通信
  25. Ionicでデータ保存
  26. Ionic3でfirebaseに画像保存
  27. クリック操作(click)
  28. *ngForの使い方
  29. ステータスバーに日付表示
  30. PWAって何？
  31. Angularfire2Version5の変更点
  32. sidebar
  33. Ionic4での変更点
  34. RxJS6(Ionic4-Angular6)での変更点
  35. Windows8でGitHub
  36. Ionic3でAndroidアプリ作成の実際
  37. sidebar

スマホアプリ作成ソフトIonic4

  1. WindowsでIonic4を始める方法
  2. Ionic4とDialogflow(V1)でチャットボットアプリ
  3. Ionic4とfirebaseでチャットアプリ
  4. Ionic4とFirestoreでCRUD
  5. Capacitorプラグイン
  6. Ionic4でのAndroidアプリ開発環境
  7. sidebar

Ionicのためのjavascript tips

  1. 条件(三項)演算子ハテナセミコロン
  2. Javascriptの歴史
  3. 連想配列の並び替え
  4. sidebar
  5. sidebar
  6. sidebar

その他

NiftyCloudMobileBackend

  1. NiftyCloudMobileBackendとは
  2. スマホアプリ作成ソフトMonaca
  3. jQueryとは
  4. sidebar

税金など

  1. 確定申告
  2. 事業所得と雑所得
  3. 合同会社
  4. sidebar
  5. sidebar

Dokuwiki

sidebar

機械学習用データの収集方法

機械学習用データの収集方法

自分で新たな機械学習を行おうと思った際に必要となるのが、大量の学習用データです。有用なオリジナルデータを集めることができれば、それが一番良いのですが、普通の人にはそんなの無理な話であるので、Webから集めるのが現実的と思われます。 手動で集めるのも一つの手段ではあると思いますが、たとえば、5000枚もの画像（本当は5万枚くらい欲しい）を手作業で集めてラベリングするのは、「生きている間にできるかな？」といったところとなってしまいます。 そこで、これらの作業をできる限り自動化することが必要となってきますが、ウェブサイトから情報を抽出するコンピュータソフトウェア技術を、「Webスクレイピング」というらしいです。

この言葉を初めて認識したのが2017年5月でした。おすすめの機械学習入門書2017年版でも紹介していますが、まず、以下の本がお勧めです。Python3で行う、Webスクレイピングの手法が事細かに説明されており、非常にお勧めです。こちらの本に記載があって初めて知ったのですが、Webスクレイピングを行った結果、悪意が全くないのに逮捕されてしまった事例（岡崎市立中央図書館事件(Wikipedia)）もあります。Webスクレイピングを行う際には、違法性がないかどうか、また相手に迷惑をかけていないか細心の注意を払った方がよいと思われます。



加藤 耕太(著)
Pythonクローリング＆スクレイピング ―データ収集・解析のための実践開発ガイド
3,456円
サポートページ
http://gihyo.jp/book/2017/978-4-7741-8367-1/support

Webスクレイピングのリンク集

スクレイピングとAPIの違い 2016/11/20 AtsushiNakatsugawa
https://developer.ntt.com/ja/blog/e007f5ca-292b-48b6-9fcb-e8051a1f9889

Webスクレイピングのノウハウを公開します 2015年6月29日 Toshihiko Kimura
http://tech.respect-pal.jp/web-scraping/

週刊少年ジャンプの短命作品を，機械学習で予測する （前編：データ分析） haltaro 2017年05月29日に更新
http://qiita.com/haltaro/items/c54fa1855767f1a1abd5

Qiita tag:スクレイピング
http://qiita.com/tags/%E3%82%B9%E3%82%AF%E3%83%AC%E3%82%A4%E3%83%94%E3%83%B3%E3%82%B0

URLを入力するだけ！コンテンツをスクレイピングしてデータ化してくれる無料ツール「import.io」 2016/10/7
https://nelog.jp/import-io

前： 機械学習サンプルコードのリンク2017年版
目次
次： 機械学習成果をWEBで公開

機械学習用データの収集方法.txt · 最終更新: 2018/10/07 (外部編集)

ページ用ツール

Donate Powered by PHP Valid HTML5 Valid CSS Driven by DokuWiki