2020-10-01から1ヶ月間の記事一覧

【G検定】確率的機械学習や分散処理、最適化アルゴリズムの用語まとめ

前書き 分からないところをまとめた。 Dist Belief Googleが開発した大規模分散深層ネットワーク。 並列処理によるDeepLearning計算の高速化に役立ち、 Downpur SGD(SGDの高速化)とSandblaster L-BFGS(並列処理プログラム)により構成されています。qiita.com…

【G検定】AI技術に関する政策動向

AIと知的財産 AI学習データに関する著作権保護 平成30年の著作権改正により、 AI用学習データセットを作成する行為や解析終了後のデータセットを情報解析する他人に送信する行為が可能となりました。本来、著作権法では他人の制作物の無断利用は厳禁ですが、…

YOLOを使ってドアラ検出〜後編〜

目次 前回の続き melheaven.hatenadiary.jp DarkNetをInstall アノテーションソフトをInstall 教師データの作成(アノテーション) **設定ファイルの編集** darknet19_448.conv.23を取得 学習 テスト 設定ファイルの編集 ここで編集する設定ファイルは最低3つ…

YOLOを使ってドアラ検出〜前編〜

はじめに 手軽に物体検出を試したいなあと思って手を出した次第であります。 そこで今回は某名古屋球団のマスコットである愛らしいドアラの検出をします。 DarkNet 今回の主役「DarkNet」これがDarkNetのサイト。 「なんか厨二くさいサイトは・・・」と思う…

【U-Net】PytorchでSemantic Segmentationの推論+切り抜きを実装

前書き melheaven.hatenadiary.jp前回、上記の記事のように学習を進めました。 今回は推論をやっていきます。 推論の準備 学習後、作成した重みファイル(.pth)をロードします。 # 学習モデルを引っ張ってくる(前回の記事参照) model = ResNetUNet(num_clas…

【G検定】に出てくる偉人たちをまとめてみる

前書き G検定で偉人の名前がよく出てくるのですが、 如何せん私自身歴史が苦手だったので、 少しまとめてみます。 何した人? 人名 何をした人? ジョン・マッカーシー ダートマス会議で人工知能と言う言葉を初めて使った。 アーサー・サミュエル 機械学習を…

【U-Net】Semantic Segmentationの学習フェーズの実装

前書き Kaggle(やってない)や研究の勉強ついでに。 ネットワークモデルは自分で構築するより、 外から取ってきて自分の実現したい内容に合わせるかが重要です。 概要 前回dataloaderの作成まで行いました。 今回はU-Netでmelheaven.hatenadiary.jp今回はU-…

Pytorchのデータ前処理【Dataset・Transform・DataLoader】を実装

前書き 今までTensorflowを活用していたのですが、toPytorchを勉強しています。 今日は基礎をざっと紹介していきます。melheaven.hatenadiary.jp Pytorchの機能 torch → Tensorの作成や操作 torch.Tensor → torch.Tensorクラスのパッケージ化 torch.autograd…

matplotlibを扱う上でたまに遭遇するバグ

前書き 環境構築中にmatplotlibにバグが発生したので備忘録にまとめました。 matplotlibでグラフが表示されない問題 特にエラーを吐かないんですよね・・・ 原因もわからないので調査しました。spyderでプログラムを実行した時、 matplotlibで表示されるグラ…

Frontend=Vue.js、Backend=Flaskで画像投稿。PythonでBinary操作。

前書き そういえば3ヶ月前にこんな記事をQiitaに投稿しました。 最初の方はいまいち中身を理解してなかったのですが、 インターンでバイナリ操作、 Axiosを触るようになって理解した画像投稿部分を説明します。 記事も更新しました。qiita.com Vueの箇所 // …

デジタルトランスフォーメーション(DX)って何・・・

前書き 本日はあまり作業できていないので、 近年デジタル庁創設などで話題になっているデジタルトランスフォーメーションについて デジタルトランスフォーメーションとは 2004年にスウェーデンのウメオ大学のエリック・ストルターマン教授は以下のように定…

転移学習とファインチューニングについて解説!

前書き G検定の勉強ついでにまとめてみます。 転移学習とファインチューニングがごちゃ混ぜにしている方が結構多い? と感じたので、自分なりに整理します。 転移学習を超短くまとめる 転移学習とは元のある領域(=ドメイン)で学習させたことを他の領域に…

Ubuntu再インストール後、NVIDIAでGTX980-Tiを認識させたい

前書き 以前研究室のPCの起動ができなくなりました(Grubまでは動作)。 一応repair-bootなどの機能を試したのですが、 修復がうまく行かずしまいには再インストールを試みました。www.google.com Ubuntu再インストール→GPU認識 Live USBから別のUbuntuを起…

Numpyで分割サイズを指定して画像を均等にグリッド化させる

前書き 大きめの画像から物体認識を実装する際、 やはり画像をグリッドごとに分割すべきです。 そんな時画像のピクセル数を指定して分割したいと思ったので、 記事を書いてみました。 画像処理ライブラリ「Pillow」 Pillowとは画像処理ライブラリで、 対抗馬…

アノテーションツールLabelme編

前書き 最近Semantic Segmentationについて勉強してるので、 学習データの準備段階で行うアノテーションについてまとめてきました。 アノテーション アノテーションとは特定の画像に対してメタデータを付与する作業です。 画像認識タスクでは画像内のオブジ…

Keras(on Tensorflow) vs Pytorch

前書き 最近研究でKerasとPytorchを対象研究ごとに使い分けたりすることが多いのですが、 その比較がイマイチ曖昧でしたのでまとめることにしました。 KerasもPytorchも大きな変革が・・・ 2019年10月、KerasとPytorchに大きな変革がもたらされました。 Kera…

危険なConsole.log

Console.logはサーバーも落とす 環境はDockerコンテナでVue+ExpressのWebアプリを動かしていました。 動作検証を行いたかったので、Express(Backendサーバー)にconsole.logを入れ込んで、 処理がどこまで進んでいるか確認してました。 サーバーが落ちる Back…

東京証券取引所のトレード停止の裏に何があったのか・・・

前書き 2020年10月1日、東証のシステム全停止のニュースが報道されました。 東証の上層部の対応が賞賛されていましたが、 マスコミは「なぜバックアップを取れなかったのか」と叩いていた覚えがあります。 ただ自分が興味があるのは技術的要因です。X-Techの…

オンライン開発インターンに2週間行ってまいりました!

前書き 10月に入ってからの2週間、某IT系(東証一部上場)企業でインターンしてまいりました! バリバリ業務をこなしていたので、社名は出さない条件でブログを書きます! どんな内容 インターンシップ生1人にメンターさんが1人つきます。 プロジェクトチー…

AxiosでBinaryファイルを受信する際にハマったこと・・・

前書き よく分からないAPIでも、 ソースコードを遡ればAxiosでやり取りしてたということがありました。 ドキュメント読んだり、コード遡ったりするのは大事ですね。 Buffer fileをAxios使ってやり取り 自分がやり取りしたかったのではFBX-Binaryファイル。 F…

初めてのチーム開発(ほぼハッカソン)に参加した件 その2

9月前半に株式会社ラクス様のインターンシップに参加しました この記事の続きを書いていきます。melheaven.hatenadiary.jp随分と前の話になるので、早めにまとめておきたいと思ってたのですが・・・ 前回の記事の流れから 「チャット機能を兼ね備えたタスク…

md5でファイルの整合性を取ろうとしたら・・・

MD5とは 暗号学ハッシュ関数の一つであり、ハッシュ値は128bitで表記されます。 ファイルの整合性を確認する場合に一般的に用いられます。 同じファイルの場合、同じ値を返すものの、 少しでも異なる場合、全く違うハッシュ値を返すのが特徴です。 自分の場…

FetchAPIとReadableSTreamについて解説してみた!

XMLHttpRequestとは サーバーとWebページの更新なしにデータのやり取りを実現できる。 同期的・非同期的かはオプションとして選択でき、 テキストデータだけでなくバイナリデータのやり取りも可能である。 Fetch APIとは fetchではXMLHTTPRequestと比べてモ…

ファイル形式FBXについて調査してみました

前書き 前回ブラウザ上で3D表現をJavaScriptで表現できるThree.jsについて説明した。 melheaven.hatenadiary.jp ファイルの読み込みをしたい ozateck.sakura.ne.jp上記のサイトによると、 FBXLoaderというモジュールを適用して実装する。 ローカルに3DFileで…

JavaScript上で手軽に3Dモデルを扱えるThree.js

前書き 諸事情でThree.jsについて扱っています。 Three.jsを扱えばJavaScriptで3Dモデルを扱えます。 node.js環境の場合、npmでthree.jsを導入できます。 基礎知識 webGLとは ブラウザ上で3D表示のための標準仕様です。 webGLではGPUによる高速なコンピュー…

Ubuntuのログインループの改善方法

前書き 機械学習の研究でGPUをゴリゴリ使います。 なので最近研究室でubuntuPCのログインループを直す機会が増えました。 備忘録としてまとめます。 ログインループってそもそも何 電源をぶち抜いたり、 GPU周りで怪しい挙動をするようになると発生するらし…

TypeScriptとNodeを使ったWeb開発あれこれ

TypeScriptとは TypeScriptは2014頃にJavaScriptの拡張版として開発された言語です。 JavaScriptとの違いは静的型付き言語である点で、変数のデータ型を指定することにより、 大規模開発でのエラーを未然に防ぎ易いメリットがあります。 TypeScriptではクラ…