Hike News
Hike News

Golang項目-Kafka,tailf,config,log

introduction Kafka為一分布式的系統 一個kafka的集群可能有三台以上 使用第三方基礎庫來操作Kafka import "github.com/Shopify/sarama" 往kafka放東西的,稱為生產者(Producer) 客戶端連上Kafka,從Kafka取(消費)數據,稱為消費者 tailf庫 其為golang內部的基礎庫 其可以從一個不斷寫入的文件,持續的拿出數據 import "github.com/hpcloud/tail"

Continue Reading →

Golang資料結構-稀疏矩陣(sparse matrix)

introduction 在數值分析中,大部分元素為零或是同一個值的矩陣。反之,如果大部分元素都非零或為不同值,則這個矩陣是稠密的。 處理方式: 記錄矩陣中共有多少行列(row,col,default(預設值)) 記錄有多少個不同的值 把具不同值的元素之行列與值 記錄在一小規模的陣列中,從而縮小程序的規模

Continue Reading →

Golang基礎-補充知識-工程管理與go install

工作區 Go代碼必須放在工作區中 工作區:一個對應於特定工程的目錄,其包含三個子目錄 src目錄:用於以代碼包的形式組織並保存Go源碼文件(必須存在) pkg目錄:用於存放go install命令構建安裝後的代碼包(包含原Golang庫的源碼文件),生成相關的靜態庫文件(其會與所使用的os相對應) bin目錄:與pkg目錄類似,保存由go install命令生成的可執行程序

Continue Reading →

深度學習-tensorflow基礎-讀取數據-API應用-圖像讀取

Introduction圖像基本知識 在電腦中圖片是由pixel(像素)組成的 圖片的特徵值就是像素值(長度x寬度x通道數) 黑白圖片又稱為單通道圖片:每一個像素點只有一個值(灰度值),介於0~255之間 彩色圖片又稱為三通道圖片:每一個像素點由RGB三個值組成

Continue Reading →

深度學習-tensorflow基礎-讀取數據-API應用-csv檔讀取

構造文件名隊列(string_input_producer)不管任何形式的文件(csv,圖片,二進制)都會使用此API來構造文件名的隊列 tf.train.string_input_producer(string_tensor,shuffle=True) string_tensor:含有文件名的1階張量 列表裡面含有各個文件的路徑+文件名 可直接傳入列表,會將其轉換成一階張量 num_epochs: 當讀入的量比較少時,且批處理隊列所需要的數據量比較大時,會重複的使用已經讀取過的文件 預設是過無限次的數據,直到滿足批處理隊列的大小為止,或者可限定讀取次數 shuffle:bool值,是否亂序讀取,預設為True 返回一個具有路徑+檔名的字符串隊列 將輸出字符串(例如:文件名)輸入到管道隊列

Continue Reading →

深度學習-tensorflow基礎-自定義命令行參數

Introduction可在程序運行前在不修改程序的情況下,去實時修改一些我們定義好可改變的參數 類似於sys.argv的功能 tensorflow本身自帶一樣的功能 常應用在設定訓練次數或是學習率 流程: 首先定義有哪些參數需要在運行時指定 程序當中獲取定義命令行參數 替換要改變的參數

Continue Reading →