csv - 大容量导入CSV到 Cassandra 2.0.3

  显示原文与译文双语对照的内容

我想批量上传CSV到 cassandra 2.0.3 。 现在我已经成功地将CSV转换为 sstables 。

但是,在运行sstableloader时,下面有一条错误消息。 如果我没有在 cassandra 2.0.3中找到导入的数据,这个错误会影响我的外接程序?


VirtualBox:~/apache-cassandra-2.0.3$./bin/sstableloader -d localhost airlines/flight/
ERROR 16:08:04,832 Unable to initialize MemoryMeter (jamm not specified as javaagent). This means Cassandra will be unable to measure object sizes accurately and may consequently OOM.
Established connection to initial hosts
Opening sstables and calculating sections to stream
Streaming relevant part of airlines/flight/airlines-flight-jb-1-Data.db to [/127.0.0.1,/127.0.0.2]
progress: [/127.0.0.2 1/1 (100%)] [/127.0.0.1 1/1 (100%)] [total: 100% - 0MB/s (avg: 0MB/s)]

时间: 作者:

我在bash脚本中包装了sstableloader作业,最初,它的错误完全相同。 我做了一些挖掘,发现JAVA_TOOL_OPTIONS环境变量修正了我的问题。

这是我的剧本:


#!/bin/bash

# ------------------------
# paths to the cassandra source tree, cassandra jar and java
CASSANDRA_HOME="/usr/share/cassandra"
JAVA_AGENT="-javaagent:$CASSANDRA_HOME/lib/jamm-0.2.5.jar"
export JAVA_TOOL_OPTIONS=$JAVA_AGENT
# ------------------------

# ------------------------
# Initialize Parameters
SSTLOADER=`which sstableloader`
SSDATADIR=/usr/share/cassandra/scripts/sstable_load/data/<schema_name>/<column family>

CASSNODE="192.168.2.1"

# ------------------------
log_dir=/usr/share/cassandra/scripts/sstable_load/logs
dt=`date +'%Y%m%d_%H%M%S'`
logdest=$log_dir/sstabloader_"$dt".log
# ------------------------

exec 1>$logdest
echo"Job Started:" `date`
echo"Job Logged To:" $logdest
echo

# ------------------------
# Run the SSTableLoader Command
$SSTLOADER -v -d $CASSNODE -u <user> -pw <password> $SSDATADIR


echo
echo"Job Completed:" `date`

exit 0

将 <> 中的脚本条目替换为适当的信息。

希望这对你有用。

请立即投票。

...