|
|
目录
* c$ E6 ?/ n( @% y3 o2 O9 C* H+ v5 u% w. U& H( N+ l9 c( \! P
S# b- y+ [. f- O- 一、需求背景
1 j6 m4 C5 T4 u0 K- g - 二、没错,第一节写的太多了
& Y- {! ~) k! w O: @, ]2 \" q8 d - 三、开始写代码了/ R+ T! I8 l: c" M7 T( N$ s
- 四、真的要贴代码了! G1 C8 S2 S( G V- |- @6 e, t
- 五、差点忘记做成DLL了& u( a1 { M A: N& h* t
- 六、因为跨线程、进程,所以要考虑加入互斥量哦
9 x% D& |. X, z; y$ N
) p6 Y3 r* U3 Q% O一、需求背景2 L6 k0 `/ z% A3 E2 y# g9 @: i) O
& W% ], P$ F i3 k1 k1、最近项目要求高频次地读写数据,数据量也不是很大,多表总共加起来在百万条上下。" X0 |' r: B0 C0 z- k( K8 O5 L+ W
单表最大的也在25万左右,历史数据表因为不涉及所以不用考虑,6 o1 n9 ~, |0 [1 k, ~
难点在于这个规模的热点数据,变化非常频繁。. r* T0 x" d& i/ ~
数据来源于一些检测设备的采集数据,一些大表,有可能在极短时间内(如几秒钟)可能大部分都会变化,6 C* L" q5 R& u8 p: \1 l) C% L
而且主程序也有一些后台服务需要不断轮询、读写某种类型的设备,所以要求信息交互时间尽可能短。7 F. E/ |+ C# v' Z: m$ [. N
2、之前的解决方案是把所有热点数据,统一加载到共享内存里边,到也能够支撑的住(毫秒级的),但是由于系统架构升级,之前的程序(20年前的)不能兼容。7 y- h ^) D4 Q/ A6 P6 g# ?
只能重新写一个,最先想到的是用redis,当时把所有API重写完成后,测试发现效率不行,是的,你没有看错,redis也是有使用范围的。4 }8 H0 H6 J! M8 Z( P
3、redis读写非常快,但是对于大批量读写操作我觉得支持不够,虽然redis支持批量读写,但是效率还是不够快,
$ H3 Z, w: z: a. m" i5 G- R对于字符串(string)类型的批量读写,我测试过;效率比较好的在每批次200 至 250条之间,处理20万条数据耗时5秒左右, (PC机,8G,4核)
7 u% Y! s& F0 I$ Z4 l" l/ e而对于有序集合(sorted set)类型,批量写的操作用起来非常别扭,而且没有修改API(如有其他方式请指教),我测试过,效率没string类型那么高* ]. W/ G" { r( _& x4 ^
其他类型不适合我的业务场景,就没考虑使用了* {9 j8 A) ~7 q. n% Y- I: D
4、所以项目组最后决定还是用回共享内存,先决定在.net环境下使用c#的共享内存,这个功能可能使用的人不多,其实在.net4.0版本就已经集成进来了/ I6 T, g: U$ C+ [ G3 m
在System.IO.MemoryMappedFile命名空间下。这个类库让人很无语,因为里边能用的只有Write、Read这2种方法,而且只是针对字节的操作,* g- x7 m. t1 F5 S4 T0 v5 }
需要非常多的类型转换,非常麻烦!想想,只能以字节为单位去构建一个需要存放百万级数据的内存数据库,得多麻烦?
' R* z* i0 D+ w U" o \1 G6 F需要手动搞定索引功能,因为要支持各种查询,最后花了一天的时间写完DEMO,最后测试后发现效率并没有很大提高,因为当时加了互斥量测试,7 z) Z, Q) L! C! I4 a
但是离毫秒级差得远。这个技术点有兴趣的可以了解下,园子里有,如:https://www.cnblogs.com/zeroone/archive/2012/04/18/2454776.html+ T/ x+ }) C. @! V: @) M4 Q4 }
$ N2 n0 i. d7 q/ F6 C8 o3 ?5 u
二、没错,第一节写的太多了4 t! z) J7 y0 l" m! ~$ S9 c
) M5 R# W2 @! L# R1 Q1 l
1、最后分析,这应该是c#语言的瓶颈,c#对于这种骚操作是不那么成熟的。
" S8 s6 z& T: h/ M( I8 k) J2、最后瞄来瞄去,决定使用VC开发一个dll,在里边封装对内存数据的读写功能,然后c#调用
% F. {6 K# d$ V8 g3、本人的C、C++不那么熟、参考了一些实例,比如园子里的:http://www.cnblogs.com/cwbcwb505/archive/2008/12/08/1350505.html- [! L# @% O% x; z1 }
4、是的,你没有看错,2008年的,我还看到一篇更早的,看来底层开发C、C++那么经久不衰不是没有道理的,很多技术现在都在用" D1 Y! m" Z4 |+ c; ], h7 X
5、看看什么是共享内存8 w4 r! J) \' V& m9 O
- p" _' x7 d( |6 N7 f% ]
; d& n* J" P2 `: i- q! S( z三、开始写代码了* ?2 W7 d. G B, U7 G
6 z% K% K e: L u# O1、首先建2个控制台项目,支持MFC,. b. v5 D) j, t; p
2、先这样:一个负责创建共享内存,初始化数据
/ y: Z: j6 `, Y* F3、再这样:一个读写数据测试,最后修改% p. x' E5 w/ J5 C! [- H% v
4、最后修改下图片细节,测试一下,看看效果
! e# L6 O. ^4 H, C0 L
" x2 M. P: [2 P3 u. H
! c9 F' Z2 X% p0 ?5、完成了,see, 是不是很简单呀?都会了吗?: ^$ x0 P7 @& @: e
2 b8 {8 v6 w! c) m" r- k ~. w8 ?
3 z5 G& c) z1 B9 `0 v( y
四、真的要贴代码了
7 _3 w. J8 m( S( R0 b' J
& {# w7 e- b% F8 o1、先定义个枚举返回状态- typedef enum{ Success = 0, AlreadyExists = 1, Error = 2, OverSize = 3}enumMemory;
复制代码 2、再定义个结构体用来测试- typedef struct{ int TagID; char TagName[32]; int Area; double EngVal; double UpdateTime; double RawMax; double RawMin; double RawVal; char Name[50]; char Al; double ASTime; char MaskState; double AMTime; char Cf; char Tdf; char AlarmCode[32];}TENG;
复制代码 3、开始创建共享内存- int Create(UINT size) { // Data HANDLE fileMap = CreateFileMapping(INVALID_HANDLE_VALUE, NULL, PAGE_READWRITE, 0, size, “Name”); if (fileMap == NULL || fileMap == INVALID_HANDLE_VALUE) return Error; if (GetLastError() == ERROR_ALREADY_EXISTS) return AlreadyExists; // init void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, size); if (mapView == NULL) return Error; else memset(mapView, 0, size); return Success; }
复制代码 4、再开始写数据- int Write(void *pDate, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_WRITE, FALSE, “Name”); if (fileMap == NULL) return Error; // hander void *mapView = MapViewOfFile(fileMap, FILE_MAP_WRITE, 0, 0, nSize); if (mapView == NULL) return Error; else WriteDataPtr = mapView; // write memcpy(mapView, pDate, nSize); UnmapViewOfFile(pMapView); return Success; }
复制代码 5、开始读数据- int Read(void *pData, UINT nSize, UINT offset) { // open HANDLE fileMap = OpenFileMapping(FILE_MAP_READ, FALSE, GetTableName()); if (fileMap == NULL) return Error; // hander void *pMapView = MapViewOfFile(fileMap, FILE_MAP_READ, 0, 0, nSize); if (pMapView == NULL) return Error; else ReadDataPtr = pMapView; memcpy(pData, (pMapView, nSize); UnmapViewOfFile(pMapView); return Success; }
复制代码 6、OK了,不复杂,网上都有这些资料,最后我们贴上测试程序- int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){ int length = 100000; CEng * ceng = new CEng(); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; ceng->Read(&eng, ceng->size, ceng->size * i); eng.EngVal = i; ceng->Write(&eng, ceng->size, (i*ceng->size)); if (i % 10000 == 0 || i == length - 1) printf("正在读写的Eng.TagName:%s \n", eng.TagName); } printf("总条数%d,耗时:%d 毫秒 \n", length, GetTickCount() - dwStart); // 验证数据 TENG eng5000; ceng->Read(&eng5000, ceng->size, ceng->size * 5000); printf("\n验证数据 \n"); printf("第5000个Eng的TagID:%d, EngVal:%lf \n", eng5000.TagID, eng5000.EngVal); scanf_s("按任意键结束"); return 0;}
复制代码 7、还有写测试程序- int _tmain(int argc, TCHAR* argv[], TCHAR* envp[]){ int length = 100000; CEng * ceng = new CEng(); ceng->Create(ceng->size * length); DWORD dwStart = GetTickCount(); for (int i = 0; i < length; i++) { TENG eng; memset(&eng, 0, ceng->size); eng.TagID = i; sprintf_s(eng.AlarmCode, "AlarmCode.%d", i); sprintf_s(eng.TagName, "TagName.%d", i); if (i % 10000 == 0 || i == length - 1) printf("正在写入的Eng.TagName:%s \n", eng.TagName); ceng->Write(&eng, ceng->size, (i*ceng->size)); } // print time printf("写入数据完毕,总条数:%d\n", length); printf("初始化值共享内存区耗时:%d 毫秒 \n", GetTickCount() - dwStart); scanf_s("按任意键结束"); return 0;}
复制代码 8、当然得再贴一遍啦1 _5 |8 @( u0 ~$ _5 `
l; R* k0 W2 Z+ y+ J
" ^2 ~" o3 V, C; c- u& \% h( E: _/ V
五、差点忘记做成DLL了! L# K, }$ `2 q k6 z
+ `1 e2 q/ z2 N% v5 q6 L1、定义外部函数- extern "C" __declspec(dllexport) int ReadFromSharedMemory(TENG *pData, int nSize, int offset){ return ceng->Read(pData, nSize, offset);}extern "C" __declspec(dllexport) int WriteToSharedMemory(void *pData, int nSize, int offset){ return ceng->Write(pData, nSize, offset);}
复制代码 2、好了,VC到此为止,可以去领盒饭了,c#进场- public class Lib { [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int ReadFromSharedMemory(IntPtr pData, int nSize, int offset); [DllImport("ConsoleApplication4.dll", CallingConvention = CallingConvention.Cdecl)] public static extern int WriteToSharedMemory(IntPtr pData, int nSize, int offset); }
复制代码 3、c#测试一下- static void Main(string[] args) { var length = 100000; var startTime = DateTime.Now; var size = Marshal.SizeOf(typeof(TEng)); var intPtrOut = Marshal.AllocHGlobal(size); var intPtrIn = Marshal.AllocHGlobal(size); for (var i = 0; i < length; i++) { Lib.ReadFromSharedMemory(intPtrOut, size, size * i); var eng = Marshal.PtrToStructure(intPtrOut); eng.EngVal = i; Marshal.StructureToPtr(eng, intPtrIn, true); Lib.WriteToSharedMemory(intPtrIn, size, size * i); if (i % 10000 == 0) Console.WriteLine("eng.TagID:{0}", eng.TagID); } Console.WriteLine("总条数{0},耗时:{1} 毫秒", length.ToString(), (DateTime.Now - startTime).TotalMilliseconds.ToString()); // 验证数据 var intPtr100 = Marshal.AllocHGlobal(size); Lib.ReadFromSharedMemory(intPtr100, size, size * 100); var eng100 = Marshal.PtrToStructure(intPtr100); Console.WriteLine(); Console.WriteLine("验证数据"); Console.WriteLine("第100个Eng的TagID:{0},EngVal:{1}", eng100.TagID, eng100.EngVal); Console.ReadKey(); }
复制代码 3 ~: w1 ~$ n/ B4 m
4、165毫秒,相比在VC下运行,差了一个数量级,但是,也不错了;
. i- r7 e+ A5 X$ |0 \因为c#环境下需要不断的Marshal.PtrToStructure、Marshal.StructureToPtr,频繁地把数据在托管内存俞共享内存之间搬运
3 M: c7 t% B1 q是需要耗费时间的,这点有更好处理方式的请指教,
- Q- ^0 R: C3 ^' s) g% _; b$ j# \& X
六、因为跨线程、进程,所以要考虑加入互斥量哦
6 E4 Y- h4 w# Z8 d+ g
" O5 H; j, w( w- C1、很简单,MFC下有现成的类CMutex,加在Write里边在看看效率) V+ L- Q2 ^2 J! I# f7 i
, @( B$ x, e& h互斥量是需要耗费资源的,多了将进100毫秒
, V5 f# l: z* @- k- s' x2、读写都加上互斥量试试看
9 P; q+ n6 v, n0 e, N- d
/ b3 ]3 I$ h, N又多了80多毫秒,
e3 J4 S: N( Z, Z" z鱼与熊掌不可兼得啊。要根据实际运用场景觉得是否加上互斥量
! ^% }# z. J* S好了,人家51去游玩、我却宅家里码程序,可见我的趣味还是挺高的,洗澡、洗衣服、然后去吃饭、一天没进食了,6 d8 V0 }: ~$ S, e+ I$ Z
以上就是.net环境下跨进程、高频率读写数据的详细内容,更多关于.net跨进程高频率读写数据的资料请关注脚本之家其它相关文章!
/ _/ ^7 \, x! w7 M5 ?& f
% X& [2 \( N. V a; W6 w# X& s8 Q来源:http://www.jb51.net/article/213616.htm
3 x ]+ g9 X6 U0 ~( T免责声明:如果侵犯了您的权益,请联系站长,我们会及时删除侵权内容,谢谢合作! |
本帖子中包含更多资源
您需要 登录 才可以下载或查看,没有账号?立即注册
×
|